KR100912074B1 - Improved stereo-image optical topometer - Google Patents

Improved stereo-image optical topometer Download PDF

Info

Publication number
KR100912074B1
KR100912074B1 KR1020070073369A KR20070073369A KR100912074B1 KR 100912074 B1 KR100912074 B1 KR 100912074B1 KR 1020070073369 A KR1020070073369 A KR 1020070073369A KR 20070073369 A KR20070073369 A KR 20070073369A KR 100912074 B1 KR100912074 B1 KR 100912074B1
Authority
KR
South Korea
Prior art keywords
skin
image
light
measurement
camera
Prior art date
Application number
KR1020070073369A
Other languages
Korean (ko)
Other versions
KR20090010339A (en
Inventor
오칠환
김민기
문종섭
이언석
박상용
하승한
이건우
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020070073369A priority Critical patent/KR100912074B1/en
Publication of KR20090010339A publication Critical patent/KR20090010339A/en
Application granted granted Critical
Publication of KR100912074B1 publication Critical patent/KR100912074B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Dermatology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 입체 영상을 이용한 피부 계측 장치에 관한 것이다. 상기 피부 계측 장치는 기존의 피부 계측 시스템을 3가지 측면에서 보정하여 보다 더 과학적이고 객관적인 3차원 표면 계측이 가능하도록 한다. 상기 피부 계측 장치는 측정 영역으로 제공되는 광량의 레벨을 측정하고, 측정된 레벨에 따라 광원의 밝기 레벨을 조정함으로써, 항상 일정한 광량이 측정 영역으로 제공되도록 한다. 또한, 상기 피부 계측 장치는 모사판의 최고점을 영점 변이(Zero Disparity)로 하여 영상을 획득하여 미교차 변이를 이용한 변이도를 구함으로써, 정확한 영상 획득을 할 수 있게 된다. 또한, 상기 피부 계측 장치는 카메라의 캘리브레이션 및 보정 과정을 거침으로서, 수렴 카메라 모델에서 얻은 영상으로부터 정확한 깊이 정보 추출을 할 수 있게 된다. The present invention relates to a skin measurement apparatus using a stereoscopic image. The skin measurement apparatus corrects the existing skin measurement system in three aspects to enable more scientific and objective three-dimensional surface measurement. The skin measurement apparatus measures the level of the light amount provided to the measurement area, and adjusts the brightness level of the light source according to the measured level, so that a constant light amount is always provided to the measurement area. In addition, the skin measuring apparatus obtains an image using the highest point of the replica plate as a zero disparity, and obtains a degree of variance using an uncrossed variation, thereby enabling accurate image acquisition. In addition, the skin measurement apparatus undergoes a calibration and correction process of the camera, thereby enabling accurate depth information extraction from an image obtained from a converging camera model.

본 발명에 의하여, 미세한 변화를 검출해야 되는 아토피 피부염의 중증도를 판별하는 데 있어 보다 과학적이고 객관적인 결과를 도출할 수 있게 된다.According to the present invention, it is possible to derive more scientific and objective results in determining the severity of atopic dermatitis, in which minute changes should be detected.

입체 영상, 피부 계측, 광원, 캘리브레이션, 보정 Stereoscopic image, skin measurement, light source, calibration, correction

Description

입체 영상을 이용한 향상된 피부 계측 장치{Improved stereo-image optical topometer}Improved stereo-image optical topometer using stereoscopic image

도 1은 본 발명의 바람직한 실시예에 따른 피부 계측 장치를 전체적으로 도시한 블록도이다.1 is a block diagram showing an overall skin measurement apparatus according to a preferred embodiment of the present invention.

도 2는 본 발명의 바람직한 실시예에 따른 피부 계측 장치에서 측정 영역에 대한 영상을 획득하는 과정을 순차적으로 도시한 단면도들이다. 2 is a cross-sectional view sequentially illustrating a process of acquiring an image of a measurement area in a skin measurement apparatus according to an exemplary embodiment of the present invention.

도 3는 본 발명에 따른 영상 획득 방법의 유효성을 살펴보기 위하여, 모사판 제작 시에 비교적 얇게 형성된 박막 타입(thin type)과 비교적 두껍게 형성된 후막 타입(thick type)을 설정하는 과정을 설명하기 위한 사진들이다. FIG. 3 is a photograph for explaining a process of setting a relatively thin film type (thin type) and a relatively thick film type (thick type) at the time of fabricating a replica plate in order to examine the effectiveness of the image acquisition method according to the present invention. admit.

도 4는 본 발명의 바람직한 실시예에 따른 피부 계측 장치에의 영상 획득 방법에 따라 획득된 왼쪽 영상과 오른쪽 영상을 예시적으로 도시한 사진들이다. FIG. 4 is a diagram exemplarily illustrating a left image and a right image acquired by an image acquisition method of a skin measurement apparatus according to an exemplary embodiment of the present invention.

도 5는 종래의 기술에 따른 영상 획득 방법에 따라 영점 변이(zero disparity)를 모사판의 최저점으로 하여 획득한 영상에 대하여 변이도를 구한 뒤, 3차원 복원(reconstruction)하였을 때이다. FIG. 5 illustrates a case where a degree of variance is obtained for an image obtained by using a zero disparity as the lowest point of the simulation plate according to a conventional image acquisition method, and then 3D reconstruction.

도 6은 본 발명의 영상 획득 방법에 따라 모사판의 박막 타입(thin type)에 대해 획득한 영상을 복원한 결과를 도시한 것이며, 도 7은 본 발명의 영상 획득 방법에 따라 모사판의 후막 타입(thick type)을 같은 방법으로 3차원 복원한 영상이 다. FIG. 6 illustrates a result of reconstructing an image acquired for a thin type of a replica plate according to an image acquisition method of the present invention, and FIG. 7 illustrates a thick film type of a replica plate according to an image acquisition method of the present invention. This is a 3D reconstructed image of (thick type) in the same way.

도 8은 본 발명의 바람직한 실시예에 따라 제작된 캘리브레이션 리그에 대하여 획득한 좌우 영상들이며, 도 9은 본 발명에 따른 상기 캘리브레이션 리그에 대한 월드좌표계(world coordinate)로서의 49개의 제어점(control point)을 나타내고 있으며, 도 10은 좌우 영상의 각각에 대하여 제어점마다의 픽셀값으로 지정된 영상좌표(image coordinate)를 도시한 것이다. 8 are left and right images obtained for a calibration rig produced according to a preferred embodiment of the present invention, and FIG. 9 shows 49 control points as a world coordinate for the calibration rig according to the present invention. 10 shows image coordinates designated by pixel values of control points for each of left and right images.

도 11의 (a)는 보정 전, 좌우 영상에서의 에피폴라 라인(epipolar line)이고, (b)는 본 발명에 따른 보정 후, 좌우 영상에서의 에피폴라 라인이다.(A) of FIG. 11 is an epipolar line in left and right images before correction and (b) is an epipolar line in left and right images after correction according to the present invention.

도 12는 카메라 보정 전, 후의 Disparity Map을 이용한 3차원 복원 영상들을 예시적으로 도시한 사진이다. FIG. 12 is a photograph illustrating three-dimensional reconstructed images using a disparity map before and after camera correction.

도 13은 영상 좌표의 수직, 수평축을 포함하는 2개의 평면과 초점평면과의 교차된 상태를 도시한 그림이다. FIG. 13 is a diagram illustrating an intersecting state between two planes including the vertical and horizontal axes of the image coordinates and the focal plane.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10 : 피부 계측 장치10: skin measurement device

100 : 마이크로스코프100: Microscope

110 : 광원110: light source

120 : 광량 조절기120: light amount regulator

130 : 수광소자130: light receiving element

132 : 광량측정부132: light quantity measuring unit

140 : 제1 카메라140: the first camera

142 : 제2 카메라142: second camera

150 : 컴퓨터150: computer

본 발명은 입체 영상을 이용한 피부 계측 장치에 관한 것으로서, 더욱 구체적으로는 표준화된 광원을 제공하고, 모사판의 두께에 따른 오차없는 정확한 영상의 획득 및 카메라 캘리브레이션과 보정을 통해 미세한 표피에 대한 측정을 할 수 있도록 하는 입체 영상을 이용한 피부 계측 장치에 관한 것이다. The present invention relates to a skin measurement apparatus using a three-dimensional image, and more specifically, to provide a standardized light source, and to measure the fine epidermis by acquiring an accurate image without error according to the thickness of the copying plate and through camera calibration and correction. The present invention relates to a skin measurement apparatus using a stereoscopic image.

최근 연구에 의하면 서울에 거주하는 6세의 미만의 어린이 중 아토피 피부염(atopic dermatitis)의 유병율이 41.7%로서 아토피 피부염환자는 급속도로 증가하고 있다. 또한, 이와 관련된 많은 종류의 치료제 및 개선제가 개발되고 있으며, 시판되고 있다. 그러나 피부 질환의 임상평가에서 약제의 효능 판정을 객관화하고 정량화 하는데 기초가 되는 과학적인 연구는 많지 않은 상태이다. 현재 아토피 피부염의 평가를 위한 방법으로 임상에서 이용되는 SCORAD index 등의 육안 평가법이 있으며, 의공학적 평가법으로는 corneometer, D-Squame, evaporimeter, pH-meter, spectrophotometer 등을 이용한 피부 각질층의 수분함량, 수분의 증발 정도, 피부 탄력도, 피부색 등을 계측하는 방법이 있다. 최근 의공학적으로 피부 표면 상태의 변화를 계측하여 아토피 피부염의 중증도(severity)를 평가하는 방법이 아토피 피부염의 중증도를 객관화하는데 이용되고 있으며 그 방법들로는 표면 계측 기(profilometer)를 이용하는 방법, 영상분석(image analysis)을 이용한 형태학적 계측법과 밀도 측정법, 레이저 표면계측기(laser profilometer)를 이용한 방법 등이 있다. 그러나 이와 같은 방법들은 피부표면 상태 계측 원리의 부적절성과 2차원적 데이터를 기본으로 한다는 점 등에서 피부의 삼차원 표면 상태를 정확하게 정량화하기 힘든 문제점이 있다. 이에 따라 최근에 입체영상(stereo image)을 이용한 발명을 새로운 해결책으로서 제시한 바 있다.According to a recent study, the prevalence of atopic dermatitis among children under 6 years of age in Seoul is 41.7%, and atopic dermatitis is rapidly increasing. In addition, many kinds of therapeutics and ameliorators are being developed and commercially available. However, there are few scientific studies that are the basis for objectifying and quantifying the efficacy of drugs in clinical evaluation of skin diseases. As a method for evaluating atopic dermatitis, there is a visual evaluation method such as SCORAD index which is used in the clinic, and as a medical evaluation method, the moisture content, water content of the stratum corneum layer using corneometer, D-Squame, evaporimeter, pH-meter, spectrophotometer, etc. There is a method of measuring the degree of evaporation, skin elasticity, skin color, and the like. Recently, a method of evaluating the severity of atopic dermatitis by measuring the change of the skin surface condition has been used to objectify the severity of atopic dermatitis. The methods include the use of a surface profilometer, image analysis ( morphological measurements using image analysis, density measurements, and methods using laser profilometers. However, these methods have a problem that it is difficult to accurately quantify the three-dimensional surface state of the skin in that it is based on the inappropriateness of the skin surface state measurement principle and two-dimensional data. Accordingly, the recent invention using stereo images has been proposed as a new solution.

입체 영상을 이용하는 방법은 미국의 우주계획인 아폴로(Apollo) 계획 중 달 표면의 분화구의 깊이를 측정하는데 처음 이용한 방법으로 피부과학 및 화장품 공학 분야에 적용시켜 피부의 형태적 특징을 측정하는 방법이다.The method of using stereoscopic images is the first method used to measure the depth of the crater on the lunar surface of Apollo, a US space program. It is applied to dermatology and cosmetic engineering to measure the morphological characteristics of skin.

이것은 대상물체를 한쪽 눈으로는 입체감을 느끼지 못하지만, 두 눈으로 물체의 상을 인식하게 되면 양쪽 눈에서의 이미지 차이를 대뇌에서 분석하여 물체의 입체감을 느끼게 되고 원근감도 정확히 알아볼 수 있다는 원리를 이용한 것이다. 이와 같은 원리를 바탕으로 동일한 물체에 대해 두 대의 CCD 카메라로 획득한 한 쌍의 영상으로부터 스테레오 정합(stereo matching)과정을 수행하면, 두 영상 사이에 거리의 차이가 생기는데 이것을 변이(disparity)라고 한다. 변이의 개념에는 깊이의 정보가 내재되어 있어 X축 및 Y축 뿐만 아니라 Z축의 측정도 가능하게 되어 삼차원적 정보를 알 수 있으며, 이를 이용하여 생체표면의 삼차원 형태학적 특성의 정량적 계측이 가능하다.This is because the object cannot be perceived in three dimensions with one eye, but when the image of the object is recognized by both eyes, the difference between the two eyes can be analyzed in the cerebrum to feel the three-dimensional sense of the object and the perspective can be accurately recognized. . Based on this principle, when stereo matching is performed from a pair of images acquired by two CCD cameras on the same object, a distance difference occurs between the two images, which is called disparity. Depth information is embedded in the concept of variation, so that not only the X-axis and the Y-axis but also the Z-axis can be measured to obtain three-dimensional information. By using this, it is possible to quantitatively measure the three-dimensional morphological characteristics of the biological surface.

이와 같은 방법으로 피부의 형태학적 특징을 계측할 경우 우선 피부주름 모사판(replica)을 제작하여야 한다. 모사판의 재료로는 주로 미세한 입자 구조를 가 진 실리콘 러버(silicon rubber)를 이용하는데 resin과 catalyzer를 혼합 후 원하는 부위에 부착하여 고정시킨다. 피부를 직접 측정하지 않고, 모사판을 사용하는 이유는 측정의 공간적, 시간적 용이함과 고정(fixing)의 장점을 이용할 수 있기 때문이다. 그러나 모사판을 사용하여 입체영상을 이용한 측정의 경우, 피부 주름 부분이 아닌 모사판 제작 시 발생하는 주름 이외의 두께로 인한 오차가 발생하는 문제점을 가지고 있다.In order to measure the morphological characteristics of the skin in this way, skin wrinkle replicas should be prepared. The material of the replica board is mainly made of silicon rubber with fine grain structure. Resin and catalyzer are mixed and attached to the desired area. The reason for using a replica plate without measuring the skin directly is that it can take advantage of the spatial and temporal ease of the measurement and the fixing. However, in the case of measuring using a three-dimensional image using a replica plate, there is a problem that an error due to the thickness other than the wrinkles that occur during the production of the replica plate rather than the skin wrinkle portion.

또한, 기존의 입체 영상 시스템(stereo image system)의 경우, 일반적으로 계산의 복잡성으로 인해 비수렴형(standard static model or non-convergence model)으로 가정하여 측정해 왔다. 입체 영상 시스템에서 좌·우 영상의 변이(disparity)가 생기지 않는 위치를 영점 변이(zero disparity)라 한다. 일반적인 입체 카메라를 사용하는 데 있어서 영점 변이는 무한대 지점(infinite point)이다. 하지만, 실제로는 영점 변이(zero disparity)를 위한 기기적인 틀어짐 등에 의해 수렴형(convergence model)일 가능성이 제기됨에 따라, 기존의 측정 방법에 오차가 발생되는 문제점이 있다. In addition, conventional stereo image systems have been measured assuming a standard static model or a non-convergence model due to the complexity of calculation. The position where disparity of left and right images does not occur in a stereoscopic image system is called zero disparity. In using a stereoscopic camera, the zero shift is an infinite point. However, in reality, as the possibility of convergence model is raised due to mechanical disparity for zero disparity, there is a problem that an error occurs in the existing measurement method.

마지막으로 일반 카메라를 이용한 시스템과는 달리 피부라는 미세한 표면을 계측하기 때문에, 현미경와 더불어 광원(light source)의 사용이 필수적이다. 그러나 광원을 사용한 영상 획득에는 광량 왜곡이라는 문제점이 뒤따르기 마련이다. 이는 피부과에서 사용하고 있는 계측장비 중 D-Squame와 SCDA(Skin Color Distribution Analyzer)시스템 같이 광원을 사용하는 장비의 경우는 광량 왜곡이라는 동일한 문제점을 갖고 있다. Lastly, unlike a system using a general camera, the measurement of the microscopic surface of the skin requires the use of a light source together with a microscope. However, there is a problem that the amount of light distortion is followed in the image acquisition using the light source. This has the same problem of light quantity distortion in the case of equipment that uses a light source such as D-Squame and Skin Color Distribution Analyzer (SCDA) system.

이에 본 출원인은 피부표면의 삼차원 형상을 계측하는 방법 중, 위의 3가지 측면에서 기존의 문제점을 개선하여 보다 정확하고 과학적인 평가방법을 제시, 확립하는 방안을 제안하고자 한다. Accordingly, the present applicant intends to propose a method of presenting and establishing a more accurate and scientific evaluation method by improving the existing problems in the three aspects of the method of measuring the three-dimensional shape of the skin surface.

전술한 문제점을 해결하기 위한 본 발명의 목적은 시간과 공간에 관계없이 일정한 광량을 제공할 수 있는 광원을 가짐으로써, 항상 표준화된 광량에 따른 입체 영상을 획득할 수 있는 피부 계측 장치를 제공하는 것이다. An object of the present invention for solving the above problems is to provide a skin measurement apparatus that can always obtain a stereoscopic image according to the standardized amount of light by having a light source that can provide a constant amount of light irrespective of time and space. .

본 발명의 다른 목적은 동일부위에서 제작된 모사판은 모두 같은 형태로 3차원 복원될 수 있도록 하는 영상 획득 방법을 갖는 피부 계측 장치를 제공하는 것이다. It is another object of the present invention to provide a skin measurement apparatus having an image acquisition method in which the replica plates manufactured at the same site are all three-dimensionally reconstructed in the same shape.

본 발명의 또 다른 목적은 한 쌍의 대응되는 에피폴라 라인을 영상의 수평 주사선 중 하나에 평행하고 동일직선상에 있도록 만들기 위한 보정 알고리즘을 사용하여 입체 영상을 보정하고, 보정된 영상으로부터 변위를 추출함으로써, 모사판을 정확하게 3차원 복원할 수 있도록 하는 카메라 캘리브레이션 및 보정 방법을 갖는 피부 계측 장치를 제공하는 것이다. It is still another object of the present invention to correct stereoscopic images using a correction algorithm for making a pair of corresponding epipolar lines parallel and colinear with one of the horizontal scanning lines of the image, and extracting displacements from the corrected images. The present invention provides a skin measurement apparatus having a camera calibration and correction method that enables a three-dimensional restoration of a replica plate accurately.

전술한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 피부 계측 장치는, Skin measurement apparatus according to a feature of the present invention for achieving the above technical problem,

마이크로스코프,Microscope,

소정의 주파수 대역의 광을 제공하는 광원,A light source providing light of a predetermined frequency band,

상기 광원으로부터 대상물의 측정 영역으로 제공되는 광을 감지하여 전기적 신호로 변환하여 출력하는 수광 소자,A light receiving element which detects light provided from the light source to the measurement region of the object and converts the light into an electrical signal;

상기 수광 소자로부터 제공되는 전기적 신호에 따라 광량의 레벨을 출력하는 광량 측정부,A light quantity measuring unit outputting a level of light quantity according to an electrical signal provided from the light receiving element;

상기 광량 측정부에 의해 출력되는 광량의 레벨에 따라, 상기 광원의 레벨을 조절하는 광원 조절기,A light source controller for adjusting the level of the light source according to the level of the light quantity output by the light quantity measuring unit;

상기 마이크로스코프를 통해 확대된 상기 측정 영역에 대한 좌·우 영상을 각각 획득하는 제1 및 제2 카메라,First and second cameras respectively acquiring left and right images of the measurement area enlarged through the microscope;

상기 제1 및 제2 카메라에 의하여 획득된 좌·우 영상들을 이용하여 측정 영역을 분석하는 컴퓨터를 구비하고, 제1 및 제2 카메라를 이용하여 영상을 획득하기 전에, 대상물의 측정 영역으로 제공되는 광량의 레벨을 검출하고, 검출된 광량의 레벨에 따라 광원의 레벨을 조절하여 광원 보정을 함으로써, 대상물의 측정 영역으로 항상 일정한 광량을 제공하여 획득된 입체 영상을 이용하여 생체 표면을 측정한다. And a computer for analyzing a measurement area using the left and right images acquired by the first and second cameras, and provided to the measurement area of the object before acquiring an image using the first and second cameras. By detecting the level of the amount of light, and adjusting the level of the light source according to the level of the detected amount of light to correct the light source, the surface of the living body is measured using a stereoscopic image obtained by always providing a constant amount of light to the measurement region of the object.

전술한 특징을 갖는 상기 피부 계측 장치를 피부 표면 측정에 적용하는 경우, 해당 피부 표면의 측정 영역에 대해 제작된 모사판의 최고점을 영점 변이(zero disparity)로 맞추어 좌·우 영상을 획득하고, 획득된 좌·우 영상에 대하여 미교차 변이(uncrossed disparity)를 이용한 변이도(disparity map)를 작성하며, 상기 변이도에 대하여 수학식 1에 따른 영상 변환 계산을 하여, 해당 피부 표면의 측정 영역에 대한 영상을 획득하는 것이 바람직하다. When the skin measurement apparatus having the above-described characteristics is applied to skin surface measurement, left and right images are acquired by matching the highest point of the simulated plate manufactured for the measurement area of the skin surface with zero disparity, A disparity map using an uncrossed disparity is created for the left and right images, and an image transformation calculation is performed on the variance according to Equation 1, and an image of a measurement area of the skin surface is obtained. It is desirable to obtain.

전술한 특징을 갖는 피부 계측 장치는 캘리브레이션 리그를 이용하여 상기 제1 및 제2 카메라에 대한 캘리브레이션(calibration)을 수행하며, 상기 캘리브레이션 과정은 제1 및 제2 카메라의 내부 파라미터와 외부 파라미터를 구하고, 상기 내부 파라미터와 외부 파라미터를 이용하여 제1 및 제2 카메라에 대한 카메라 행렬들을 계산하며, 상기 캘리브레이션 리그는 각 면이 174.2°로 연결되며, 한 면당 49개의 포인트를 갖도록 하여, 상기 피부 계측 장치가 인체 표면을 측정할 수 있도록 캘리브레이션하는 것이 바람직하다. The skin measurement apparatus having the above-described feature performs calibration for the first and second cameras using a calibration rig, and the calibration process obtains internal and external parameters of the first and second cameras, Calculate the camera matrices for the first and second cameras using the internal and external parameters, the calibration rig having each side connected at 174.2 ° and having 49 points per side, It is desirable to calibrate to measure the human surface.

전술한 특징을 갖는 피부 계측 장치는 상기 계산된 제1 및 제2 카메라에 대한 카메라 행렬들을 보정 알고리즘을 이용하여 보정(rectification)하여 보정된 카메라 행렬을 계산하며, 상기 보정된 카메라 행렬을 이용하여 영상을 보정하고, 보정된 영상을 이용하여 변이(disparity)를 검출하는 것을 특징으로 하며, 상기 보정 알고리즘은 좌·우 영상에 대하여 한 쌍의 대응되는 에피폴라 라인(epipolar line)을 영상의 수평 주사선 중 하나에 평행(parallel)하고 동일직선상(collinear)에 있도록 만드는 알고리즘인 것이 바람직하다. The skin measurement apparatus having the above-described feature calculates a corrected camera matrix by correcting the calculated camera matrices for the first and second cameras using a correction algorithm, and uses the corrected camera matrix to calculate an image. And detecting a disparity using the corrected image, wherein the correction algorithm includes a pair of corresponding epipolar lines for the left and right images among the horizontal scan lines of the image. It is desirable to have an algorithm that is parallel to one and collinear.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 생체표면 측정 장치에 대하여 구체적으로 설명한다. Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the surface measurement apparatus according to a preferred embodiment of the present invention.

도 1은 본 발명의 바람직한 실시에에 따른 피부 계측 장치를 전체적으로 도시한 블록도이다. 도 1을 참조하면, 상기 피부 계측 장치(10)는 마이크로스코프(100), 광원(110), 광량 조절기(120), 수광소자(130), 광량측정부(132), 제1 카메라(140), 제2 카메라(142) 및 컴퓨터(150)를 구비한다. 1 is a block diagram showing an overall skin measurement apparatus according to a preferred embodiment of the present invention. Referring to FIG. 1, the skin measuring apparatus 10 may include a microscope 100, a light source 110, a light amount controller 120, a light receiving element 130, a light amount measuring unit 132, and a first camera 140. And a second camera 142 and a computer 150.

상기 광원(110)은 소정의 주파수 대역의 광을 대상물의 측정 구역(Region Of Interest; ‘ROI')으로 제공한다. The light source 110 provides light of a predetermined frequency band to a region of interest (ROI) of an object.

상기 수광 소자(130)는 상기 광원으로부터 대상물의 측정 구역(Region Of Interest; ‘ROI')으로 제공되는 광량을 감지하여, 전기적 신호로 변환하여 상기 광량 측정부(132)로 제공한다. 본 발명에 따른 피부 계측 장치의 수광 소자(130)는 포토다이오드(Photodiode)를 사용한다. 특히 광원으로서 텅스텐 램프 등을 사용하는 경우, PIN 포토다이오드는 가시광 영역에서 광흡수 계수가 크고 고감도이므로 수광 소자로 사용하기에 바람직하다. The light receiving element 130 detects an amount of light provided from a light source to a region of interest (ROI) of an object, converts the light into an electrical signal, and provides the light amount to the light quantity measuring unit 132. The light receiving element 130 of the skin measurement apparatus according to the present invention uses a photodiode. In particular, in the case of using a tungsten lamp or the like as a light source, the PIN photodiode has a high light absorption coefficient and high sensitivity in the visible light region, and is therefore suitable for use as a light receiving element.

상기 광량 측정부(132)는 멀티미터(multimeter)를 사용하는 것이 바람직하며, 상기 수광 소자(130)로부터 제공되는 전기적 신호의 레벨을 측정하여 계기판이나 디스플레이부를 통해 측정값을 디스플레이시킨다. The light quantity measuring unit 132 preferably uses a multimeter, and measures the level of the electrical signal provided from the light receiving element 130 to display the measured value through the instrument panel or the display unit.

상기 광원 조절기(120)는 8비트로 구성되어 광원을 256 레벨로 조절할 수 있는 디지털 광원 조절기(Digital Light Controller)를 사용하는 것이 바람직하다. 따라서, 상기 광원 조절기(120)는 외부로부터 입력되는 정보에 따라 광원의 레벨을 조절하게 된다. The light source controller 120 is preferably composed of 8 bits to use a digital light controller (Digital Light Controller) that can adjust the light source to 256 levels. Therefore, the light source controller 120 adjusts the level of the light source according to information input from the outside.

상기 제1 및 제2 카메라로는 일반적으로 CCD 카메라를 사용한다. 상기 제1 및 제2 카메라는 상기 마이크로스코프를 통해 대상물의 표면에 대한 좌우 영상을 획득한다. In general, a CCD camera is used as the first and second cameras. The first and second cameras acquire left and right images of the surface of the object through the microscope.

본 발명에 따라 전술한 구성을 갖는 피부 계측 장치는 광원이 측정 대상물의 표면으로 제공하는 광량의 레벨을 수광 소자 및 광량 측정부를 통해 정확하게 측정하며, 측정된 광량의 레벨에 따라 상기 광원 조절기를 미세하게 조절하여 광원의 출력을 정량적으로 보정함으로써, 상기 광원을 항상 일정한 레벨의 광량을 제공할 수 있는 표준화된 광원으로서 동작할 수 있도록 한다. 본 발명에 따른 피부 계측 장치는 전술한 바와 같이 표준화된 광원을 이용함으로써, 입체 영상 시스템(stereo image system)의 정량적 객관성을 높일 수 있게 된다. According to the present invention, the skin measuring apparatus having the above-described configuration accurately measures the level of light provided by the light source to the surface of the measurement object through the light receiving element and the light amount measuring unit, and finely adjusts the light source controller according to the level of the measured light amount. By adjusting the output of the light source quantitatively, the light source can be operated as a standardized light source that can always provide a constant level of light. The skin measurement apparatus according to the present invention can increase the quantitative objectivity of a stereo image system by using a standardized light source as described above.

새로운 영상 획득 방법 New acquisition method

기존의 SOT에 의한 영상 획득 방법(image grab method)은 깊이 정보가 없는 영점 변이(zero disparity)로부터 양의 변이(disparity)를 갖는 방향으로의 정보를 이용하여 피부 주름의 깊이 측정을 했다. 그러나 피부 주름의 계측에서 사용되는 피부 모사판은 제작자마다 각기 다른 두께로 피부 형태를 형성하기 때문에, 같은 부위의 영상이라도 다른 측정값을 초래할 수 있음을 확인하였다. 이와 같은 문제점을 해결하기 위해 기존에는 측정하고자 하는 부위의 가장 깊은 곳의 주름을 추측하여 그곳을 영점 변이(zero disparity)로 맞춘 후 영상을 획득했다. 그러나 본 발명에서는 보다 정확한 계측을 위해 모사판의 최고점을 영점 변이(zero disparity)로 맞추어 좌우 영상을 획득하고, 획득된 영상들에 대하여 미교차 변이(uncrossed disparity)를 이용한 변이도를 구함으로써, 동일부위에서 제작된 모사판은 모두 같은 형태로 3차원 복원될 수 있다.In the conventional image grab method by the SOT, the depth of skin wrinkles is measured using information from a zero disparity without a depth information to a direction having a positive disparity. However, it was confirmed that the skin miter plate used in the measurement of skin wrinkles may form different skin shapes at different thicknesses, so that even the images of the same area may cause different measurement values. In order to solve such a problem, conventionally, the wrinkles of the deepest part of the area to be measured were guessed, and the image was acquired after setting them to zero disparity. However, in the present invention, the left and right images are obtained by adjusting the peak of the replica plate to zero disparity for more accurate measurement, and the variance using uncrossed disparity is obtained for the obtained images, thereby obtaining the same region. The simulated plates produced in can all be three-dimensionally restored to the same shape.

상기 입체 영상을 이용한 피부 계측 장치를 이용하여 피부 주름의 깊이를 측정하는 경우, 해당 피부에 대하여 모사판(replica)을 제작하게 된다. 기존의 입체 영상을 이용한 시스템에 모사판을 적용함에 있어서, 영점 변이(zero disparity)를 무한대(infinite) 혹은 대상물체의 최저점으로 하게 될 경우, 같은 측정부위라도 주름 부분의 깊이 외에 모사판 자체의 두께의 정보가 추출되기 때문에 각기 다른 값을 유도하게 되는 문제점을 갖는다. 따라서 본 발명에서는 영점 변이(zero disparity)의 위치를 모사판의 최고점으로 함으로서 해결책을 제시하고자 한다. 이와 같이 영점 변이(zero disparity)를 최고점으로 하여 영상을 획득할 경우, 변이가 음의 값을 가지기 때문에, 미교차 변이도(uncrossed disparity map)를 구한 뒤, 수학식 1의 계산 과정을 거쳐야 한다. When the depth of the skin wrinkle is measured using the skin measurement apparatus using the stereoscopic image, a replica is produced for the skin. When applying the imitation plate to the system using the existing stereoscopic image, if the zero disparity is set to the infinite point or the lowest point of the object, the thickness of the imitation plate itself, in addition to the depth of the wrinkle portion, even at the same measurement site Since the information of is extracted, there is a problem of inducing different values. Therefore, the present invention proposes a solution by making the position of the zero disparity the highest point of the simulation plate. As described above, when the image is acquired with the zero disparity as the highest point, since the variation has a negative value, an uncrossed disparity map is obtained and then the calculation process of Equation 1 is performed.

Value of disparity = The highest value in uncrossed disparity - The another value in uncrossed disparityValue of disparity = The highest value in uncrossed disparity-The another value in uncrossed disparity

도 2는 본 발명의 바람직한 실시예에 따른 피부 계측 장치에서 측정 영역에 대한 영상을 획득하는 과정을 순차적으로 도시한 단면도들이다. 도 2를 참조하면, (a)는 피부에서 모사판을 제작하는 과정이며, (b)는 제작된 모사판에 대하여, 영점 변이를 주름의 최고점으로 하여 획득하는 과정이다. 획득된 영상들의 이미지를 이용해 얻은 변이도는 변이가 음의 방향이므로, 도 2의 (c) 형태의 변이도를 구하게 된다. 따라서, 주름의 깊이 부분으로 형성된 모사판의 높이 부분은 음의 형태로 되는 미교차 변이가 만들어진다. 이를 이용한 피부의 깊이값 추출은 모사판에 제작된 피부 주름의 깊이들의 값이 아니라 반대로 피부 주름의 깊이 값들만 제외된 것이 나오게 된다. 따라서, 수학식 1과 같은 영상 변환 계산을 거쳐 (d)와 같이 순수 피부 주름만의 깊이 값만을 추출할 수 있게 된다. 2 is a cross-sectional view sequentially illustrating a process of acquiring an image of a measurement area in a skin measurement apparatus according to an exemplary embodiment of the present invention. Referring to Figure 2, (a) is a process for producing a replica plate in the skin, (b) is a process for obtaining a zero point variation as the highest point of the wrinkles for the produced replica plate. Since the degree of variance obtained by using the acquired images of the image is in the negative direction, the degree of variance in the form of (c) of FIG. 2 is obtained. Therefore, the non-crossed variation in which the height part of the replica board formed by the depth part of a wrinkle becomes negative form is created. Extraction of the depth value of the skin using the same is not the value of the depth of the skin wrinkles produced on the replica plate, on the contrary, only the depth values of the skin wrinkles come out. Therefore, only the depth value of pure skin wrinkles can be extracted as shown in (d) through the image conversion calculation as shown in Equation (1).

도 3는 본 발명에 따른 영상 획득 방법의 유효성을 살펴보기 위하여, 모사판 제작 시에 비교적 얇게 형성된 박막 타입(thin type)과 비교적 두껍게 형성된 후막 타입(thick type)을 설정하는 과정을 설명하기 위한 사진들이다. 도 3의 (a)는 측정 영역(ROI:Region Of Interest)의 부위에 대한 사진이며, (b)는 (a)의 측정 영역의 동일 부위에 대하여 동일인에 의해 제작된 30개의 모사판들에 대한 사진이며, (c)는 제작된 30개의 모사판들 중에서 선택된 박막 타입과 후막 타입에 대한 사진이다. 도 3을 통해, 동일인이 동일부위에서 모사판을 제작하여도 모사판 자체의 두께가 다름을 알 수 있다.FIG. 3 is a photograph for explaining a process of setting a relatively thin film type (thin type) and a relatively thick film type (thick type) at the time of fabricating a replica plate in order to examine the effectiveness of the image acquisition method according to the present invention. admit. (A) of FIG. 3 is a photograph of a region of a measurement region (ROI: Region Of Interest), and (b) is of 30 simulation plates prepared by the same person for the same region of the measurement region of (a). (C) is a photograph of a thin film type and a thick film type selected from the 30 simulated plates produced. Through Figure 3, even if the same person to produce a replica plate at the same site it can be seen that the thickness of the replica plate itself is different.

전술한 2개의 타입의 모사판은 광원 보정(light calibration)의 과정을 거친 후, 본 발명에 따른 시스템(stereo image system)에 의해 왼쪽 영상과 오른쪽 영상을 획득하며, 변이도(disparity map)를 구한다. 도 4는 획득된 왼쪽 영상과 오른쪽 영상을 예시적으로 도시한 사진들이다. After the above-described two types of replica plates undergo a light calibration process, a left image and a right image are acquired by a stereo image system, and a disparity map is obtained. 4 is a diagram exemplarily illustrating the acquired left image and right image.

도 5는 종래의 영상 획득 방법에 따라 영점 변이(zero disparity)를 모사판의 최저점으로 하여 획득한 영상에 대하여 변이도를 구한 뒤, 3차원 복원(reconstruction)하였을 때이다. 박막 타입과 후막 타입은 모두 측정부위의 모습을 선명하게 찾기 힘들며, 깊이 추출에도 문제가 있을 것으로 예상된다. 이것은 초점(focusing)이 맞지 않아 영상에서 번짐(blurring) 현상이 일어나 좌·우 영상의 정합(matching)이 어렵기 때문이다. 이와 같은 문제점을 해결하기 위해 영점 변이(zero disparity)를 초점에 맞추어 영상을 획득한 선행발명이 있었다. 그러나 영점 변이(zero disparity) 위치가 불명확하여 그 이하의 깊이는 무시되거나 혹은 미 교차 변이도(uncrossed disparity)에서 깊이 정보를 추출하게 되는 문제점이 발생한다.FIG. 5 illustrates a case in which a degree of variance is obtained for an image obtained by using a zero disparity as the lowest point of the simulation plate according to a conventional image acquisition method, and then 3D reconstruction is performed. Both the thin film type and the thick film type are hard to find clearly in the shape of the measurement site, and the depth extraction is expected to be problematic. This is because blurring occurs in the image due to poor focusing, making it difficult to match left and right images. In order to solve this problem, there was a prior invention in which an image was acquired by focusing on zero disparity. However, there is a problem in that the position of the zero disparity is unclear and the depth below it is ignored or the depth information is extracted from the uncrossed disparity.

도 6은 본 발명의 영상 획득 방법에 따라 획득한 영상을 복원한 결과를 도시한 것이다. 도 6의 (a)는 박막 타입(thin type)에서 영점 변이(zero disparity)를 모사판의 최고점으로 하여 영상을 획득한 후, 변이도(disparity map)를 구한 뒤 3차원으로 복원한 영상이다. 실제 모사판에서는 도 3의 (c)와 같이 모사판의 양끝 부분과 중앙 부위가 올라와 있으며, 그 사이에 주름이 있는 형태인 반면에, 도 6의 (a)는 이와는 반대로 양옆과 가운데 부분이 음의 형태로 되어 있고, 피부의 주름 역시 모사판의 형태가 아닌 실제의 피부와 같이 들어가 있는 형태로 되어 있다. 이는 영점 변이(zero disparity)의 위치 변화로 인해 생기는 결과이다. 도 6의 (b)는 수학식 1의 계산 과정을 거친 후, 복원한 영상이다. 이는 실제 모사판과 같은 형태로 복원되었음을 확인할 수 있다. 6 shows the result of reconstructing the image acquired according to the image acquisition method of the present invention. FIG. 6A illustrates an image obtained by obtaining a disparity map after obtaining an image using zero disparity as the highest point of the simulation plate in a thin type, and then reconstructing the image in three dimensions. In the actual copying board, as shown in (c) of FIG. 3, both ends and the central part of the copying board are raised, and in the form of wrinkles therebetween, while in FIG. It is in the form of, and the wrinkles of the skin is not in the form of a replica plate, but in the form of the actual skin. This is a result of the positional change of zero disparity. FIG. 6B is a reconstructed image after the calculation process of Equation 1 is performed. This can be confirmed that it is restored to the same form as the actual copying board.

도 7은 후막 타입(thick type)을 같은 방법으로 3차원 복원한 영상이다. 마찬가지로, 도 7의 (a)의 영상은 실제 모사판이 아닌 음의 형태로 복원되었음을 알 수 있고, 계산과정을 통해 도 7의 (b)와 같이 올바르게 복원되었음을 알 수 있다.7 is a 3D image reconstructed by the same method as the thick type (thick type). Similarly, it can be seen that the image of FIG. 7 (a) has been restored to a negative form rather than an actual copying plate, and it can be seen that it has been correctly restored as shown in FIG.

도 6의 (b)와 도 7의 (b)를 비교하면, 동일 부위에서 제작된 모사판 중, 박막 타입 혹은 후막 타입의 어떠한 형태라도 측정된 위치만 조금 이동되었을 뿐, 동일한 형상으로 3차원 복원됨을 알 수 있다. 전술한 내용을 기존의 도 5의 (a), (b)와 비교하여 봄으로써, 본원 발명에 따른 방법이 보다 향상된 방법임을 확인할 수 있다. 도 6 및 도 7을 통해, 본 발명의 영상 획득 방법에 의하여 동일 부위에서 제 작된 모사판들은 거의 동일한 형상으로 3차원 복원될 수 있음을 알 수 있다. Comparing FIG. 6 (b) and FIG. 7 (b), any of the thin film type or the thick film type of the simulated plate manufactured at the same site, only the measured position is slightly moved, and the three-dimensional restoration is performed in the same shape. It can be seen that. By comparing the foregoing with those of FIGS. 5A and 5B, it can be seen that the method according to the present invention is an improved method. 6 and 7, it can be seen that the replica plates produced at the same site by the image acquisition method of the present invention can be three-dimensionally restored to almost the same shape.

카메라 캘리브레이션 방법Camera calibration method

종래의 수렴 카메라 모델의 경우, 광축이 같은 점을 바라보는 형태이므로 좌우 영상에서 평행카메라 모델보다 많은 양의 일치하는 화소들을 얻을 수 있으나, 얻어진 두 영상간의 기하학적 차이가 심하기 때문에 처리하기가 매우 까다로운 단점이 있다. In the case of the conventional convergent camera model, since the optical axis looks at the same point, a large amount of matching pixels can be obtained from the left and right images than the parallel camera model, but it is very difficult to process because the geometric difference between the obtained two images is severe. There is this.

하지만 본 발명에서는 한 쌍의 대응되는 에피폴라 라인(epipolar line)을 영상의 수평주사선중 하나에 평행하고 동일직선상에 있도록 만들기 위한 보정(rectification) 알고리즘을 사용함으로써, 스테레오 카메라를 사용하여 정밀한 깊이 정보 계산이 필요한 피부 과학 분야에서, 보정된 영상을 이용한 변이(disparity) 추출은 중요한 해결책으로 제시될 수 있다.However, in the present invention, by using a correction algorithm for making a pair of corresponding epipolar lines parallel to and parallel to one of the horizontal scan lines of the image, precise depth information using a stereo camera is used. In the field of dermatology where computation is needed, disparity extraction using calibrated images can be an important solution.

실제 피부에 적용된 결과에서처럼, 적용된 보정 알고리즘으로 수렴 카메라 모델에서 얻은 영상으로부터 깊이 정보 추출에 좋은 결과를 나타낼 수 있음을 확인할 수 있었다.As in the case of the actual skin application, it was confirmed that the applied correction algorithm can show a good result for extracting the depth information from the image obtained from the converging camera model.

본 발명에 따른 피부 계측 장치는 카메라 캘리브레이션(calibration) 및 보정(rectification)을 함으로써, 미세한 영역의 계측에서 사용될 수 있도록 한다.The skin measurement apparatus according to the present invention enables camera calibration and correction to be used in the measurement of minute areas.

카메라 캘리브레이션은 좌표값을 알 수 있는 공간상의 3차원 물체와 이것을 영상으로 획득시켰을 때, 이 둘 사이를 연결할 수 있는 투영식(projection equation)을 만드는 과정을 말한다. 이때, 얻어지는 투영식은 카메라 좌표로서 사용되고, 이를 위해서는 카메라의 내부 파라미터와 외부 파라미터를 계산하는 과정 이 요구된다. Camera calibration refers to the process of creating a projection equation that can connect the two-dimensional objects in space with known coordinate values and when they are acquired as images. In this case, the obtained projection equation is used as camera coordinates, and for this, a process of calculating internal and external parameters of the camera is required.

캘리브레이션(Calibration) 측정 장비는 편리하게 잘 정의된 3차원 좌표를 설정하기 위한 것이다. 측정 장비는 월드 좌표 시스템 W에 위치하고, 특징을 쉽게 알 수 있는 3차원 좌표와 같이 자체의 월드 좌표 시스템을 정의한다. 카메라는 이 특징을 보게 되고, 2차원 좌표를 얻을 수 있다.Calibration measurement equipment is for conveniently setting well-defined three-dimensional coordinates. The measuring equipment is located in the world coordinate system W and defines its own world coordinate system like three-dimensional coordinates whose characteristics are easy to understand. The camera sees this feature and can obtain two-dimensional coordinates.

본 발명에 따른 장치는 카메라 캘리브레이션 및 보정을 위하여, 먼저 캘리브레이션 리그(calibration rig)를 제작한다. 먼저, 캘리브레이션 리그는 3.2mm×6.4mm의 한 면이 약 174.2˚의 각도로 연결되며, 한 면당 약 0.8mm간격으로 가로 7개, 세로 3개의 제작 가능한 최소두께의 선을 그어 총 49개의 포인트를 만든다. The device according to the invention first builds a calibration rig for camera calibration and calibration. First, the calibration rig is connected at an angle of about 174.2˚ on one side of 3.2mm × 6.4mm, and draws a total of 49 points by drawing the minimum thickness of 7 horizontally and 3 vertically at 0.8mm intervals per side. Make.

도 8은 본 발명의 바람직한 실시예에 따라 제작된 캘리브레이션 리그에 대하여 획득한 좌·우 영상들이며, 도 9은 본 발명에 따른 상기 캘리브레이션 리그에 대한 월드좌표계(world coordinate)로서의 49개의 제어점(control point)을 나타내고 있다. 좌표축은 캘리브레이션 리그의 두면의 각도와 길이를 계산하여 설정하며, 좌표축의 중심은 25번째의 제어점으로 선택한다. 영상좌표(image coordinate)는 도 10과 같이 좌우 영상의 각각에서 제어점 마다의 픽셀 값으로 지정하였다. 8 are left and right images acquired for a calibration rig produced according to a preferred embodiment of the present invention, and FIG. 9 is 49 control points as a world coordinate for the calibration rig according to the present invention. ). The axes are set by calculating the angle and length of the two sides of the calibration rig, and the center of the axes is selected as the 25th control point. Image coordinates are designated as pixel values for each control point in each of the left and right images as shown in FIG. 10.

전술한 49개의 공간상의 캘리브레이션 리그를 이용한 월드좌표와 대응되는 영상에서의 픽셀 좌표를 이용하여 보정전의 카메라의 내부 파라미터와 외부 파라미터를 계산하여 원근 투영 매트릭스(PPM)인 카메라 행렬들을 구한다. Using the pixel coordinates in the image corresponding to the world coordinates using the 49 spatial calibration rigs described above, internal and external parameters of the camera before correction are calculated to obtain camera matrices that are the perspective projection matrix (PPM).

여기서, 내부 파라미터(intrinsic parameter)는 카메라 내부에서의 변환 특징을 나타내기 위하여 필요한 요소이다. 실제로 Retinal plane에 맺힌 상은 CCD array에 의해 샘플링이 되고, 그 결과는 아날로그 형태의 비디오 신호로 바뀌며, 상기 비디오 신호는 컴퓨터에 장착된 프레임 그레버(frame grabber)에 의해서 다시 샘플링이 되고 그 결과는 프레임 버퍼(frame buffer)에 저장이 된다. 따라서 우리가 최종적으로 얻는 이미지의 좌표 값은 retinal plane 상의 좌표 값이 아닌 픽셀 좌표(pixel coordinate)의 값이 된다. 상기 내부 파라미터는 이처럼 카메라 내부에서의 변환 특징을 나타내기 위해 필요한 요소이다. Here, an intrinsic parameter is a necessary element for representing the conversion characteristic in the camera. In fact, the image on the retinal plane is sampled by the CCD array, and the result is converted into an analog video signal. The video signal is sampled again by a frame grabber mounted on a computer. It is stored in a frame buffer. Thus, the final coordinate values of the image we get are the pixel coordinates, not the coordinates on the retinal plane. The internal parameter is a necessary element for representing the conversion characteristic inside the camera as described above.

상기 외부 파라미터(extrinsic parameter)는 알지 못하는 카메라 좌표계와 알고 있는 월드 좌표계 사이의 변환을 나타내는 기하학적 요소의 집합으로서 정의내릴 수 있으며, 예로서 카메라의 위치와 방위 등이 있다. 상기 월드 좌표계(world coordinate)는 3차원 공간상의 점들을 카메라 좌표계로 변환하기 위해서 필요한 이미 알고 있는 공간상의 좌표계를 말한다. 월드 좌표계에서 카메라 좌표계로의 변환식은 각 좌표계의 원점 간의 상대적인 위치를 나타내는 평행 이동 벡터(t, translation vector)와 각 좌표축의 회전량을 나타내는 회전 행렬(R, rotation matrix)을 사용하여 표현할 수 있다. 즉, 카메라 좌표계(camera coordinate)는 어떠한 알고 있는 월드 좌표계와 이 영상의 정보를 이용하여 위치와 방위를 결정한다. 따라서 3차원 이동벡터 t는 카메라 좌표계와 월드 좌표계 각각의 원점의 위치를 결정하여 주며, 3×3 회전행렬인 R은 두 좌표계의 대응되는 좌표축을 가져가는 수직행렬(orthogonal matrix)이다. The extrinsic parameter may be defined as a set of geometric elements representing a transformation between an unknown camera coordinate system and a known world coordinate system, such as the position and orientation of the camera. The world coordinate system refers to a known spatial coordinate system required for converting points in three-dimensional space into a camera coordinate system. The conversion equation from the world coordinate system to the camera coordinate system can be expressed using a parallel translation vector (t, translation vector) representing a relative position between the origin of each coordinate system, and a rotation matrix (R) representing an amount of rotation of each coordinate axis. In other words, the camera coordinate system uses a known world coordinate system and information of the image to determine the position and orientation. Accordingly, the 3D motion vector t determines the position of the origin of each of the camera coordinate system and the world coordinate system, and R, which is a 3 × 3 rotation matrix, is an orthogonal matrix taking corresponding coordinate axes of the two coordinate systems.

전술한 바와 같이 계산된 내부 파라미터와 외부 파라미터를 이용하여 제1 카메라 및 제2 카메라에 대한 캘리브레이션 카메라 행렬들을 계산한다. 카메라 행렬 을 계산하는 과정에 대한 구체적인 설명은 당업계에 널리 알려진 기술이므로, 본 명세서에서는 그 설명을 생략한다. The calibration camera matrices for the first and second cameras are calculated using the internal and external parameters calculated as described above. Since a detailed description of the process of calculating the camera matrix is well known in the art, the description thereof will be omitted.

보정 방법Correction method

보정(Rectification)은 일반적인 2차원 탐색 문제의 계산상 대응문제를 전형적으로 보정된 영상에서의 수평 주사선(horizontal raster lines)을 따라 1차원 탐색문제로 줄여주게 된다. 보정의 기본 원리는 베이스라인(baseline)이 초점평면을 포함하도록 하는 새로운 카메라 행렬(PPMs)들을 정의하는 것이다. 이때의 에피폴(epipole)은 무한대에 존재하므로, 에피폴라 라인(epipolar line)들은 평행하게 된다. 올바른 보정이라 함은 에피폴라 라인들은 수평이 되어야 하며, 대응되는 점들은 같은 수직 좌표값을 가져야 한다. Rectification reduces the computational countermeasures of common two-dimensional search problems to one-dimensional search problems, typically along horizontal raster lines in the corrected image. The basic principle of correction is to define new camera matrices (PPMs) such that the baseline includes the focal plane. At this time, the epipole is infinity, so the epipolar lines are parallel. Correct correction means that the epipolar lines must be horizontal and the corresponding points must have the same vertical coordinate value.

새로운 카메라 행렬들(PPMs)은 둘 다 동일한 방위를 가지나 다른 위치를 가진다. 초점의 위치는 old camera와 같은 반면에, 초점 평면이 동일 평면상에 있고 베이스라인을 포함하도록 하는 방법으로 두개의 카메라는 초점을 중심으로 회전하기 때문에 방위만 변화한다. 본 연구에서는 알고리즘을 단순화하기 위해 보정된 PPMs는 old camera와 같은 내부 파라미터를 가지도록 설정할 것이다. 그 결과로 보정된 PPMS은 단지 초점에서만 차이를 가지는 것이다. 따라서 한 쌍의 새로운 카메라를 생각했을 경우, 카메라 좌표계에서 X축을 따라 옮겨진 하나의 카메라로 생각할 수 있다. 따라서 보정된 영상에서 영상평면은 동일평면상에 있고 베이스라인에 평행하다. The new camera matrices (PPMs) both have the same orientation but different positions. The position of the focal point is the same as the old camera, whereas the orientation changes only because the two cameras rotate around the focal point in such a way that the focal plane is on the same plane and contains the baseline. In order to simplify the algorithm, we will set the corrected PPMs to have the same internal parameters as the old camera. The resulting corrected PPMS only differs in focus. So if you think of a pair of new cameras, you can think of them as one camera moved along the X axis in the camera coordinate system. Thus, in the corrected image, the image plane is coplanar and parallel to the baseline.

월드좌표계에서 W의 좌표를 w = (x,y,z), 영상좌표에서의 M의 좌표를 m = (u,v) 이라 하면, W, M의 동차 좌표(homogeneous or projective)는 수학식 2와 같다. If the coordinate of W in the world coordinate system is w = (x, y, z) and the coordinate of M in the image coordinate is m = (u, v) , then the homogeneous or projective of W, M is expressed by Equation 2 Same as

Figure 112007053133680-pat00001
Figure 112007053133680-pat00001

그리고

Figure 112007053133680-pat00002
에서
Figure 112007053133680-pat00003
으로의 변환은 메트릭스
Figure 112007053133680-pat00004
에 의해 주어진다.And
Figure 112007053133680-pat00002
in
Figure 112007053133680-pat00003
Conversion to metrics
Figure 112007053133680-pat00004
Is given by

Figure 112007053133680-pat00005
Figure 112007053133680-pat00005

여기서, λ는 임의의 비례요소(arbitrary scale factor)이다. Here, lambda is an arbitrary scale factor.

원근투영 메트릭스(PPM) 에 의해 설계된 카메라는 QR 인수분해(RQ factorization)를 사용하여 수학식 4와 같이 분해될 수 있으며, 카메라의 위치와 방위(외부 파라미터)는 카메라 좌표계에서 월드 좌표계로의 변환을 나타내는 3×3회전 행렬 R과 평행이동 벡터 t로 구성된다.A camera designed by perspective projection matrix (PPM) can be decomposed as shown in Equation 4 using QR factorization, and the position and orientation of the camera (external parameter) can be converted from the camera coordinate system to the world coordinate system. It consists of a 3x3 rotation matrix R which represents, and a parallel vector t.

Figure 112007053133680-pat00006
Figure 112007053133680-pat00006

여기서의 matrix A는 내부파라미터에 의존한다.Here matrix A depends on internal parameters.

Figure 112007053133680-pat00007
Figure 112007053133680-pat00007

PPM은 수학식 6과 같이 쓸 수 있다.PPM can be written as in Equation 6.

Figure 112007053133680-pat00008
Figure 112007053133680-pat00008

이는 다시 비례 요소를 제거함으로서 수학식 3을 수학식 7과 같이 쓸 수 있다.Equation 3 can be written as Equation 7 by removing the proportional element again.

Figure 112007053133680-pat00009
Figure 112007053133680-pat00009

도 13은 영상 좌표의 수직, 수평축을 포함하는 2개의 평면과 초점평면과의 교차된 상태를 도시한 그림이다. 도 13에 도시된 바와 같이, 초점 평면 F(focal plane)는 영상 평면 R(retinal plane)에 평행하고 초점 C(optical center)를 포함 하며, F위의 점들은 무한대로 투영된다. 그러므로

Figure 112007053133680-pat00010
이 된다. 또한, 영상 좌표의 수직(
Figure 112007053133680-pat00011
), 수평(
Figure 112007053133680-pat00012
) 축의 두 개의 평면은 영상 평면과 각각 교차한다. C(optical center)는 이 세평면의 교차이다. 그러므로 c(principle point)의 좌표는 수학식 8과 같다.FIG. 13 is a diagram illustrating an intersecting state between two planes including the vertical and horizontal axes of the image coordinates and the focal plane. As shown in FIG. 13, the focal plane F is parallel to the image plane R and includes a focal center C, and the points on the F are projected to infinity. therefore
Figure 112007053133680-pat00010
Becomes You can also use the vertical (
Figure 112007053133680-pat00011
), Horizontal (
Figure 112007053133680-pat00012
The two planes of the) axis intersect the image plane, respectively. C (optical center) is the intersection of these three planes. Therefore, the coordinate of c (principle point) is expressed by Equation 8.

Figure 112007053133680-pat00013
Figure 112007053133680-pat00013

Figure 112007053133680-pat00014
Figure 112007053133680-pat00014

영상에서의 점 M을 지나는 영상 선은 line MC이다. 3D 점들의 집합은

Figure 112007053133680-pat00015
이기 때문에, 이 선의 식은 수학식 10과 같은 형태로 쓸 수 있다. The image line through point M in the image is line MC. The set of 3D points
Figure 112007053133680-pat00015
Because of this, the equation of this line can be written in the form of Equation (10).

Figure 112007053133680-pat00016
Figure 112007053133680-pat00016

이제 새로운 PPMs에 대해서 고찰해보도록 하겠다. 수학식 4와 수학식 9로부터 수학식 11을 구할 수 있다.Now let's consider the new PPMs. Equation 11 can be obtained from equations (4) and (9).

Figure 112007053133680-pat00017
Figure 112007053133680-pat00017

초점 C 1 C 2 는 수학식 8로부터 계산된 보정전의 초점(old optical center)으로부터 주어지며, 회전 행렬 R은 새롭게 계산되어 두 개의 PPMs가 동일하게 적용 된다. 또한, 행렬 A의 내부 파라미터는 두 개의 PPMs에서 동일하게 되고 임의로 선택할 수 있다. 열벡터(column vector)형태로 R을 정의하면 수학식 12와 같다.The focal points C 1 and C 2 are given from the old optical center calculated from Equation 8, and the rotation matrix R is newly calculated so that two PPMs are equally applied. In addition, the internal parameters of matrix A are the same in the two PPMs and can be arbitrarily selected. If R is defined in the form of a column vector, Equation 12 is used.

Figure 112007053133680-pat00018
Figure 112007053133680-pat00018

이제, 왼쪽 영상을 보정하기 위해,

Figure 112007053133680-pat00019
의 영상평면에서
Figure 112007053133680-pat00020
의 영상평면으로의 변환함수를 계산하여야 한다. 3×3 matrix
Figure 112007053133680-pat00021
으로 주어지는 동일직선상의 변환을 찾는다. 같은 결과를 오른쪽 영상에 적용한다. 3차원 좌표 w에 대해 수학식 13과 같이 쓸 수 있다.Now, to correct the left image,
Figure 112007053133680-pat00019
On the image plane
Figure 112007053133680-pat00020
Calculate the transform function of the image plane. 3 × 3 matrix
Figure 112007053133680-pat00021
Find the colinear transformation given by. The same result is applied to the right image. For three-dimensional coordinate w can be written as Equation 13.

Figure 112007053133680-pat00022
Figure 112007053133680-pat00022

이제, 영상선의 식을 수학식10에 의해 수학식 14와 같이 나타낼 수 있다.Now, the equation of the image line can be expressed by equation (10) as shown in equation (14).

Figure 112007053133680-pat00023
Figure 112007053133680-pat00023

Figure 112007053133680-pat00024
Figure 112007053133680-pat00024

여기서, λ는 임의의 비례요소이다. Is a proportional element.

보정된 영상을 만들기 위해서 변환 T 1 을 원래의 왼쪽 영상에 적용하면, 보정된 영상의 픽셀들은 원본 평면상의 정수가 아닌 위치에 대응된다. 따라서 보정되어 획득된 영상은 보간법(interpolation)을 적용하여야 본 발명에서 사용할 수 있는 영상을 얻을 수 있다.When transform T 1 is applied to the original left image to produce a corrected image, the pixels of the corrected image correspond to non-integer positions on the original plane. Therefore, the corrected image is obtained by applying interpolation to obtain an image that can be used in the present invention.

도 11의 (a)는 보정 전, 좌·우 영상에서의 에피폴라 라인(epipolar line)이고, (b)는 본 발명에 따른 보정 후, 좌·우 영상에서의 에피폴라 라인이다. 도 11을 통해, 보정 전에는 좌·우영상의 에피폴라 라인이 수렴함에 따라 에피폴(epipole)이 형성되었으나 본 발명에 따른 보정 후에는 에피폴라 라인이 평행하여 에피폴이 무한대에 존재함을 확인할 수 있다.FIG. 11A is an epipolar line in left and right images before correction and (b) is an epipolar line in left and right images after correction according to the present invention. 11, before the correction, the epipole was formed as the epipolar lines converged in the left and right images, but after the correction according to the present invention, the epipole lines were parallel and the epipole was infinity. have.

도 12의 (a)는 캘리브레이션 제어점 위치에서의 피부 모사판의 좌우 입체 영상이며, 도 12의 (c)는 (a)의 영상으로부터 카메라 캘리브레이션과 보정(rectification)후, 추출한 변이도를 바탕으로 3차원으로 복원한 것으로서 (a)의 영상 내에서 사각형 구역안의 주름이 (b)와 비교했을 때, 확연히 복원되었음을 확인할 수 있다.   FIG. 12A is a left and right stereoscopic image of a skin replica plate at a calibration control point position, and FIG. 12C is a three-dimensional image based on variance extracted after camera calibration and rectification from the image of FIG. The wrinkles in the rectangular zone in the image of (a) can be clearly restored when compared with (b).

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. Although the present invention has been described above with reference to preferred embodiments thereof, this is merely an example and is not intended to limit the present invention, and those skilled in the art do not depart from the essential characteristics of the present invention. It will be appreciated that various modifications and applications which are not illustrated above in the scope are possible. And differences relating to such modifications and applications should be construed as being included in the scope of the invention as defined in the appended claims.

본 발명에 따른 피부 계측 장치는 기존의 입체 영상(stereo image) 개념을 이용한 SOT(Stereo-image Optical Topometer)를 3가지 측면에서 보완하여 보다 더 과학적이고 객관적인 3차원 표면 계측이 가능하도록 하였다. The skin measurement apparatus according to the present invention complements the stereo-image optical topometer (SOT) using the conventional stereo image concept in three aspects to enable more scientific and objective three-dimensional surface measurement.

종래의 현미경(microscope)을 사용하게 되는 의공학적 영상계측 장비는 광원(light source)의 사용이 뒤따르게 된다. 이와 같이 종래의 계측장비에 의해 획득된 영상은 광원의 강도에 따라 음영의 결과가 다르거나 광량에 따른 왜곡이 생길 수 있기 때문에, 모든 측정 대상체로의 일관된 광량 공급이 필요하다. 기존 사용법인 주관적 판단에 의한 아날로그(analogue) 형태의 광원 조절은 측정 시간과 공간 그리고 연구자가 다를 경우, 동일한 측정체로부터 다른 결과 값을 초래할 수 있다.Medical imaging equipment that uses a conventional microscope is followed by the use of a light source. As such, the image acquired by the conventional measuring apparatus may have a different result of shading or distortion depending on the amount of light depending on the intensity of the light source, so that a consistent amount of light is supplied to all measurement objects. Analogue light source control by subjective judgment, which is a conventional usage, may result in different result values from the same measurement object when the measurement time, space and researcher are different.

따라서 본 발명에서는 수광 소자로서 포토다이오드(OHDP42CB, OPTO HiTEC, Japan)를 사용하여 현재의 광량을 정량적으로 계측하면서, 본 발명을 위해 제작한 8bit의 디지털 광원조절기(Digital Light Controller)를 사용하여 시공간에 관계없이 일정한 광량을 공급할 수 있게 된다. Therefore, the present invention uses a photodiode (OHDP42CB, OPTO H i TEC, Japan) and with quantitative measurement by the current quantity of light, a digital light source regulator (Digital Light Controller) of a 8bit designed for the present invention using a light-receiving element It is possible to supply a constant amount of light regardless of space-time.

또한, 본 발명에 의하여 디지털 광원 조절기(digital light controller)로 256단계의 단계별 광량 조절함으로써, 안정적인 광원을 시스템으로 제공할 수 있게 되어 생체 표면 측정의 정확성을 달성할 수 있게 된다.In addition, according to the present invention, by controlling the amount of light in 256 steps with a digital light controller, it is possible to provide a stable light source to the system, thereby achieving the accuracy of the measurement of the surface of the living body.

한편, 본 발명에 따른 피부 계측 장치는 한 쌍의 대응되는 에피폴라 라인(epipolar line)을 영상의 수평 주사선중 하나에 평행(parallel)하고 동일직선상(collinear)에 있도록 만들기 위한 보정(rectification) 알고리즘을 사용하였다. 이러한 보정 알고리즘을 이용하여 월드 좌표계(world coordinate)로서 좌표값을 계산한 후, 획득한 좌우 영상의 영상 좌표(image coordinate)와의 관계를 수식으로 풀어 camera parameter를 알아내었다. 이 후의 보정(rectification)을 통해 에피폴(epipole)이 무한대에 존재하고, 모든 에피폴라 라인들은 서로 평행하게 된 영상으로 수정되었음을 확인하였다. 또한, 본 발명에 따른 카메라 캘리브레이션 및 보정 전보다 피부의 3차원 복원에서 더 나은 재현성을 확인할 수 있었다. On the other hand, the skin measurement apparatus according to the present invention is a correction algorithm for making a pair of corresponding epipolar lines parallel and collinear with one of the horizontal scanning lines of the image. Was used. Using this correction algorithm, the coordinates were calculated as world coordinates, and the camera parameters were found by solving the relationship with the image coordinates of the obtained left and right images. Subsequent rectification confirmed that the epipole was at infinity and all epipolar lines were corrected to be parallel to each other. In addition, better reproducibility was confirmed in the three-dimensional restoration of the skin than before camera calibration and correction according to the present invention.

특히, 본 발명에 따른 피부 계측 장치는 미세한 변화의 판별이 요구되는 아토피 피부염의 중증도(severity)의 정도를 판별하는 데 있어 보다 과학적이고 객관적으로 접근할 수 있음을 제시했다.In particular, it has been suggested that the skin measurement apparatus according to the present invention can be approached more scientifically and objectively in determining the degree of severity of atopic dermatitis, which requires the discrimination of minute changes.

본원 발명에 따른 피부 계측 장치의 효과를 검증하기 위하여, 아토피 질환을 가지고 있는 20명을 대상으로 아토피 피부염 개선 보습제의 효능 검증에 응용하는 연구를 수행하였으며, 그 결과 과거 수행하던 방법과 개선된 본 발명에 따른 방법간의 의학적 유효성에 대한 연구를 수행하여, 본 발명에 따른 피부 계측 장치의 우수성을 밝혔다. In order to verify the effect of the skin measurement apparatus according to the present invention, a study was applied to verify the efficacy of atopic dermatitis improving moisturizer for 20 people with atopic disease, and as a result, the method and the improved invention A study on the medical effectiveness of the method according to the present invention was performed to find the superiority of the skin measurement apparatus according to the present invention.

본 발명의 의학적 유효성 평가를 위해 대조군과 치료군의 중증도(Severity) 평가방법 중, 종래의 The SCORAD(Severity Scoring of Atopic Dermatitis) index 평가법 및 SOT(Stereo-image Optical Topometer), 그리고 개선된 SOT에 해당하는 본 발명에 따른 피부 계측 장치에서 각각 평가하였다.Among the methods for evaluating the severity of the control group and the treatment group, the SCORAD (Severity Scoring of Atopic Dermatitis) index evaluation method and the stereo-image optical topometer (SOT), and the improved SOT for evaluating the medical efficacy of the present invention. Each was evaluated in the skin measurement apparatus according to the present invention.

The SCORAD(Severity Scoring of Atopic Dermatitis) index 평가법은 아토피 피부염에 대한 유럽 전문 위원회(The European Task Force on Atopic Dermatitis)에서 제시한 방법에 따라 수학식 16과 같이 계산한다.The SCORAD (Severity Scoring of Atopic Dermatitis) index evaluation method is calculated as shown in Equation 16 according to the method proposed by The European Task Force on Atopic Dermatitis.

RES(Reference Evaluation Systems: 0-103) = RES (Reference Evaluation Systems: 0-103) =

Extent/5(0-20; 19.4%)+3.5*Intensity(0-63; 61.2%)+Objective symptoms(0-20; 19.4%) Extent / 5 (0-20; 19.4%) + 3.5 * Intensity ( 0-63; 61.2%) + Objective symptoms (0-20; 19.4%)

여기서 Extent는 “rule of nine"을 이용하여 환자의 병변의 분포정도를 0부터 100까지로 측정하고 Intensity는 6가지 항목(erythema, edema/papulation, oozing/crust, excoriation, lichenification, dryness)에 각각에 대하여 0부터 3까지의 점수를 부여하여 총 18점으로 하며 수학식 5에 대입하여 그 값을 구하였다.Extent measures the distribution of the patient's lesions from 0 to 100 using the “rule of nine”. Intensity measures each of the six items (erythema, edema / papulation, oozing / crust, excoriation, lichenification, and dryness). Scores from 0 to 3 were assigned to a total of 18 points, and the value was calculated by substituting Equation 5.

The SCORAD index 평가법과 기존의 SOT, 본 발명에 따라 개선된 SOT에 의한 결과 값은 통계처리프로그램(NCSS, NCSS Inc., Kaysville, Utah, USA)을 사용하였다. 기본 보습제(대조군)와 활성성분이 포함된 보습제(치료군)의 도포 기간에 따른 변화를 보기 위해 Student T-test와 GLM ANOVA를 이용하여 통계적인 유의성 검정을 시행하였고 P<0.05를 통계적으로 유의한 것으로 간주하였다. The SCORAD index evaluation method and the existing SOT, the result value by the improved SOT according to the present invention used a statistical processing program (NCSS, NCSS Inc., Kaysville, Utah, USA). The statistical significance test was performed using the Student T-test and GLM ANOVA to see the change according to the application period of the basic moisturizer (control) and the moisturizer containing the active ingredient (treatment group), and P <0.05 was statistically significant. Considered.

종래의 The SCORAD index의 경우, GLM ANOVA 검증에서 치료군과 대조군 모두 아토피 피부염의 개선효과를 확인할 수 없었다. 그러나 기존 SOT의 경우, 치료군에서 S a , S q , S z , SL, SA, SV의 6개의 변이계수에서 통계적으로 의의 있게 감소되어 아토피 피부염의 개선 효능이 있는 것으로 판단되었다. 개선된 SOT인 본 발명에 따 른 시스템의 경우에서도 치료군에서 S a (Arithmetic Mean Deviation of the Surface), S q (Root-Mean-Square Deviation of the Surface), S z (Ten Point Height of the Surface), S ds (Density of Summit of the Surface), S td (Texture Direction of the Surface) , SA(Three Dimensional Area)의 6개의 변이계수에서 통계적으로 유의함을 보이며 감소되어 아토피 피부염의 개선 효능이 있는 것으로 판단된다. 또한, 본 발명에 따른 시스템은 기존 SOT의 수치적 감소보다 안정적인 형태를 가지면서 감소하는 모습을 보여 줌으로써, 기존의 SOT보다 정확한 정량적 계측이 가능함을 보였다.In the conventional SCORAD index, the GLM ANOVA test did not confirm the improvement of atopic dermatitis in both treatment and control groups. However, the existing SOT was found to be statistically significant in the six variance coefficients of S a , S q , S z , SL , SA , and SV to improve atopic dermatitis. For Ta other systems in the present invention is an improved SOT S a (Arithmetic Mean Deviation of the Surface), S q (Root-Mean-Square Deviation of the Surface), S z (Ten Point Height of the Surface) in the treatment group in , S ds (Density of Summit of the Surface), S td (Texture Direction of the Surface) and SA (Three Dimensional Area) showed statistically significant and decreased effect of improving atopic dermatitis. Judging. In addition, the system according to the present invention showed a decrease in shape while having a more stable form than the numerical reduction of the existing SOT, it was shown that more accurate quantitative measurement than the conventional SOT.

또한, 기존 SOT와 본 발명에 따른 시스템의 변동계수(Coefficient Of Variation)를 이용한 비교 결과를 통해, 본 발명에 따른 시스템의 변동계수가 이전의 SOT보다 적게 나타남을 확인할 수 있었다. In addition, the comparison result using the coefficient of variation (Coefficient Of Variation) of the existing SOT and the system according to the present invention, it was confirmed that the coefficient of variation of the system according to the present invention appears less than the previous SOT.

이상의 결과로부터, 입체영상(stereo image) 개념을 이용한 입체 영상 시스템(stereo image system)이 아토피 피부염의 중증도(severity)를 과학적이고 객관적 평가할 수 있는 방법임을 확인할 수 있었고, 본 발명으로 인해 보다 정확한 3차원 복원이 가능함에 따라 기존의 시스템보다 정량적 분석이 가능하게 되었음을 확인할 수 있었다. From the above results, it was confirmed that the stereo image system (stereo image system) using the stereo image concept is a method for scientific and objective evaluation of the severity of atopic dermatitis. As restoration was possible, it was confirmed that quantitative analysis was possible than the existing system.

Claims (10)

마이크로스코프;Microscope; 소정의 주파수 대역의 광을 제공하는 광원;A light source for providing light of a predetermined frequency band; 상기 광원으로부터 대상물의 측정 영역으로 제공되는 광을 감지하여 전기적 신호로 변환하여 출력하는 수광 소자;A light receiving element that detects light provided from the light source to the measurement region of the object and converts the light into an electrical signal; 상기 수광 소자로부터 제공되는 전기적 신호에 따라 광량의 레벨을 출력하는 광량 측정부;A light quantity measuring unit outputting a level of light quantity according to an electrical signal provided from the light receiving element; 상기 광량 측정부에 의해 출력되는 광량의 레벨에 따라, 상기 광원의 레벨을 조절하는 디지털 광원 조절기;A digital light source controller for adjusting the level of the light source according to the level of the light quantity output by the light quantity measuring unit; 상기 마이크로스코프를 통해 확대된 측정 영역에 대한 좌·우 영상을 각각 획득하는 제1 및 제2 카메라;First and second cameras respectively acquiring left and right images of the measurement area enlarged through the microscope; 상기 제1 및 제2 카메라에 의하여 획득된 좌·우 영상들을 이용하여 측정 영역을 분석하는 컴퓨터;A computer for analyzing a measurement area by using left and right images acquired by the first and second cameras; 를 구비하고, 제1 및 제2 카메라를 이용하여 영상을 획득하기 전에, 대상물의 측정 영역으로 제공되는 광량의 레벨을 검출하고, 검출된 광량의 레벨에 따라 광원의 레벨을 조절하여 광원 보정을 함으로써, 대상물의 측정 영역으로 항상 일정한 광량을 제공하여 획득된 입체 영상을 이용하여 생체 표면을 측정하는 피부 계측 장치. And detecting the level of the amount of light provided to the measurement region of the object before acquiring the image using the first and second cameras, and adjusting the level of the light source according to the detected amount of light to correct the light source. And a skin measurement apparatus configured to measure a surface of a living body using a stereoscopic image obtained by always providing a constant amount of light to a measurement area of an object. 제1항에 있어서, 상기 수광 소자는 포토다이오드이며, 상기 광량 측정부는 멀티미터인 것을 특징으로 하는 피부 계측 장치. The skin measuring device according to claim 1, wherein the light receiving element is a photodiode, and the light quantity measuring unit is a multimeter. 삭제delete 제1항에 있어서, 상기 피부 계측 장치를 피부 표면 측정에 적용하는 경우, 해당 피부 표면의 측정 영역에 대해 제작된 모사판의 최고점을 영점 변이(zero disparity)로 맞추어 좌·우 영상을 획득하고, 획득된 좌·우 영상에 대하여 미교차 변이(uncrossed disparity)를 이용한 변이도(disparity map)를 작성하며, 상기 변이도에 대하여 영상 변환 계산을 하여 해당 피부 표면의 측정 영역에 대한 영상을 획득하는 것을 특징으로 하는 피부 계측 장치. The method of claim 1, wherein when the skin measurement apparatus is applied to skin surface measurement, left and right images are obtained by matching the highest point of the replica plate manufactured for the measurement area of the skin surface with zero disparity, A disparity map using an uncrossed disparity is created for the acquired left and right images, and an image of a measurement area of the skin surface is obtained by performing image transformation calculation on the disparity. Skin measurement device. 제4항에 있어서, 상기 모사판에 대한 좌·우 영상을 획득하기 전에 광원 보정을 하는 것을 특징으로 하는 피부 계측 장치. The skin measurement apparatus according to claim 4, wherein the light source is corrected before acquiring the left and right images of the replica plate. 제1항에 있어서, 피부 계측 장치는 캘리브레이션 리그를 이용하여 상기 제1 및 제2 카메라에 대한 캘리브레이션(calibration)을 수행하며, 캘리브레이션 과정은 제1 및 제2 카메라의 내부 파라미터와 외부 파라미터를 구하고, 상기 내부 파라미터와 외부 파라미터를 이용하여 제1 및 제2 카메라에 대한 카메라 행렬들을 계산하는 것을 특징으로 하는 피부 계측 장치. The apparatus of claim 1, wherein the skin measurement apparatus performs calibration of the first and second cameras using a calibration rig, and the calibration process obtains internal and external parameters of the first and second cameras, And derive a camera matrix for the first and second cameras using the internal and external parameters. 제6항에 있어서, 상기 캘리브레이션 리그는 각 면이 174.2°로 연결되며, 한 면당 49개의 포인트를 갖도록 하여, 상기 피부 계측 장치가 인체 표면을 측정할 수 있도록 캘리브레이션하는 것을 특징으로 하는 피부 계측 장치. 7. The skin measurement apparatus of claim 6, wherein the calibration rig is 174.2 ° connected to each side and has 49 points per side, so that the skin measurement apparatus is calibrated to measure the human body surface. 제6항에 있어서, 상기 피부 계측 장치는 제1 및 제2 카메라에 대한 카메라 행렬들을 이용하여 보정 알고리즘에 따라 보정(rectification)된 카메라 행렬을 계산하며, 상기 보정된 카메라 행렬을 이용하여 영상을 보정하고, 보정된 영상을 이용하여 변이(disparity)를 검출하는 것을 특징으로 하며, 상기 보정 알고리즘은 좌·우 영상에 대하여 한 쌍의 대응되는 에피폴라 라인(epipolar line)을 영상의 수평 주사선 중 하나에 평행(parallel)하고 동일직선상(collinear)에 있도록 만드는 알고리즘인 것을 특징으로 하는 피부 계측 장치. The apparatus of claim 6, wherein the skin measuring apparatus calculates a corrected camera matrix according to a correction algorithm by using camera matrices for the first and second cameras, and corrects an image by using the corrected camera matrix. And detecting a disparity using the corrected image. The correction algorithm includes a pair of corresponding epipolar lines on one of the horizontal scanning lines of the image for the left and right images. A skin metrology device, characterized in that it is an algorithm that makes it parallel and collinear. 제6항에 있어서, 상기 내부 파라미터는 영상 평면의 좌표값을 픽셀 좌표값으로 변환하는 카메라 내부에서의 변환특징을 나타내는 파라미터이며, 상기 외부 파라미터는 알지 못하는 카메라 좌표와 알고 있는 월드 좌표계 사이의 변환을 나타내는 기하학적 요소의 집합인 것을 특징으로 하는 피부 계측 장치. The method according to claim 6, wherein the internal parameter is a parameter representing a conversion characteristic in a camera for converting coordinate values of an image plane into pixel coordinate values, and the external parameter indicates conversion between unknown camera coordinates and a known world coordinate system. A skin metrology device, characterized in that it is a set of geometric elements represented. 제8항에 있어서, 상기 보정 알고리즘은 상기 제1 및 제2 카메라에 대한 카메라 행렬들과 한쌍의 입체 영상이 입력되며, 카메라 좌표계의 좌표값에서 월드 좌표계의 좌표값으로 변환하고, 월드 좌표계(world coordinate)로서 좌표값을 영상 좌표계의 좌표값으로 변환하는 변환 행렬을 작성하여 영상들을 보정하는 것을 특징으로 하는 피부 계측 장치. The method of claim 8, wherein the correction algorithm receives a pair of stereoscopic images and camera matrices for the first and second cameras, converts the coordinates of the camera coordinate system into coordinates of the world coordinate system, and converts the coordinates of the world coordinate system into a world coordinate system. skin measurement device, characterized in that for correcting the images by creating a transformation matrix that converts the coordinates into coordinates of the image coordinate system.
KR1020070073369A 2007-07-23 2007-07-23 Improved stereo-image optical topometer KR100912074B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070073369A KR100912074B1 (en) 2007-07-23 2007-07-23 Improved stereo-image optical topometer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070073369A KR100912074B1 (en) 2007-07-23 2007-07-23 Improved stereo-image optical topometer

Publications (2)

Publication Number Publication Date
KR20090010339A KR20090010339A (en) 2009-01-30
KR100912074B1 true KR100912074B1 (en) 2009-08-12

Family

ID=40489533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070073369A KR100912074B1 (en) 2007-07-23 2007-07-23 Improved stereo-image optical topometer

Country Status (1)

Country Link
KR (1) KR100912074B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101010533B1 (en) 2008-09-18 2011-01-24 고려대학교 산학협력단 Living body surface morphological measuring system
US9679395B2 (en) 2014-01-24 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for image processing

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524808B1 (en) * 2013-10-15 2015-06-03 고려대학교 산학협력단 Touch delivery system and method for skin diagnosis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100216502B1 (en) 1997-04-24 1999-08-16 오칠환 Method for measuring state of skin wrinkles
KR20000061854A (en) * 1999-03-31 2000-10-25 채문식 Apparatus and Method of measuring the surface state for analyzing colour and the shape in three dimension
JP2000315257A (en) 1999-04-30 2000-11-14 Shiseido Co Ltd Method for generating three-dimensional image of skin state
KR20070060866A (en) * 2005-12-09 2007-06-13 한국전자통신연구원 3 dimension skin measurement apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100216502B1 (en) 1997-04-24 1999-08-16 오칠환 Method for measuring state of skin wrinkles
KR20000061854A (en) * 1999-03-31 2000-10-25 채문식 Apparatus and Method of measuring the surface state for analyzing colour and the shape in three dimension
JP2000315257A (en) 1999-04-30 2000-11-14 Shiseido Co Ltd Method for generating three-dimensional image of skin state
KR20070060866A (en) * 2005-12-09 2007-06-13 한국전자통신연구원 3 dimension skin measurement apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101010533B1 (en) 2008-09-18 2011-01-24 고려대학교 산학협력단 Living body surface morphological measuring system
US9679395B2 (en) 2014-01-24 2017-06-13 Samsung Electronics Co., Ltd. Method and apparatus for image processing

Also Published As

Publication number Publication date
KR20090010339A (en) 2009-01-30

Similar Documents

Publication Publication Date Title
CN110288642B (en) Three-dimensional object rapid reconstruction method based on camera array
Fourie et al. Evaluation of anthropometric accuracy and reliability using different three-dimensional scanning systems
Khan et al. Single shot laser speckle based 3D acquisition system for medical applications
US8803943B2 (en) Formation apparatus using digital image correlation
Maal et al. Registration of 3-dimensional facial photographs for clinical use
EP3007131A1 (en) Artifact mitigation in three-dimensional imaging
TWI520576B (en) Method and system for converting 2d images to 3d images and computer-readable medium
Breque et al. Calibration of a system of projection moiré for relief measuring: biomechanical applications
Yang et al. Flexible and accurate implementation of a binocular structured light system
Thabet et al. Dynamic 3D shape of the plantar surface of the foot using coded structured light: a technical report
TW201310004A (en) Correlation arrangement device of digital images
KR100912074B1 (en) Improved stereo-image optical topometer
D'Apuzzo Automated photogrammetric measurement of human faces
CN107610215B (en) High-precision multi-angle oral cavity three-dimensional digital imaging model construction method
Malian et al. Medphos: A new photogrammetric system for medical measurement
Hussien et al. Stereo photogrammetry vs computed tomography for 3D medical measurements
Li et al. A photogrammetry-based system for 3D surface reconstruction of prosthetics and orthotics
Galantucci et al. New 3D digitizer for human faces based on digital close range photogrammetry: Application to face symmetry analysis
Cavagnini et al. 3D optical body scanning: application to forensic medicine and to maxillofacial reconstruction
Shah 3D Stereovision for Quantification of Skin Diseases
Rodríguez-Quiñonez et al. Anthropometric Stereo Vision System for Measuring Foot Arches Angles in Three Dimensions
HajiRassouliha et al. 3D surface profiling using arbitrarily positioned cameras
Daoud et al. 3D reconstruction of the human trunk for designing personalized braces: Precision study
Lim et al. Correlation of idiopathic scoliosis assessments between newly developed Milwaukee Topographic Scanner and Quantec
Majid et al. Modelling Human faces with Non-Contact threedimensional Digitizer–Preliminary Results

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150709

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170707

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 10