KR20100032742A

KR20100032742A - Living body surface morphological measuring system

Info

Publication number: KR20100032742A
Application number: KR1020080091746A
Authority: KR
Inventors: 오칠환; 김민기; 문종섭; 이언석; 하승한; 이건우; 김재영; 오장석; 박규만
Original assignee: 고려대학교 산학협력단
Priority date: 2008-09-18
Filing date: 2008-09-18
Publication date: 2010-03-26
Also published as: KR101010533B1

Abstract

PURPOSE: A living body surface morphological measuring system is provided to execute an accurate matching without an image compensation process by getting the image of non-convergence camera model. CONSTITUTION: A first image extraction part(100) comprises a first microscope and a first camera. A second image extraction part(200) comprises a second microscope and a second camera. A first and a second microscope magnify a first and a second image reflected. The first and the second camera take a picture of a first and a second image reflected. A beam splitter(300) transmits the first and the second image to the first and the second image extraction parts. A control analysis part analyzes an image extracted by the first and the second image extraction parts.

Description

Biological surface measurement system {LIVING BODY SURFACE MORPHOLOGICAL MEASURING SYSTEM}

본 발명은 생체표면 상태 측정에 관한 것으로, 특히 인체의 시각생리의 기초개념인 인체의 양측 눈에서 인식된 두개의 상(stereo image)의 차이(disparity)에 의해 대뇌에서 입체를 인식하는 입체영상 개념을 응용하여 물질의 표면상태(예를 들어, 피부주름, 운동성 있는 내시경하 소견)를 입체적으로 정량 계측토록 하고, 표면의 색체분석시 R,G,B(적,녹,청)의 3원색 데이터에 입체시 개념을 도입하여 삼차원적으로 색체분석이 가능토록 한 입체적 형태 및 색체 분석을 표면상태 측정 장치에 관한 것이다.The present invention relates to the measurement of the surface state of the living body, and in particular, the stereoscopic image concept of recognizing stereoscopic images in the cerebrum by the disparity of two stereo images recognized in both eyes of the human body, which is the basic concept of visual physiology of the human body. Three-dimensional color data of R, G, B (red, green, blue) can be quantitatively measured in three dimensions by measuring the surface state of the substance (for example, skin wrinkles and endoscopic findings with movement). The present invention relates to a three-dimensional shape and a chromosome analysis for introducing a concept of stereoscopic vision to three-dimensional chromosome analysis.

일반적으로, 인체 또는 생체의 피부 표면의 형상 분석은, 기계식 측면도 측정기, 광학적 측면도 측정기 또는 레이저를 이용한 측면도 측정기를 사용하여 피부 표면의 상태를 측정하고 그 측정 결과를 분석하여 피부 표면의 형상을 분석하였다.In general, the shape analysis of the skin surface of a human body or a living body, using a mechanical side view, an optical side view or a laser side view measuring device to measure the state of the skin surface and analyzed the measurement results to analyze the shape of the skin surface .

여기서, 기계식 측면도 측정기는 바늘 침(mechanical stylus)으로 피부 표면의 굴곡 등을 측정한 후 이를 증폭시켜 출력함으로써 피부 표면의 성상을 판단토록 하는 장치이다. 또한 광학적 측면도 측정기는, 관찰하고자 하는 피부 부위의 외측에 실리콘을 사용하여 피부 표면의 모사판(Replica)을 제작하고, 현미경을 사용하여 모사판에 광원의 각도를 20 ~ 28ㅀ의 사선으로하여 광을조사하고 피부 표면에 의해 생기는 음영을 영상분석법(Image Analysis System)을 이용하여 피부 표면의 상태 및 그 구조를 판단토록 하는 장치이다.Here, the mechanical side view measuring device is a device for determining the appearance of the skin surface by measuring the bend of the skin surface with a needle (mechanical stylus) and then amplify and output it. In addition, the optical side view measuring device, using a silicon on the outside of the skin area to be observed to produce a replica of the skin surface, using a microscope using a microscope with a light source angle of 20 ~ 28 ㅀ diagonal line It is a device to investigate the condition of the skin surface and its structure by using the Image Analysis System.

다음으로, 레이저를 이용한 측면도 측정기는 레이저 광선이 모사판에서 반사되어 정확한 상이 맺히는 초점의 길이를 모터가 있는 자동 초점(Auto Focus) 기능으로 측정하여 대물렌즈가 움직이는 거리를 모니터링하여 피부 표면의 상태 및 그 구조를 판단할 수 있도록 한 장치이다.Next, the side view measuring instrument using a laser measures the length of the focal point at which the laser beam is reflected from the replica plate and forms an accurate image by using an auto focus function with a motor. It is a device that can judge the structure.

그러나 이러한 상기와 같은 종래의 피부표면 측정 장치는 다음과 같은 문제점이 있다. 첫째, 기계식 측면도 측정기는 매우 고가이며, 피부 표면의 성상을 측정하기 위해 많은 시간이 소요되는 단점이 있다. 또한, 바늘 침의 압력에 의해 표면 상태의 변형 우려가 있으며, 이러한 연유로 액체 또는 인체와 같은 무른상태의 표면은 직접 측정이 불가능한 단점이 있다. 아울러 침의 직경 5㎛ 이하의 표면계측시 침이 filter로 작용하여 5㎛이하의 steep groove는 측정하지 못하는 단점이 있고, 내시경학 분야 적용시 운동성이 있는 소화기관의 표면 측정이 불가능하다는 단점이 있다.However, such a conventional skin surface measuring apparatus has the following problems. First, the mechanical side view measuring instrument is very expensive, and takes a long time to measure the appearance of the skin surface. In addition, there is a fear that the surface state is deformed by the pressure of the needle needle, the soft surface such as a liquid or a human body is a disadvantage that can not be measured directly. In addition, when measuring the diameter of the needle 5㎛ or less, the needle acts as a filter, the steep groove below 5㎛ can not be measured, and in the application of endoscopy, it is impossible to measure the surface of the motility of the digestive system. .

둘째, 광학적 측면도 측정기는 피부 표면을 직접적으로 분석하지 않고 간접적으로 피부 표면에 의한 그림자를 측정하므로 정확한 피부 표면의 높이를 구할 수 없는 단점이 있다. Secondly, the optical side view measuring device does not directly analyze the skin surface, but indirectly measures the shadows caused by the skin surface, so there is a disadvantage in that the exact height of the skin surface cannot be obtained.

셋째, 레이저를 이용한 측면도 측정기는 피부 표면을 직접적으로 측정하지 않으므로 정확도가 떨어지고 레이저를 피부에 조사하므로 피부표면에 부작용을 초래하는 단점이 있으며, 또한, 기계식 측면도 측정기와 유사하게 직경 3㎛ 이하의 steep groove 측정시 침이 필터로 작용하는 단점이 있었다.Third, the side view measuring device using the laser does not directly measure the surface of the skin, so the accuracy is inferior, and the laser is irradiated to the skin, which has the disadvantage of causing side effects on the surface of the skin. When measuring grooves, the needle acted as a filter.

한편, 기존의 인체 표면의 색체 분석을 위해 사용되는 방법(예를들어, colorimeter 또는 reflectance spectrophotometer)은, 전 관찰면의 평균치만 산출하므로 관찰면의 색체 차이를 측정할 수 없으며, 상기 관찰면(8mm 또는 3mm)내에서만 평균치로서 색채분석이 가능하며, 3차원적 색체 분석은 불가능한 단점이 있었다.On the other hand, the existing method (eg, colorimeter or reflectance spectrophotometer) used for the analysis of the color of the human body surface only calculates the average value of the entire observation surface, it is not possible to measure the color difference of the observation surface, the observation surface (8mm Or 3mm) color analysis is possible only as an average value, and three-dimensional color analysis is impossible.

이와 같은 단점을 개선하기 위해 현재는 입체영상을 이용한 보다 정량적이고 직접적인 표면계측 방법이 연구되어 지고 있는데, 이하 자세히 설명하기로 한다.In order to remedy such drawbacks, more quantitative and direct surface measurement methods using stereoscopic images have been studied, which will be described in detail below.

도 1은 종래의 생체표면 계측 시스템을 이용하여 입체영상을 추출하는 방법을 예시한 도면이다. 도 1에 나타낸 바와 같이, 제1 영상 추출부 및 제2 영상 추출부에서 추출한 좌,우 영상(도 1(a),(b))을 이용하여 변이맵(도 1(c))을 형성하고, 이 변이맵을 분석하여 3차원 영상으로 재구성(도 1(d))하는 방법으로 생체표면의 입체적 영상을 통하여 계측하게 된다.1 is a diagram illustrating a method of extracting a stereoscopic image using a conventional biosurface measurement system. As shown in FIG. 1, a disparity map (FIG. 1C) is formed by using left and right images (FIG. 1A and FIG. 1B) extracted by the first and second image extractors. In addition, the disparity map is analyzed and reconstructed into a three-dimensional image (FIG.

일반적으로 입체 영상을 얻기 위한 방법으로 크게 비광학적 방법과 광학적 방법으로 나눌 수 있고, 3차원 영상의 계측기술을 크게 나누면 물체표면에 프로브를 접촉해서 그 표면상의 각 점의 3차원 좌표를 계측하는 접촉방식과 주로 광학적 수단으로 계측하는 비접촉방식이 있다. 비접촉 3차원 계측기를 일반적으로 레이지 화인더로 부르고 있다. In general, a method for obtaining a stereoscopic image can be largely divided into a non-optical method and an optical method. When the measurement technology of a three-dimensional image is largely divided, a contact is made by contacting a probe to an object surface and measuring three-dimensional coordinates of each point on the surface. There is a method and a non-contact method mainly measured by optical means. Non-contact three-dimensional measuring instruments are commonly called lazy finders.

여기서 광학적 계측방법으로, 스테레오 카메라 방식은 물체표면의 한 점에 대응하는 화상위의 점을 복수의 화상에 일률적으로 정할 필요가 있다. 그러기 위해서는 먼저 좌화상 위의 한 점(이것은 물체표면상의 한 점에 대응하고 있다.)을 정하고, 그 점을 지나는 좌시선에 대응하는 우화상 위의 직선(에피폴라 라인, epipolar line : 이것은 3차원 공간상의 한 점과 좌우의 렌즈 중심으로 정해지는 평면이 좌우의 촬상면과 만나는 직선이라고 정의된다.)의 각 점 중 앞서 정한 좌화상 위의 점과 가장 잘 대응하는 점을 어떤 평가 척도로 결정하여 이것을 우화상 위의 대응점으로 한다. 그렇지만 두대의 카메라는 물체를 다른 각도에서 관찰하고 있는 것이므로 [가장 잘 대응하는 점]이 반드시 물체위의 같은 점을 나타내고 있는 것은 아니다.Here, as an optical measuring method, the stereo camera method needs to uniformly determine a point on an image corresponding to a point on the object surface to a plurality of images. To do this, first define a point on the left image (this corresponds to a point on the surface of the object), and then a straight line on the right image corresponding to the left line of sight passing through that point (epipolar line: A point in space and a plane defined by the left and right lens centers are defined as a straight line that meets the left and right imaging planes. We assume correspondence point above allegorical image. However, since the two cameras are viewing the object from different angles, the best match does not necessarily indicate the same point on the object.

계측분야에서는 두 점 이상의 위치에 카메라를 놓거나 카메라 간격이 틀리는 화상쌍에서 대응점을 결정하는 멀티베이스라인 스테레오(Multiple-baseline Stereo)등 여러 가지 연구에 의해 대응점 문제를 회피하는 시도가 이루어지고 있는 실정이다.In the field of measurement, attempts to circumvent the point of contact problem have been made by various studies such as placing a camera at two or more points or a multiple-baseline stereo that determines the point of correspondence in an image pair having different camera intervals. .

이러한 시도는 좌우영상의 시차의 정확한 계산과 동시성에 의한 인 비보(in vivo)촬영이 쉽지 않기 때문이다. 이하에서 더욱 구체적으로 종래의 시스템에서 적용하는 좌우 영상 시차에 의한 3차원 영상 추출방법(스테레오 카메라 방식)의 개념을 설명한다.This is because in vivo imaging is not easy due to the accurate calculation and the simultaneous calculation of parallax of left and right images. Hereinafter, the concept of a three-dimensional image extraction method (stereo camera method) by left and right image parallax applied in a conventional system will be described in more detail.

도 2는 스테레오 카메라 방식의 입체영상 추출 원리의 개념도를 예시한 도면이다. 도 2(a)에서 점 w를 두 개의 카메라로 영상을 획득하면, 왼쪽 영상에서는 a, 오른쪽 영상에서는 b의 위치에 영상이 획득된다. 이 차이를 '변이'라고 한다. 반면, w보다 카메라에 가까운 w'를 영상으로 나타내면 오른쪽 영상에서는 c위치에 나타나게 된다. 즉, 영상과 가까워지면 변이가 더 커지게 되는 것이다. '변이맵'이란 이 변이를 계산하여 2차원 영상에 나탄낸 것을 의미한다. 또한 이때 왼쪽 영상과 오른쪽 영상사이의 광축을 선으로 연결한 것을 베이스 라인(base line)이라고 한다. 그리고 왼쪽 영상에서 점 a는 오른쪽영상에서 한 직선상의 어딘가에 위치하게 되는데 이것을 에피폴라 라인(epipolar line)이라고 한다.2 is a diagram illustrating a conceptual diagram of a stereoscopic image extraction principle of a stereo camera method. In FIG. 2 (a), when the image of the point w is acquired by two cameras, the image is obtained at the position a in the left image and b in the right image. This difference is called a 'variation'. On the other hand, if w 'is closer to the camera than w, the image appears at the c position in the right image. In other words, the closer the image is, the greater the variation. The 'variation map' means to calculate the variation and display it in the 2D image. In addition, the optical line between the left image and the right image is called a base line. In the left image, point a is located somewhere on a straight line in the right image, which is called an epipolar line.

좌.우 영상은 크게 두 가지 형태로 획득할 수 있다. 도 2의 (b)와 같이 두 대의 카메라가 평행한 형태로 획득한 것을 '비수렴형 모델'이라고 한다. (c)와 같이 두 카메라가 목적 위치를 향해 바라보고 있는 형태를 '수렴형 모델'이라고 한다. 비수렴형 모델의 영상은 좌.우 영상의 에피폴라 라인이 평행하여 변이맵이 정확하게 계산되는 장점이 있는 반면, 좌우 영상에서 공통되는 영역이 보다 작다는 단점이 있다. 반대로 수렴형 모델의 영상은 좌우 영상에서 공통되는 영역이 보다 많은 반면 좌우 영상의 에피폴라 라인이 평행하지 않기 때문에 정확한 정합을 위해 보정계산 과정이 필요한 단점이 있다.Left and right images can be obtained in two types. As shown in FIG. 2B, the two cameras obtained in parallel form are referred to as a 'non-converging model'. As shown in (c), the two cameras look toward the target position as a 'converged model'. The image of the non-converging model has the advantage that the disparity map is accurately calculated because the epipolar lines of the left and right images are parallel, but the disadvantage is that the common area in the left and right images is smaller. On the contrary, the image of the convergent model has more common areas in the left and right images, but since the epipolar lines of the left and right images are not parallel, a correction calculation process is required for accurate matching.

수렴형 모델의 영상에서 좌우 영상의 에피폴라 라인이 평행하도록 보정하는 이유는 변이맵을 정확하게 구할 수 있기 때문이다. 그러나 이와 같이 에피폴라 라인이 평행한 비수렴형 카메라 모델의 영상을 획득하게 되면 영상의 일그러짐 현상 이 나타나고 파라미터를 통한 정략적 계측이 힘들어지게 된다. The reason why the epipolar lines of the left and right images are parallel in the image of the convergent model is that the disparity map can be accurately obtained. However, when the images of non-converging camera models with parallel epipolar lines are acquired, image distortion occurs and it is difficult to make quantitative measurements through parameters.

도 3에서 종래의 스테레오 카메라 방식의 입체영상 표면계측 시스템의 개략도를 도시한다.Figure 3 shows a schematic diagram of a stereoscopic surface measurement system of a conventional stereo camera method.

도 3에 나타낸 바와 같이, 입체영상 표면계측 방법은 나란히 위치한 2대의 카메라(10,20), 광원, 광가이드(40), 접안렌즈(30) 및 대물렌즈(50)를 포함하는 구성으로 되어있다. 광원에서 특정 파장의 광을 조사되고, 대상 표면에서 반사된 광이 양쪽 카메라(10,20)에 촬상되어 좌, 우 영상을 추출하고 이를 분석하여 입체영상을 얻는 시스템이다.As shown in FIG. 3, the stereoscopic surface measurement method includes a configuration including two cameras 10 and 20, a light source, an optical guide 40, an eyepiece 30, and an objective lens 50 positioned side by side. . The light is irradiated with a specific wavelength from the light source, and the light reflected from the target surface is captured by both cameras (10, 20) to extract the left and right images and to analyze the same to obtain a stereoscopic image.

즉 종래의 입체영상 시스템은 두 개의 홀과 대물렌즈로 구성되고, 이곳을 통해 각각의 좌,우 영상이 CCD 카메라(10,20)로 획득된다. 그러나 이러한 시스템은 좌우 영상의 거리(base line)의 길이가 고정되어 있고, 광 가이드를 통한 수직으로 꺽이는 관절 부분이 결합되어 구성된 시스템이기 때문에 약한 충격에도 반사각들을 유지할 수 없어진다. 또한 이 틀어짐에 관한 결과로 인해 에피폴라 라인(epipolar line)이 평행하지 않은 영상을 얻게 된다.That is, the conventional stereoscopic image system is composed of two holes and an objective lens, through which the left and right images are acquired by the CCD cameras 10 and 20. However, since the system has a fixed length of the base line of the left and right images, and a joint portion that is vertically bent through the light guide, the system cannot maintain the reflection angles even under a weak impact. The result of this skew also results in an image where the epipolar lines are not parallel.

이러한 이유로 x,y,z 축을 매우 정량적이고 정교하게 이동시킬 수 있는 순시형 입체영상 시스템을 사용하게 되는데(도시하지 않음), 즉, 이 시스템은 베이스 라인(base line)을 원하는 대로 조정할 수 있고, 완벽에 가까운 비수렴형 영상을 얻을 수 있는 장점이 있다. 그러나 일반 카메라의 접사기능을 이용하여 생체의 표면 영상을 획득하기 때문에, 정량적 배율에서 문제점이 있다. 무엇보다 가장 큰 단점은 살아있는 생체의 영상을 얻기 힘들다는데 있다. 한쪽 영상을 얻고 짧은 시간 동안 카메라가 이동하여 또 다른 한쪽 영상을 얻어야 하는데 그 사이 생체는 호흡 등으로 인한 움직임이 발생한다. 따라서 획득한 영상은 상하 좌우가 움직인 영상을 획득할 가능성이 매우 높다.This is why we use an instantaneous stereoscopic system (not shown) that can move the x, y, z axes very quantitatively and precisely (not shown), which means that the baseline can be adjusted as desired, There is an advantage of obtaining a near-perfect non-convergence image. However, there is a problem in quantitative magnification because the surface image of the living body is obtained using the macro function of the general camera. The biggest disadvantage is that it is difficult to obtain a living image. One image is obtained and the camera moves for a short time to obtain another image, while the living body moves due to breathing. Therefore, the acquired image is very likely to acquire the image moved up, down, left, and right.

또한 이러한 종래의 시스템은 측정 대상체가 지축을 기준으로 바닥면에 고정되어 있어야 하기 때문에 모사판을 이용하여 간접적인 측정이 이루어진다는 점에서 그 측정이 정확성 및 데이터를 통한 분석범위가 한계가 있다는 문제점이 있다.In addition, such a conventional system has a problem that the measurement is limited in accuracy and analysis range through data in that indirect measurement is performed using a replica plate because the measurement object must be fixed to the bottom surface based on the axis of the measurement. have.

상술한 문제를 해결하기 위한 본 발명의 과제는, 첫째, 스테레오 영상으로부터 정합점의 변이를 빠른 시간에 정확하게 계산할 수 있는 비수렴형 좌우 영상을 동시에 얻을 수 있고, 둘째, 두 영상의 광축 사이의 거리를 자유롭게 조절함으로써 피부 질환별로 유용한 값을 선택적으로 적용할 수 있고, 셋째, 칼라 영상을 획득할 수 있도록 하여 기존에 사용하였던 방법인 모사판을 이용한 측정이 아닌 생체표면을 직접 계측함으로써 각 질환별 색체 분석을 통한 평가를 할 수 있고, 넷째 계측하고자 하는 생체의 ROI(Region of interest)를 측정 대상에 편의에 맞춰서 계측할 수 있도록 하는 입체영상을 이용한 생체표면 계측 시스템을 제공하고자 함이다.An object of the present invention for solving the above problems is, firstly, to simultaneously obtain a non-converging left and right images that can accurately calculate the transition of the matching point from the stereo image at the same time, and second, the distance between the optical axis of the two images By adjusting freely, it is possible to selectively apply useful values for each skin disease. Third, color images can be obtained by directly measuring the biological surface, rather than using the copying method, which is a conventional method. Fourth, to provide a biological surface measurement system using a three-dimensional image to be able to evaluate, and to be able to measure the region of interest (ROI) of the living body to be measured at the convenience of the measurement object.

상술한 문제를 해결하기 위한 본 발명에 따른 과제 해결 수단은 시편의 상단 부에 위치하여 시편에서 반사된 제1 영상을 확대하는 제1 마이크로 스코프와, 상기 제1 마이크로 스코프에 연장되어 상기 반사된 제1 영상을 촬상하는 카메라로 구성된 제1 영상 추출부; 상기 제1 영상 추출부와 수직하게 위치하여 상기 시편에 반사된 제2 영상을 확대하는 제2 마이크로 스코프와, 상기 제2 마이크로 스코프에 연장되어 상기 반사된 제2 영상을 촬상하는 카메라로 구성된 제2 영상 추출부; 하나의 홀을 관통하여 상기 시편에서 반사된 제1 영상을 투과시켜 상기 제1 영상 추출부로 전송하고, 상기 홀을 관통하여 상기 시편에 반사된 제2 영상을 수직으로 반사시켜 상기 제2 영상 추출부로 전송하는 빔스플릿터; 및 상기 제1 영상 추출부 및 제2 영상 추출부에서 추출된 영상을 3차원 영상으로 분석하는 제어 분석부를 포함한다.The problem solving means according to the present invention for solving the above problems is located in the upper end of the specimen to enlarge the first image reflected from the specimen and the first microscope to extend the first microscope and the reflected agent A first image extracting unit configured of a camera for capturing one image; A second microscope positioned perpendicular to the first image extractor to enlarge the second image reflected on the specimen, and a camera extending to the second microscope to capture the reflected second image; An image extractor; Transmitting the first image reflected from the specimen through one hole and transmitting the first image to the first image extractor, and vertically reflecting the second image reflected through the hole to the second image extractor. A beam splitter for transmitting; And a control analyzer configured to analyze the images extracted by the first image extractor and the second image extractor as a 3D image.

또한, 상기 제1 마이크로 스코프는 상기 시편과 수평한 방향으로 이동이 가능한 것이 바람직하고, 상기 빔스플릿터는 기울어진 각도를 조정할 수 있는 것이 바람직하며, 상기 카메라는 컬러 CCD 카메라인 것이 바람직하다.In addition, the first microscope is preferably movable in a direction parallel to the specimen, the beam splitter is preferably capable of adjusting the inclination angle, the camera is preferably a color CCD camera.

더하여, 바람직하게는 상기 마이크로 스코프의 이동과, 상기 빔스플릿터의 각도 조절은 메뉴얼 스테이지로 제어되는 것일 수 있고, 상기 제어 분석부는 프레임 그레버와 제어 컴퓨터로 구성된 것일 수 있으며, 상기 본체부에 연결되어 상기 본체부를 3차원상의 x,y,z축 방향으로 이동 가능하도록 하는 지지대를 더 포함하는 것일 수 있다.In addition, preferably the movement of the microscope and the angle adjustment of the beam splitter may be controlled by a manual stage, the control analyzer may be composed of a frame grabber and a control computer, connected to the main body It may be to further include a support for moving the main body portion in the x, y, z-axis direction on the three-dimensional.

상술한 본 발명에 따른 생체표면 계측 시스템을 제공하게 되면, 첫째 두 영 상의 광축사이 거리(base line) 조절이 가능함으로 인해, 질환별 형태에 따른 적용 가능한 수치를 얻어내는 대상체의 일률적인 적용이 아닌 질환별로 효과적인 평가를 이루어 낼 수 있다. 둘째, 비수렴형 카메라 모델의 영상을 획득할 수 있으므로, 영상의 보정과정을 거치지 않고 보다 빠르고 정확한 정합이 가능하다. 셋째, 좌우 영상을 동시에 획득함으로써 생체변화(in vivo) 영상을 얻을 수 있기 때문에 기존에 이루어 지지 않은 입체영상과 생체분석 연구가 함께 이루어져 보다 과학적인 계측이 이루어질 수 있다.When providing a biosurface measurement system according to the present invention described above, first, because it is possible to adjust the base line between the two axes of the image (base line), it is not a uniform application of the subject to obtain an applicable value according to the type of disease Effective assessment can be made for each disease. Second, since an image of a non-converging camera model can be obtained, faster and more accurate matching is possible without undergoing an image correction process. Third, since the in vivo image can be obtained by simultaneously acquiring the left and right images, a more scientific measurement can be made by performing a stereoscopic image and a bioanalytical study that have not been made in the past.

본 발명에 따른 바람직한 실시예를 이하 도면을 참조하여 상세히 설명하기로 한다.Preferred embodiments according to the present invention will be described in detail below with reference to the drawings.

도 4는 본 발명에 따른 입체영상을 통한 생체표면 계측 시스템 본체의 개략도를 예시한 도면이다. 도 4에 나타낸 바와 같이, 본 발명에 따른 시스템의 본체(500)는 제1 영상 추출부(100), 제2 영상 추출부(200) 및 빔 스플릿터(beam spliter,300)로 구성된다. 제1 영상 추출부(100) 및 제2 영상 추출부(200)는 생체표면에 반사된 영상을 확대하는 마이크로 스코프(120,220) 및 이 영상을 촬상하기 위한 카메라(110,210)로 구성된다.4 is a diagram illustrating a schematic diagram of a main body surface measurement system through a stereoscopic image according to the present invention. As shown in FIG. 4, the main body 500 of the system according to the present invention includes a first image extractor 100, a second image extractor 200, and a beam splitter 300. The first image extracting unit 100 and the second image extracting unit 200 include a microscope (120, 220) for enlarging an image reflected on a biological surface and a camera (110, 210) for capturing the image.

즉, 본 발명에 따른 시스템의 본체는 제1 영상 추출부(100)와 제2 영상 추출부(200)가 서로 수직으로 위치해 있고, 그 교차 지점에서 하나의 관통홀을 통하여 시편에 반사된 각각의 영상을 각각의 영상 추출부로 분리 전송하는 빔 스플릿터(300)를 포함하는 구성으로서, 시편, 즉 검사 대상물인 생체표면의 좌,우영상을 하나의 관통홀을 통하여 추출하고, 이 추출된 영상을 3차원 영상으로 재분석하여 계측하는 시스템이다. 그리고 상기 마이크로 스코프(120,220)와 빔 스플릿터(300)는 일체형으로 형성될 수 있음은 물론이다. 여기서 빔 스플릿터(300)는 반투과 미러로서, 시편에서 반사된 영상을 하나의 관통 홀을 통과하여 수직한 방향으로 놓여 있는 각 영상 추출부(100,200)로 분리하여 전송하는 역할을 하게 된다.That is, in the main body of the system according to the present invention, the first image extractor 100 and the second image extractor 200 are located perpendicular to each other, and each of the reflections of the specimen through one through hole at the intersection thereof is reflected. The beam splitter 300 separates and transmits an image to each image extracting unit, and extracts the left and right images of a specimen, that is, the biological surface of the test object through one through hole, and extracts the extracted image. It is a system for re-analyzing and measuring three-dimensional images. The microscopes 120 and 220 and the beam splitter 300 may be integrally formed. In this case, the beam splitter 300 is a semi-transmissive mirror, and serves to separate and transmit the image reflected from the specimen to each image extracting unit 100 and 200 placed in a vertical direction through one through hole.

보다 구체적으로, 제1 영상 추출부(100)의 마이크로 스코프는 초점거리를 조정할 수 있도록 렌즈간 거리(115)를 조절할 수 있고, 또한 생체표면의 수평 방향으로 원하는 광축사이의 거리를 마이크로미터 단위로 이동(113)이 가능하도록 되어 있기 때문에 제 2 영상 추출부(200)에서 동시에 좌우 영상을 추출하여 촬상 할 수 있을 뿐 아니라, 좌우 영상의 베이스 라인(base line)을 제1 영상 추출부(100)의 수평 방향의 이동(113)으로 조절할 수 있게 되어, 보다 완전한 비 수렴형(parerall) 영상을 얻을 수 있게 된다.여기서 마이크로 스코프는 고배율의 광학 현미경인 것이 바람직하다.More specifically, the microscope of the first image extractor 100 may adjust the distance 115 between the lenses so that the focal length may be adjusted, and further, the distance between the desired optical axes in the horizontal direction of the biological surface in micrometer units. Since it is possible to move 113, the second image extracting unit 200 may simultaneously extract the left and right images and capture images, and the base line of the left and right images may be captured by the first image extracting unit 100. It can be adjusted by the horizontal movement 113 of, so that a more complete parerall image can be obtained. Here, the microscope is preferably a high magnification optical microscope.

이처럼, 본 발명에서 채용한 시스템은 빔 스플릿터(300)를 이용하면 비 수렴형 모델을 구현할 수 있게 되어, 영상의 보정과정을 거치지 않고 보다 빠르고 정확한 정합이 가능하게 된다. 또한 베이스 라인 길이 즉, 광축 사이의 거리를 조정할 수 있어서, 종래의 비수렴형 모델의 기계적 또는 장치적 한계로 인한 좌우 영상의 중첩 범위가 너무 적거나 조절할 수 없다는 단점을 개선시킬 수 있다. 그러므로 본 발명의 시스템은 에피폴라 라인을 평행하게 하여 변이맵을 정확하게 계산할 수 있을 뿐 아니라, 베이스 라인의 길이 조절과 함께 생체표면의 좌우 영상의 중첩범위를 넓힐 수 있게 되는 장점을 갖게 된다.As such, the system employed in the present invention can implement a non-converged model by using the beam splitter 300, so that faster and more accurate matching is possible without undergoing an image correction process. In addition, the base line length, that is, the distance between the optical axes can be adjusted, thereby improving the disadvantage that the overlapping range of the left and right images is too small or cannot be adjusted due to mechanical or mechanical limitations of the conventional non-converging model. Therefore, the system of the present invention not only can accurately calculate the disparity map by parallelizing the epipolar lines, but also has the advantage of widening the overlapping range of the left and right images of the biological surface with the length adjustment of the base line.

빔 스플릿터(300)의 한쪽 끝은 제1 영상 추출부의 마이크로스코프(120)의 수평이동 거리를 고려하여 상하로 이동(310)시킬 수 있도록 하여 제2 영상 추출부(200)의 추출영상 부위를 수평방향으로 이동시켜 있 좌우 영상의 광축 사이의 거리를 보다 정밀하고 자유롭게 조절할 수 있게 된다. One end of the beam splitter 300 may move 310 up and down in consideration of the horizontal movement distance of the microscope 120 of the first image extractor to move the extracted image portion of the second image extractor 200. By moving in the horizontal direction, the distance between the optical axis of the left and right images can be adjusted more precisely and freely.

그리고 계측하고자 하는 생체표면에 광을 조사하는 광원(도시하지 않음)은 시스템 본체의 측면 일정한 곳에 설치하여 검사 대상물인 생체표면에 광을 사하게 되고, 이 광원에서 발생하는 광의 세기를 조절할 수 있게 하여 추출되는 영상의 밝기 또는 해상도를 조절할 수 있게 된다.And a light source (not shown) for irradiating light to the biological surface to be measured is installed at a certain side of the system main body to emit light to the biological surface of the inspection object, and to adjust the intensity of the light generated from the light source The brightness or resolution of the extracted image can be adjusted.

더하여, 본 발명에서는 도 4에 나타낸 바와 같이 수직으로 위치해 있는 각각의 영상 추출부에 빔 스플릿터를 통하여 공통영역이 넓은 좌우 영상을 추출할 수 있게 되어 보다 완벽한 수렴형 모델을 형성함으로써, 정확한 정합으로 변이맵을 구현할 수 있으며, 좌우 영상을 동시에 추출하여 촬상함으로써, 생체가 시간에 따라 변화되는 것을 측정하는 인 비보(in vivo) 계측을 할 수 있게 된다. In addition, in the present invention, as shown in FIG. 4, the left and right images having a common area having a common area can be extracted through the beam splitter in each of the vertically located image extracting portions, thereby forming a more perfect convergent model, thereby shifting to accurate matching. The map can be implemented, and by simultaneously extracting the left and right images, the in vivo measurement that measures the change of the living body over time can be performed.

도 5는 본 발명에 따른 입체영상을 통한 생체표면 계측 시스템 본체의 사시도를 예시한 도면이다. 도 5에 나타난 바와 같이, 제1 영상 추출부(100)를 메뉴얼 스테이지(400)를 통하여 촬상면에 수평방향으로 이동 가능하게 함으로써, 좌우영상의 공통영역 범위를 용이하게 조정할 수 있고, 영상의 해상도 내지 선명도의 조절 을 위한 제1 영상 추출부(100)의 렌즈를 조정할 수 있게 함으로써 고 해상도 생체표면 계측 시스템을 제공할 수 있게 된다.5 is a diagram illustrating a perspective view of a main body surface measurement system through a stereoscopic image according to the present invention. As shown in FIG. 5, by allowing the first image extractor 100 to move horizontally on the image pickup surface through the manual stage 400, the common area range of the left and right images can be easily adjusted, and the resolution of the image or the like may be reduced. By adjusting the lens of the first image extraction unit 100 for adjusting the sharpness, it is possible to provide a high resolution biosurface measurement system.

본체의 측면에는 메뉴얼 스테이지(400)가 설치되어 있는데, 메뉴얼 스테이지(400)는 제1 마이크로스코프(120)의 수평방향으로의 이동을 제어할 수 있고, 빔 스플릿터(300)의 각도를 제어할 수 있다. 이러한 이동은 미세한 이동으로 영상의 중첩영역 생체의 질환별 또는 특성별로 선택적으로 추출 영상을 조절할 수 있게 되어, 종래의 협소한 피 측정 대상의 범위의 한계를 상당부분 극복할 수 있게 된다.The manual stage 400 is installed on the side of the main body, and the manual stage 400 may control the horizontal movement of the first microscope 120 and control the angle of the beam splitter 300. Can be. Such movement enables fine movement to selectively control the extracted image for each disease or characteristic of the living body of the overlapping region of the image, thereby overcoming the limitations of the conventional narrow measurement target.

즉 본 발명의 시스템은 매뉴얼 스테이지(400)에 고정되어 있는 제1 영상 추출부(100)의 정밀 조정을 통하여 이동할 수 있게 하여 공통영역의 범위를 제어할 수 있도록 구성되어 진다.That is, the system of the present invention is configured to be able to move through precise adjustment of the first image extractor 100 fixed to the manual stage 400 to control the range of the common area.

상기와 같은 본 발명의 실시예에 따른 좌우 영상의 추출을 통해 시차를 계산하여 변이맵을 형성하고 3차원 영상으로 재구현함으로써, 생체표면을 보다 정확하고 적절한 선택성과 동시성을 확보하여 양질의 생체표면 계측을 할 수 있게 된다.By calculating the disparity by extracting the left and right images according to the embodiment of the present invention as described above, by forming a disparity map and re-implementing it into a three-dimensional image, the biological surface is secured with more accurate and appropriate selectivity and simultaneous quality. You can measure.

도 6은 본 발명에 따른 제어 분석부를 포함하는 생체표면 계측 시스템 전체의 개략도를 예시한 도면이다. 도 6에 나타낸 바와 같이, 제1 영상 추출부, 제2 영상 추출부 및 빔 스플릿터로 구성된 본체부(500)에 연결되어 본체부를 x,y,z 축 방향으로 자유롭게 이동이 가능하도록 하는 지지대(600)로 구성되고, 제1 영상 추출부 및 제2 영상 추출부에서 추출된 좌우 영상정보를 분석하여 3차원 영상으로 표시하는 제어 분석부(700)가 본체(500)와 도선으로 연결된다.6 is a diagram illustrating a schematic diagram of an entire biosurface measurement system including a control analysis unit according to the present invention. As shown in FIG. 6, the supporter is connected to a main body 500 including a first image extractor, a second image extractor, and a beam splitter to freely move the main body in the x, y, and z directions. And a control analyzer 700 which analyzes the left and right image information extracted by the first image extractor and the second image extractor and displays the 3D image in a three-dimensional image.

여기서 지지대는 지축에 안정되게 고정시킬 수 있는 스탠드와 이에 연장되어 수개의 조인트로 연결함으로써, 3차원상의 x,y,z축으로 이동할 수 있도록 하여 정형화 되어 있는 형상의 표면뿐 아니라, 사람 등과 같은 다양한 형상의 생체표면에 알맞게 위치를 조정할 수 있게 되어 피검사 대상물의 범위를 넓힐 수 있게 된다. 또한, 인체의 경우 가능한 모든 부위를 측정할 수 있으며, 측정하기에 가장 적합한 위치를 안정되게 확보할 수 있는 장점이 있다. Here, the support is a stand that can be stably fixed to the axis and connected to several joints extending to it, so that it can move to the x, y, z axis on the three-dimensional surface of the shape that is standardized, as well as various The position can be adjusted to suit the biometric surface of the shape, thereby increasing the range of the object to be inspected. In addition, in the case of the human body can measure all possible parts, there is an advantage that can secure a stable position most suitable for measurement.

본 발명에 따른 생체 표면 계측 시스템은 생체표면의 3차원 영상의 분석뿐 아니라 피부와 같은 생체표면의 컬러를 분석할 수 있는 시스템이다. 즉, 도 5를 참조하여 그 원리를 설명하면, 먼저 제어 분석부(700)에서 검사 대상물(생체)의 표면에 대한 원시 영상 데이터를 프레임 그레버(710)를 이용하여 획득한 후 저장시킨다. 이때, 상기 표면계측 시스템은 튜닝 필터(도시하지 않음)를 사용함으로써 가시영역내의 여러 파장값에 대한 원시 영상 데이터들을 획득하게 된다.The biological surface measurement system according to the present invention is a system capable of analyzing the color of a biological surface such as skin as well as analyzing a three-dimensional image of the biological surface. That is, the principle will be described with reference to FIG. 5. First, the control analysis unit 700 acquires and stores the raw image data on the surface of the object (living body) using the frame grabber 710. In this case, the surface measurement system acquires raw image data for various wavelength values in the visible region by using a tuning filter (not shown).

전술한 상기 표면계측 시스템의 촬상 카메라(110,210)는 프레임 그레버(710)와 연결되며, 상기 프레임 그레버(710)는 상기 제어 분석부(700)에 있는 제어 컴퓨터(720)의 제어에 의해 상기 촬상 카메라를 동작시켜 원시 영상 데이터를 획득한다. 상기 촬상 카메라(110,210)와 상기 프레임 그레버(710)는 병렬 통신 인터페이스인 IEEE 1394 프로토콜을 사용하는 것이 바람직하다.The imaging cameras 110 and 210 of the surface measurement system described above are connected to a frame grabber 710, and the frame grabber 710 is controlled by a control computer 720 in the control analyzer 700. The imaging camera is operated to obtain raw image data. The imaging cameras 110 and 210 and the frame grabber 710 preferably use an IEEE 1394 protocol, which is a parallel communication interface.

프레임 그레버(710)는 제어 컴퓨터로부터 전송되는 동작 명령에 따라 촬상 카메라(110,210)를 작동시키고 상기 촬상 카메라(110,210)에 의해 획득된 영상은 프레임 그레버(710)로 전송되어 저장된다. 본 실시예에 따른 촬상 카메라(110,210)는 쿨링 기능을 갖는 촬상 카메라(CCD Camera)를 사용함으로써 카메라의 열잡 음(Thermal Noise)으로 인한 부정확한 정보를 줄이고 카메라의 민감도(Sensitivity)를 높이는 것이 바람직하다. 또한 본 발명에 따른 시스템의 촬상 카메라(110,210)는 컬러 CCD 카메라인 것이 바람직하다. 이는 표면의 색체 분석과 함께 3차원 영상정보를 보다 정밀하게 측정 분석하기 위함이다.The frame grabber 710 operates the imaging cameras 110 and 210 according to an operation command transmitted from the control computer, and the image obtained by the imaging cameras 110 and 210 is transmitted to and stored in the frame grabber 710. It is preferable that the imaging cameras 110 and 210 according to the present embodiment reduce the inaccurate information due to the thermal noise of the camera and increase the sensitivity of the camera by using a CCD camera having a cooling function. . It is also preferred that the imaging cameras 110 and 210 of the system according to the invention are color CCD cameras. This is to more precisely measure and analyze three-dimensional image information along with the color analysis of the surface.

그리고 본 실시예에 따른 제어 컴퓨터(720)는 처리 속도가 빠른 프로세서를 갖는 고성능 컴퓨터를 사용하는 것이 바람직하며, 상기 프레임 그레버(710)는 제어 컴퓨터(720)의 제어에 따라 동기화되어 작동하게 된다. 상기 제어 컴퓨터(720)는 처리 속도가 빠른 프로세서를 갖는 고성능 컴퓨터를 사용하는 것이 바람직하다. In addition, the control computer 720 according to the present embodiment preferably uses a high performance computer having a fast processing speed, and the frame grabber 710 is operated in synchronization with the control of the control computer 720. . The control computer 720 preferably uses a high performance computer having a fast processing speed.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described with respect to the specific embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Anyone with it will know easily.

도 1은 종래의 생체표면 계측 시스템을 이용하여 입체영상을 추출하는 방법을 예시한 도면,1 is a diagram illustrating a method of extracting a stereoscopic image using a conventional biosurface measurement system;

도 2는 종래의 스테레오 카메라 방식의 입체영상 추출 원리의 개념도를 예시한 도면,2 is a diagram illustrating a conceptual diagram of a stereoscopic image extraction principle of a conventional stereo camera;

도 3은 종래의 스테레오 카메라 방식의 입체영상 표면계측 시스템의 개략도를 도시한 도면,3 is a schematic diagram of a stereoscopic surface measurement system of a conventional stereo camera method;

도 4는 본 발명에 따른 입체영상을 통한 생체표면 계측 시스템 본체의 개략도를 예시한 도면,4 is a diagram illustrating a schematic diagram of a body surface measuring system main body using a stereoscopic image according to the present invention;

도 5는 본 발명에 따른 입체영상을 통한 생체표면 계측 시스템 본체의 사시도를 예시한 도면,5 is a diagram illustrating a perspective view of a body surface measuring system main body through a stereoscopic image according to the present invention;

도 6은 본 발명에 따른 제어 분석부를 포함하는 생체표면 계측 시스템 전체의 개략도를 예시한 도면이다.6 is a diagram illustrating a schematic diagram of an entire biosurface measurement system including a control analysis unit according to the present invention.

<도면의 주요부분에 대한 설명><Description of main parts of drawing>

100 : 제1 영상 추출부, 200 : 제2 영상 추출부, 110,210 : 컬러 CCD 카메라100: first image extractor, 200: second image extractor, 110,210: color CCD camera

300 : 빔 스플릿터, 400 : 매뉴얼 스테이지, 500 : 본체부, 600 : 지지대, 300: beam splitter, 400: manual stage, 500: main body, 600: support,

700 : 제어 분석부, 710 : 프레임 그레버, 720 : 제어 컴퓨터700: control analyzer, 710: frame grabber, 720: control computer

Claims

A first image extractor comprising a first microscope positioned at an upper end of the specimen to enlarge the first image reflected from the specimen, and a camera extending from the first microscope to capture the reflected first image;

A second microscope positioned perpendicular to the first image extractor to enlarge the second image reflected on the specimen, and a camera extending to the second microscope to capture the reflected second image; An image extractor;

Transmitting the first image reflected from the specimen through one hole and transmitting the first image to the first image extractor, and vertically reflecting the second image reflected through the hole to the second image extractor. A beam splitter for transmitting; And

And a control analyzer configured to analyze the image extracted by the first image extractor and the second image extractor as a 3D image.

The method of claim 1,

And the first microscope is movable in a direction parallel to the specimen.

The method of claim 1,

The beam splitter is a biological surface measurement system, characterized in that for adjusting the inclination angle.

The method of claim 1,

And the camera is a color CCD camera.

The method according to any one of claims 2 to 4,

Movement of the microscope and adjustment of the beamsplitter are controlled by a manual stage.

The method of claim 5,

And the control analyzer comprises a frame grabber and a control computer.

The method according to any one of claims 2 to 4

And a support connected to the system main body so as to be movable in the x, y and z axis directions of the system in three dimensions.