KR101047902B1 - Skin condition measuring device - Google Patents

Skin condition measuring device Download PDF

Info

Publication number
KR101047902B1
KR101047902B1 KR1020080082409A KR20080082409A KR101047902B1 KR 101047902 B1 KR101047902 B1 KR 101047902B1 KR 1020080082409 A KR1020080082409 A KR 1020080082409A KR 20080082409 A KR20080082409 A KR 20080082409A KR 101047902 B1 KR101047902 B1 KR 101047902B1
Authority
KR
South Korea
Prior art keywords
image
imaging
unit
light source
skin
Prior art date
Application number
KR1020080082409A
Other languages
Korean (ko)
Other versions
KR20100023566A (en
Inventor
홍혁기
최연식
조영창
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020080082409A priority Critical patent/KR101047902B1/en
Publication of KR20100023566A publication Critical patent/KR20100023566A/en
Application granted granted Critical
Publication of KR101047902B1 publication Critical patent/KR101047902B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443Evaluating skin constituents, e.g. elastin, melanin, water
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 측정하고자 하는 피부 내 조직(측정 조직)의 흡수 파장에 해당하는 제1 광원을 인가한 상태에서 촬상을 수행하는 제1 촬상부, 상기 제1 광원을 일부 흡수하는 다른 조직(유사 조직)의 흡수 파장에 해당하는 제2 광원을 인가한 상태에서 촬상을 수행하는 제2 촬상부, 상기 제1 촬상부 및 제2 촬상부에서 촬상된 영상을 합성하는 영상 합성부 및 상기 합성된 영상을 출력하는 영상 출력부를 포함함으로써, 두개의 촬상부를 통해 촬상된 동일 피부 조직 영상을 합성함으로써, 측정하고자 하는 피부의 조직을 정확하게 추출할 수 있다.According to an embodiment of the present invention, a first imaging unit which performs imaging while applying a first light source corresponding to an absorption wavelength of a tissue (measurement tissue) in the skin to be measured, and another tissue (similar tissue) that partially absorbs the first light source A second imaging unit which performs imaging while applying a second light source corresponding to an absorption wavelength of an image, an image synthesizing unit synthesizing the images captured by the first and second imaging units, and outputs the synthesized image By including an image output unit, by synthesizing the same skin tissue image captured through the two imaging unit, it is possible to accurately extract the tissue of the skin to be measured.

촬상, 합성, 영상, 피부, 조직, 주근깨, 기미 Imaging, synthesis, imaging, skin, tissue, freckles, spots

Description

피부 상태 측정 장치{Apparatus for measuring skin condition}Apparatus for measuring skin condition

본 발명은 피부 상태 측정 장치에 관한 것으로서, 보다 상세하게 설명하면 피부에 형성된 주근깨, 혈구 침착 등 피부의 상태를 정확하게 측정할 수 있는 장치에 관한 것이다.The present invention relates to an apparatus for measuring skin condition, and more particularly, to an apparatus capable of accurately measuring the condition of skin such as freckles and blood cell deposition formed on the skin.

인체내에는 여러 원인에 의하여 색소가 침착되는데 이중 멜라닌에 의한 색소 침착과 혈구에 의한 색소 침착이 가장 대표적이다. 인체내의 멜라노사이트에는 티로시나제 등의 효소가 존재하며, 이들이 함께 작용하여, 생체내에 항상 존재하는 티로신(tyrosine)이라는 아미노산을 기질로 중합화 산화반응을 함으로써, 멜라닌이라는 흑갈색의 색소를 생성하게 된다. 이 멜라닌 색소는 멜라노사이트의 수지상 돌기(dendrite)를 통하여 주변의 각질형성세포(keratinocyte)에 널리 분배됨으로써 피부의 색을 결정하게 되는데, 멜라노사이트내의 멜라닌 생성이 비정상적으로 활성화되어, 멜라닌이 과도하게 생성 및 침착되는 경우, 기미, 주근깨, 노인성 색소반 등의 피부색소 이상증들이 발생한다.Pigmentation is caused by various causes in the human body. Among them, pigmentation by melanin and pigmentation by blood cells are most representative. Enzymes such as tyrosinase exist in melanocytes in the human body, and they work together to produce a dark brown pigment called melanin by polymerizing and oxidizing the amino acid tyrosine which is always present in the living body. This melanin pigment is widely distributed to the surrounding keratinocytes through the dendrite of melanocytes to determine the color of the skin. The melanin production in melanocytes is abnormally activated, resulting in excessive production of melanin. And when deposited, skin pigmentation abnormalities such as blemishes, freckles, and senile plaques occur.

멜라닌 색소는 자외선과 같은 외부 자극에 의해 합성이 증가되는데, 이러한 자외선에 의한 멜라닌 색소의 증가에는 프로스타글란딘과 같은 아라키돈산(arachidonic acid) 대사체 및 멜라닌 형성세포 자극호르몬(melanocyte stimulating hormone, MSH) 등이 관여한다는 것이 알려져 있다.The melanin pigment is synthesized by external stimuli such as ultraviolet rays. The increase in melanin pigment caused by ultraviolet rays includes arachidonic acid metabolites such as prostaglandins and melanocyte stimulating hormone (MSH). It is known to be involved.

혈구에 의한 침착은 외상이나 타박상에 의한 혈액 노출이 고정화되어 피부상에 남아 있는 것으로 대부분의 혈액은 체내에서 파괴되어 소멸하나 일부 혈액은 그대로 응고하여 피부상에서 색소침착 증을 나타내고 있다. Deposition by blood cells remains on the skin due to immobilization of blood exposure by trauma or bruises. Most of the blood is destroyed and destroyed in the body, but some of the blood is solidified as it is, indicating pigmentation on the skin.

종래의 피부색소 침착의 관측은 암실에서 대상자의 피부에 우드 램프에 의한 빛을 조사하여 시술자가 피부의 색소 침착 부분을 직접 육안으로 확인하는 방법이 사용되거나 일반 조명상에서 육안 관찰을 통하여 구분 또는 혈관의 분포 정도를 확인하였다. Conventional observation of skin pigmentation is performed by a method of visually confirming the pigmentation part of the skin by irradiating light of wood to the subject's skin in the dark room, or by visual observation on general illumination, The degree of distribution was confirmed.

현재 의료용으로 사용되고 있는 혈구 및 혈관치료 레이저는 색소 침착의 경우 진피와 표피를 나누어 치료를 한다. 표피의 색소는 Nd:Yag laser에서 나오는 532nm 파장을 이용하여 치료를 하며, 진피의 색소는 1064nm 파장을 이용하여 치료를 하며 혈구에 의한 멍이나 혈구 침착의 경우 1064nm 파장을 이용하여 제거를 한다. 혈관의 경우 634nm He-Ne laser를 이용하여 치료하는데 각각 육안으로 관찰된 부위만 치료를 수행하고 있다.  Blood cell and vascular therapy lasers, which are currently used for medical purposes, treat pigmentation by dividing the dermis and epidermis. The pigment in the epidermis is treated using the 532nm wavelength emitted by the Nd: Yag laser, and the pigment in the dermis is treated using the 1064nm wavelength, and in the case of bruising or blood cell deposition by blood cells, it is removed using the 1064nm wavelength. In the case of blood vessels, 634 nm He-Ne laser is used to treat only the areas observed with the naked eye.

최근 피부 진단 기술과 관련하여 의료진의 눈으로만 확인하였던 것을 개선하기 위해 여러 가지 기술들이 개발되었다. 히데미 아카이(Hidemi Akai) 박사가 개발한 가시광선을 이용한 피부의 상태를 디지털적으로 분석할 수 있는 로보 스킨 애널라이져(Robo Skin Analyzer)가 2004년에 공개되었다. 광원으로 백색 가시광선을 사용하고 단순히 피부의 영상을 이용하여 반점 등의 변화, 주름살의 개선을 시각적으로 나타내지만 실제 선행 치료시 효과를 줄 수 있는 피부밑의 혈관분포나 멜라닌과 혈구에 의한 색소 침착의 구분을 하는 장치와는 그 목적을 달리한다. 또한, UV 스캔 기술은 일반 가시광선 영상을 자외선 영역에서 촬영하였을 때와 유사하게 변환시켜 주는 프로그램. 단순히 영상처리를 통하여 분석하는 프로그램으로 실제 색소 침착 등 병변을 정확하게 구분하기에는 큰 무리가 있으며 실시간 영상의 구현이 불가능하며 근적외선의 영상을 이용하여 혈관의 분포를 나타내는 것에는 불가능하다. Recently, various techniques have been developed to improve the skin diagnosis technology, which has been confirmed only by the eyes of medical staff. Dr. Hidemi Akai released the Robo Skin Analyzer in 2004 to digitally analyze the condition of skin using visible light. It uses white visible light as a light source and simply shows the change of spots and wrinkles by simply using the image of the skin, but the pigmentation by blood vessel distribution or melanin and blood cells under the skin that can be effective during the actual treatment. The purpose of the device is different from the device. In addition, UV scanning technology converts normal visible light images similar to when taken in the ultraviolet region. It is simply a program that analyzes through image processing. There is a great deal of difficulty in accurately classifying lesions such as actual pigmentation, and it is impossible to realize real-time images, and it is impossible to represent the distribution of blood vessels by using near-infrared images.

정리하면, 색소 침착, 혈구 침착 등 피부 상태에 따라 치료를 위해서는 다른 시술이 요구되는데, 이를 위해서는 사전에 색소 침착인지 혈구 침착인지, 색소 침착인 경우 그 깊이가 어떠한지에 대한 검사가 선행되어야 한다. 그러나, 현재는 정확한 피부 상태의 측정이 불가능한 상태이다. 예로서, 주근깨를 검사하고자 하는 경우, 그 깊이를 달리하는 기미, 또는 다른 발생 원인인 혈구 침착과 구별하는 것이 어려우며, 그에 따라 부정확한 시술이 이루어지고 있다.In summary, different procedures are required for treatment depending on skin conditions such as pigmentation and hemocytosis, which requires prior examination of pigmentation or hemocytosis and the depth of pigmentation. However, it is currently impossible to measure skin condition accurately. For example, when the freckles are to be examined, it is difficult to distinguish them from blemishes of different depths or other causes of blood cell deposition, and incorrect procedures are performed accordingly.

예로, 주근깨를 치료하는 레이저의 파장과 기미를 치료하는 레이저의 파장이 다른데, 측정에서 주근깨인지 기미인지 판단이 어려우므로, 양자 모두에 동일 파장의 레이저로 치료를 수행하게 되며, 추후 치료가 안된 부분에 대해서는 다른 현상으로 파악하여 파장을 달리한 레이저로 치료를 수행하게 된다.For example, the wavelength of the laser to treat freckles and the wavelength of the laser to treat blemishes are difficult to determine whether it is freckles or blemishes in the measurement. Therefore, the treatment is performed with a laser of the same wavelength in both of them. As for the other phenomenon, the treatment is performed by using a laser having a different wavelength.

그러나, 이와 같은 치료의 번복은 사용자에게 그대로 부담이 되는바 치료를 위한 사전 측정의 정확성을 높혀, 측정하고자 하는 대상을 정확히 추출할 수 있는 진단 장치 및 방법이 요구되는 실정이다.However, such a reversal of the treatment is a burden on the user as it is, there is a need for a diagnostic apparatus and method capable of accurately extracting an object to be measured by increasing the accuracy of preliminary measurement for treatment.

또한, 상기 피부 상태의 측정을 사전 측정에만 의존할 경우, 의사 등 시술자가 사전 측정 결과물과 환자의 상태를 매번 매칭해가면서 시술을 하여야 하므로, 피부 상태의 측정 결과를 실시간으로 확인하도록 함으로써, 시술의 편의성을 도모하도록 하는 방안도 요구되고 있다.In addition, when the measurement of the skin condition is dependent only on the pre-measurement, the surgeon, such as a doctor must perform the procedure while matching the pre-measurement result and the patient's condition every time, so that the measurement result of the skin condition is confirmed in real time, There is also a demand for a plan for convenience.

본 발명은 상기와 같은 문제점을 개선하기 위하여 창출된 것으로서, 혈구 침착 및 혈관의 등 피부의 상태를 실시간으로, 또한 정확하게 측정할 수 있는 피부 상태 측정 장치를 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to improve the above problems, and to provide a skin condition measuring apparatus capable of accurately and accurately measuring blood cell deposition and the condition of the back skin of blood vessels in real time.

결과적으로, 이를 통하여 피술자로 하여금 정확한 자신의 피부 상태를 인식할 수 있도록 함과 동시에, 시술자의 치료에 도움이 되도록 하는 것을 다른 목적으로 한다.As a result, it is another object of the present invention to allow the operator to recognize his / her own skin condition and to help the operator.

상기한 목적을 달성하기 위하여 본 발명은 측정하고자 하는 피부 내 조직(측정 조직)의 흡수 파장에 해당하는 제1 광원을 인가한 상태에서 촬상을 수행하는 제1 촬상부; 상기 제1 광원을 일부 흡수하는 다른 조직(유사 조직)의 흡수 파장에 해당하는 제2 광원을 인가한 상태에서 촬상을 수행하는 제2 촬상부; 상기 제1 촬상부 및 제2 촬상부에서 촬상된 영상을 합성하는 영상 합성부; 및 상기 합성된 영상을 출력하는 영상 출력부를 포함하여 이루어지는 피부 상태 측정 장치를 제시한다.In order to achieve the above object, the present invention includes a first imaging unit for performing imaging while applying a first light source corresponding to the absorption wavelength of the tissue (measurement tissue) in the skin to be measured; A second imaging unit which performs imaging while applying a second light source corresponding to an absorption wavelength of another tissue (similar tissue) that partially absorbs the first light source; An image synthesizing unit configured to synthesize images captured by the first and second imaging units; And an image output unit configured to output the synthesized image.

여기서, 상기 영상 합성부는 상기 제1 및 제2 촬상부에서 촬상된 영상을 얼라인하는 얼라인부를 포함하는 것이 바람직하며, 상기 제1 광원 및 제2 광원은 광을 고르게 입사시켜주는 광 확산부를 포함하는 것이 바람직하다.The image synthesizing unit may include an alignment unit for aligning the images captured by the first and second imaging units, and the first light source and the second light source include a light diffusion unit for injecting light evenly. It is desirable to.

또한, 백색 광원을 인가한 상태에서 촬상을 수행하는 제3 촬상부를 더 포함 하고, 상기 제3 촬상부에 의해 촬상된 영상은 상기 영상 합성부를 거치지 않고 상기 영상 출력부를 통하여 상기 합성된 영상과 별개로 표시되도록 하는 것이 바람직하다.The apparatus may further include a third imaging unit configured to perform imaging while a white light source is applied, and the image captured by the third imaging unit may be separated from the synthesized image through the image output unit without passing through the image synthesis unit. It is desirable to be displayed.

상기 제1 촬상부 및 제2 촬상부는 편광 필터를 더 포함하는 것이 바람직하다.Preferably, the first imaging unit and the second imaging unit further include a polarization filter.

이상에서 설명된 바와 같이, 본 발명에 따른 피부 상태 측정 장치는 측정하고자 하는 피부의 조직이 흡수하는 파장 및 상기 흡수 파장과 다른 파장을 인가하여 촬상한 후 합성하여 표시함으로써, 피부에서 측정하고자 하는 조직을 정확하게 측정이 가능하다.As described above, the skin condition measuring apparatus according to the present invention by applying a wavelength absorbed by the tissue of the skin to be measured and a wavelength different from the absorption wavelength, and then synthesized and displayed, the tissue to be measured in the skin Can be measured accurately.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 일실시예를 상세히 설명하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 일실시예에 따른 피부 상태 측정 장치를 개략적으로 나타낸 블럭도이다.1 is a block diagram schematically showing a skin condition measuring apparatus according to an embodiment of the present invention.

살펴보면, 본 실시예에 따른 피부 상태 측정 장치는 측정하고자 하는 피부 내 조직(측정 조직)의 흡수 파장에 해당하는 제1 광원을 인가한 상태에서 촬상을 수행하는 제1 촬상부(10), 상기 제1 광원을 일부 흡수하는 다른 조직(유사 조직)의 흡수 파장에 해당하는 제2 광원을 인가한 상태에서 촬상을 수행하는 제2 촬상부(20), 상기 제1 촬상부 및 제2 촬상부에서 촬상된 영상을 합성하는 영상 합성부(30) 및 상기 합성된 영상을 출력하는 영상 출력부(40)를 포함하여 이루어져 있다.As described above, the skin condition measuring apparatus according to the present embodiment may include the first imaging unit 10 and the first imaging unit configured to perform imaging while applying a first light source corresponding to an absorption wavelength of the skin tissue (measurement tissue) to be measured. 2nd imaging part 20 which performs imaging in the state which applied the 2nd light source corresponding to the absorption wavelength of the other structure (similar tissue) which absorbs 1 light source partially, The imaging by the said 1st imaging part and the 2nd imaging part And an image output unit 40 for outputting the synthesized image.

상기 제1 촬상부(10)는 피부에서 측정하고자 하는 조직이 흡수하는 파장에 해당하는 제1 광원을 인가한 상태에서 촬상을 수행하게 되며, 이는 종래의 피부 상태 측정 기술과 일부 동일하다.The first imaging unit 10 performs imaging in a state in which a first light source corresponding to a wavelength absorbed by a tissue to be measured on the skin is applied, which is partially the same as a conventional skin condition measuring technique.

예를 들어, 주근깨 치료를 위해서 사전에 피부에서 주근깨의 위치 등을 측정하여야 하는데, 이 경우, 단순히 육안으로 측정하는 방법, 상기 주근깨가 흡수하는 파장의 광원을 인가한 상태에서 촬상을 수행하는 방법이 사용되었다. 이 중에서 후자의 경우가 상기 제1 촬상부의 기능과 일부 동일하다.For example, in order to treat freckles, the position of the freckles should be measured in advance in the skin. In this case, the method of visually measuring the naked eye or performing the imaging while applying a light source of the wavelength absorbed by the freckles Was used. The latter case is partly the same as the function of the said 1st imaging part among these.

주근깨의 경우 피부의 표면 가까이에 위치하는 것이 일반적으로, 단파장인 360~400nm 파장의 광원을 인가하여 촬상을 수행하게 되며, 그 결과는 빨간색의 점으로 나타난다.In the case of freckles, it is generally located near the surface of the skin, and imaging is performed by applying a light source having a short wavelength of 360 to 400 nm, and the result is indicated by a red dot.

따라서, 촬상된 영상에서 빨간색으로 표시된 위치가 주근깨라고 진단을 하고, 그에 따른 시술을 하는 것이 일반적이었으나, 그 결과가 정확히 일치하지 않음은 앞에서 언급한 바 있다. 즉, 상기 단파장의 광원을 인가한 상태에서의 촬상 결과는 대부분 주근깨가 맞겠으나, 일부는 주근깨가 아닌 기미일 수 있다. 그럼에도 종래에는 이를 확인할 방법이 없어 상기 빨간색으로 표시된 모든 위치에 주근깨에 대한 치료를 행하였다. 이 경우, 당연히 치료 방법을 달리하는 기미는 그대로 남아있게 되므로, 시술자 측에서는 추후 치료 결과를 보고 치료되지 않은 부분을 주근깨가 아닌 다른 원인에 의한 것임을 확인하고 재차 다른 방식으로 치료하는 비효율적인 방식을 취해오고 있다.Therefore, it is common to diagnose that the location marked in red in the captured image is freckles and to perform the procedure accordingly, but the results are not exactly the same as mentioned above. That is, most of the imaging results in the state in which the light source of the short wavelength is applied, most of the freckles, but some may be freckles rather than freckles. Nevertheless, there is no conventional method for confirming the treatment of freckles at all positions indicated in red. In this case, the blemishes of different treatment methods will remain, so the practitioner has taken an inefficient way of looking at the result of the treatment later and confirming that the untreated part is caused by a cause other than freckles. have.

이와 같은 방식은 피술자와 시술자 모두에게 불편함을 제공하게 되며, 더욱이 치료에 대한 불신으로 작용할 수 있음은 분명하다.This approach is inconvenient for both the subject and the operator, and it is clear that it can act as a distrust in treatment.

이러한, 문제를 해소하기 위하여 본 발명의 발명자는 상기 제1 촬상부 외에 제2 촬상부를 더 구비한 피부 상태 측정 장치를 고안하였다.In order to solve such a problem, the inventor of the present invention devised a skin condition measuring apparatus further comprising a second imaging unit in addition to the first imaging unit.

상기 제2 촬상부(20)는 상기 제1 광원을 일부 흡수하는 다른 조직(유사 조직)의 흡수 파장에 해당하는 제2 광원을 인가한 상태에서 촬상을 수행하게 된다.The second imaging unit 20 performs imaging while applying a second light source corresponding to an absorption wavelength of another tissue (similar tissue) that partially absorbs the first light source.

주근깨를 예로 들면, 주근깨와 동일 조직이며 그 위치 깊이만 달리하는 기미의 경우 상기 제1 촬상부(10)를 통하여 주근깨를 촬상할 시에 일부가 제1 촬상부를 통한 제1 촬상 영상에 나타날 수 있다. 따라서, 상기 제2 촬상부(20)는 상기 유사 조직에 해당하는 기미의 흡수 파장인 장파장(740~800nm)의 광원을 인가한 상태로 촬상을 수행한다. 상기 기미의 흡수 파장은 결과가 파란색으로 나타난다.For example, in the case of freckles having the same structure as the freckles and differing only in the location depth, a part of the freckles may appear in the first captured image through the first imaging unit when the freckles are captured through the first imaging unit 10. . Therefore, the second imaging unit 20 performs imaging in a state where a light source having a long wavelength (740 to 800 nm), which is an absorption wavelength of blemishes corresponding to the similar structure, is applied. The absorption wavelength of the blemish results in blue.

이상의 제1 촬상부(10)와 제2 촬상부(20)를 통하여 얻은 제1 및 제2 촬상 영상을 도 2에서와 같이 상기 영상 합성부(30)를 통하여 합성하게 되면, 중복되는 부분과 중복되지 않는 부위의 색깔은 서로 다르게 된다. 상기 제1 촬상 영상과 제2 촬상 영상에서 중복되는 부분은 합성에 의해 보라색으로 표시되며, 중복되지 않은 부분은 빨간색이나 파란색으로 표시된다. 여기서, 보라색으로 표시되는 부분이 실제로 확인된 기미에 해당되며, 빨간색으로 표시되는 부분이 실제로 확인된 주근깨에 해당된다. 이와 비교하면, 제1 촬상부에서 촬상된 영상의 주근깨는 정확하게 확인된 주근깨가 아닌 예상 주근깨가 되며, 제2 촬상부에서 촬상된 영상의 기미는 마찬가지로 예상 기미가 된다. When the first and second captured images obtained through the first imaging unit 10 and the second imaging unit 20 are synthesized through the image synthesizing unit 30 as shown in FIG. 2, overlapping portions are overlapped. The areas that are not visible will be different. The overlapped portions of the first captured image and the second captured image are displayed in purple by synthesis, and the portions not overlapped are displayed in red or blue. Here, the part displayed in purple corresponds to the confirmed spot, and the part displayed in red corresponds to the actually identified freckles. In comparison, the freckles of the image picked up by the first imager are expected freckles, not correctly identified freckles, and the signs of the image picked up by the second imager are likewise anticipated.

여기서 고려할 문제는 주근깨와 기미의 경계가 모호한 경우에 대한 측정에 대해서 어떻게 처리해야 할 것인가이다.The question to consider here is how to deal with the measurement of cases where the boundary between freckles and blemishes is ambiguous.

이 경우, 완전한 주근깨와 달리 합성 영상의 색이 보라색과는 차이를 나타나게 될 것인바, 이에 대한 데이터를 정리하여 시술자나 피술자에게 제공하여 경험에 의해 주근깨나 기미의 시술 방법 중 택일하게 할 수 있다. 그러나, 이와 같은 경우 주근깨 치료 시술시 합성 화면과 피술자의 얼굴을 번갈아 확인하는 과정에서 오류가 발생될 여지가 있으므로, 검사 조사의 대상이 되는 조직의 표시 색깔, 합성시의 색깔, 명도 및 채도 등을 데이터 베이스화해두고 일정 기준값을 만족하는 경우와 만족하지 못하는 경우를 나누어 선명하게 나타내는 방법이 바람직할 것이다. 이 경우, 합성 결과를 보라색으로 나타낼 수 있을 뿐만 아니라, 측정하고자 하는 조직의 경우만 검은색 등으로 분명히 표시하고 나머지는 표시하지 않음으로써, 시술자의 편의를 도모할 수 있도록 할 수도 있으며, 표시 방식의 선택은 옵션을 통하여 시술자가 선택할 수 있도록 하는 것이 바람직하다.In this case, unlike the complete freckles, the color of the synthesized image will be different from that of purple, and the data on this can be summarized and provided to the operator or the subject to experience the choice of freckles or blemishes by experience. However, in such a case, there is a possibility that an error may occur in the process of alternately checking the synthesis screen and the subject's face during the treatment of freckles. Therefore, the display color of the tissue to be examined, the color, brightness, and saturation of the synthesis It would be preferable to have a database and clearly display the case where the reference value is satisfied and the case where the reference value is not satisfied. In this case, not only the synthesis result can be displayed in purple, but also only the tissue to be measured can be clearly displayed in black, and the rest is not displayed, so as to facilitate the operator's convenience. Selection is preferably made available to the operator through the options.

참고로, 주요 측정 목표(측정 대상 조직)와 그에 대응하는 광원의 파장을 표 1로 나타내었다.For reference, the wavelengths of the main measurement target (measurement tissue) and the corresponding light source are shown in Table 1.

주요 측정 목표Key measurement objectives 적용 부위Application area 주요 파장(nm)Main wavelength (nm) 상용화 광원Commercialized light source 산소포화 혈액Oxygen Saturated Blood 피부 염증Skin inflammation 488, 632488, 632 632632 산소불포화 혈액Oxygen-unsaturated blood 혈관blood vessel 680, 740680, 740 -- 혈액 및 피부괴사Blood and skin necrosis 피부괴사Skin necrosis 488, 365488, 365 488488 멜라닌 색소
(주근깨, 기미 등)
Melanin pigment
(Freckles, spots, etc.)
색소침착Pigmentation 365365 --
침착 혈액Calm blood 색소침착Pigmentation 365, 740365, 740 740740

살펴보면, 주요 파장에 해당하는 상용화된 광원이 부재하는 경우가 많으므로, 이에 대한 광원을 확보하는 문제를 해소하여야 하나, 본 건에서는 이에 대한 언급은 생략하기로 한다. 다만, 광원의 인가시에 측정 대상의 색깔이 변하는 것을 방지하기 위해서는 측정 대상에 고르게 광원을 인가하여야 할 필요가 있으므로, 상기 제1 광원 및 제2 광원에 광을 고르게 입사시켜주는 광 확산부를 구비하는 것이 바람직하다. 일반적으로 광확산부는 원구형 또는 반구형의 형태를 취한다.Looking at it, since there are many commercially available light sources corresponding to the main wavelength, it is necessary to solve the problem of securing a light source for this, but the description thereof will be omitted. However, in order to prevent the color of the measurement target from being changed when the light source is applied, it is necessary to apply the light source evenly to the measurement target, and includes a light diffusion unit for injecting light evenly into the first and second light sources. It is preferable. In general, the light diffusion portion has a spherical or hemispherical shape.

상기 제1 촬상부(10)와 상기 제2 촬상부(20)는 도 3에 도시된 바와 같이, 각각이 측정 대상 조직이 흡수하는 파장의 광을 생성 및 출력하는 광원(21)과 상기 광원에 의하여 출력된 광을 받은 피부를 촬상하는 촬상부(23) 및 상기 광원과 촬상부를 제어하는 제어부(25)로 이루어져 있다. 위 실시예에서는 제1 촬상부 및 제2 촬상부 및 그 구성요소인 제1 광원, 제2 광원을 별개의 요소로 구성하였으나, 전체적으로 일체로 형성하거나, 부분적으로 일체로 형성할 수도 있다.As illustrated in FIG. 3, the first imaging unit 10 and the second imaging unit 20 respectively provide a light source 21 and a light source 21 for generating and outputting light having a wavelength absorbed by a tissue to be measured. And an image capturing unit 23 for capturing the skin receiving the light output by the light source, and a control unit 25 controlling the light source and the image capturing unit. In the above embodiment, the first imager and the second imager and the first light source and the second light source, which are components thereof, are configured as separate elements, but may be integrally formed entirely or partially integrally.

구체적으로, 상기 광원(21)을 파장 변경이 가능한 구조로 구성하면, 상기 제1 촬상부 및 제2 촬상부 모두의 광원으로 사용이 가능하며, 상기 촬상부(23) 또한 이미지 센서 등의 요소가 모두 동일하게 구성하여도 무방하므로, 하나의 촬상부(23)로서 상기 제1 촬상부 및 제2 촬상부 모두에 적용이 가능하다. 또한, 상기 제어부(25)의 경우도 일체로 할 수 있음은 당연하다. 다만, 본 실시예의 요지가 제1 촬상부 및 제2 촬상부를 통하여 동일 피부 위치에 대하여 두번의 촬상을 수행하여 합성하는 것이므로, 일체로 형성할 경우 실시간 처리와 관련한 문제를 먼저 해결해야 할 것이다.Specifically, when the light source 21 has a structure capable of changing wavelengths, the light source 21 can be used as a light source for both the first and second imaging units, and the imaging unit 23 also includes elements such as an image sensor. Since both may be configured in the same manner, it is possible to apply to both the first imaging unit and the second imaging unit as one imaging unit 23. Of course, the control unit 25 can also be integrated. However, since the gist of the present embodiment is synthesized by performing two imaging operations on the same skin position through the first imaging unit and the second imaging unit, it is necessary to solve the problem related to the real-time processing first.

오로지 진단만을 목적으로 하는 경우에는 실시간 처리 여부가 큰 상관이 없으므로, 상기 제1 촬상부 및 제2 촬상부를 일체로 구성하여도 별다른 문제가 없으나, 측정과 동시에 표시 화면을 통하여 시술을 할 경우에는 실시간 처리가 요구되는바 일체로 할 경우에는 촬상부에 이중 노출 기술 적용 등을 고려하여야 할 것이다.In case of solely for diagnostic purposes, whether or not real-time processing is not a big problem, so even if the first imaging unit and the second imaging unit are integrally formed, there is no problem. If the processing is required, the application of the double exposure technique to the imaging unit should be considered.

한편, 상기 영상 합성부(30)는 제1 촬상부에서 촬상된 제1 촬상 영상과 제2 촬상부에서 촬상된 제2 촬상 영상을 정확히 매칭시켜 합성을 수행해야 하므로, 경우에 따라서는 얼라인을 위한 얼라인부를 더 포함하는 것이 바람직하다. 일반적으로, 상기 제1 촬상과 제2 촬상 간의 시간차는 매우 작게 조정이 가능하므로, 큰 무리는 없으나, 측정 각도에 따라 매우 작은 시차에도 변화가 생길 수 있는 피부 부위에는 피부에 직접 얼라인 마크를 부가할 수도 있다. 그러나, 이 경우 피측정자의 불쾌감을 초래하게 되므로, 촬상된 제1 촬상 영상과 제2 촬상 영상에서 공통된 지점을 찾아 상기 영상 합성부에서 자동적으로 얼라인을 수행하도록 하는 것이 바람직할 것이다.On the other hand, since the image synthesizing unit 30 needs to accurately synthesize the first captured image captured by the first image capture unit and the second captured image captured by the second image capture unit, the image may be aligned. It is preferable to further include an alignment unit for. In general, since the time difference between the first imaging and the second imaging can be adjusted very small, there is no big problem, but an alignment mark is directly added to the skin to the skin region where a change may occur even at a very small parallax depending on the measurement angle. You may. However, in this case, it may cause discomfort of the subject. Therefore, it may be desirable to find a common point in the captured first captured image and the second captured image so that the image synthesizing unit performs alignment automatically.

예를 들어, 도 2의 제1 촬상 영상과 제2 촬상 영상의 위치가 다른 경우, 각 점의 거리 위치 등을 계산하여 일치하는 점(도 2에서는 확인된 주근깨)을 얼라인 마크로서 작용하도록 알고리즘을 부가함으로써 얼라인이 가능할 것이다.For example, when the positions of the first captured image and the second captured image of FIG. 2 are different from each other, the algorithm calculates distance points and the like of each point to act as an alignment mark on the coincident points (identified freckles in FIG. 2). Alignment may be possible by adding.

참고로, 실시간 시술을 배제한 경우에는 측정자가 직접 매칭되는 점을 일치시키는 작업을 통하여 얼라인을 수행할 수도 있을 것이다.For reference, in case the real-time procedure is excluded, alignment may be performed by matching the points where the measurer directly matches.

상기 영상 합성부(30)를 통하여 합성된 영상은 상기 영상 출력부(40)를 통하여 외부로 표시되는데, 일반적으로 디스플레이가 이에 해당한다. 상기 영상 출력부에 의한 표시는 시술시의 편의를 위하여 즉각적인 확인이 가능하도록 측정과 동시에 실시간으로 이루어지는 것이 바람직하다. 이를 통하여, 시술자는 측정 화면을 보면서 직접 시술을 수행할 수 있게 된다.An image synthesized through the image synthesizing unit 30 is displayed to the outside through the image output unit 40, and a display generally corresponds to this. The display by the image output unit is preferably made in real time at the same time as the measurement to enable immediate confirmation for the convenience of the procedure. Through this, the operator can directly perform the procedure while viewing the measurement screen.

이상에서 설명한 바에 따른 제1 및 제2 촬상부를 통하여 촬상된 영상은 인간이 시각을 통해서 보는 피부와 차이가 있게 된다. 따라서, 인간의 시각을 통해서 보이는 피부의 화면과 제1 및 제2 촬상부에서 촬상된 영상, 합성 영상을 비교할 수 있도록 백색 광원을 인가한 상태에서 촬상을 수행하는 제3 촬상부를 더 포함하는 것이 바람직하다. 상기 제3 촬상부는 백색 광원이 인가된 피부를 측정함으로써 인간의 시각으로 보이는 바와 같은 영상을 제공하게 된다. 주의할 점은 상기 제3 촬상부를 통하여 얻은 영상을 상기 영상 합성부를 통하여 제1 촬상 영상 또는 제2 촬상 영상과 합성하여서는 안된다는 것이다.The image captured by the first and second imaging units as described above is different from the skin that a human sees through vision. Therefore, it is preferable to further include a third imaging unit which performs imaging while a white light source is applied so that the screen of the skin seen through human vision, the images captured by the first and second imaging units, and the synthesized image can be compared. Do. The third imaging unit measures the skin to which the white light source is applied to provide an image as seen by the human eye. Note that the image obtained through the third imaging unit should not be combined with the first captured image or the second captured image through the image combining unit.

즉, 상기 제3 촬상부에 의해 촬상된 영상은 상기 영상 합성부를 거치지 않고 상기 영상 출력부를 통하여 상기 합성된 영상과 별개로 표시되어야 한다.That is, the image picked up by the third imaging unit should be displayed separately from the synthesized image through the image output unit without passing through the image synthesizing unit.

물론, 이를 위해서는 상기 영상 출력부는 다중 스크린 또는 PIP(picture in picture)가 가능하여야 할 것이다.Of course, the image output unit should be capable of multiple screens or picture in picture (PIP).

도 4는 소정 피부를 촬상한 영상을 표시한 것으로, 좌측의 영상은 상기 제3 촬상부에 의해 촬상된 영상이며, 우측의 영상은 상기 제1 및 제2 촬상부에 의해 촬상된 영상이다.4 shows an image of a predetermined skin, wherein an image on the left is an image captured by the third imaging unit, and an image on the right is an image captured by the first and second imaging units.

좌측의 영상을 살펴보면, 상처가 생긴 후 흉터(하얀색 부분)가 많이 남아 있는 것을 알 수 있으며, 이러한 부분은 제1 및 제2 촬상부를 통하여 촬상된 우측의 영상에서 빨갛게 표시가 된다. 도 4에서의 흉터는 상처로 인하여 새로운 조직이 생겨난 것으로, 햇빛 등 외부 환경에 의한 색 변색이 이루어지 않은 새살을 의미하며, 주변 피부보다 엘라스틴과 콜라겐의 농도가 상당히 증가하여 치밀한 조직을 이루고 있으며, 색소성 물질도 거의 없는 상태이다. Looking at the image on the left, it can be seen that a lot of scars (white portions) remain after the wound, and these portions are displayed in red in the images on the right side photographed through the first and second imaging units. The scar in Figure 4 is a new tissue due to the wound, it means a new flesh that has not been discolored by the external environment, such as sunlight, the concentration of elastin and collagen significantly increased than the surrounding skin to form a dense tissue, There is also little pigment | dye substance.

우측의 영상은 제1 및 제2 촬상부를 통하여 촬상된 영상을 합성한 것은 아니고, 다만 상기 제1 또는 제2 촬상부를 통하여 촬상된 영상에서 피부의 상태가 색깔로 표시가 될 수 있음을 나타낸 것으로, 해당 영상이 상기 제1 촬상부를 통해서 촬상된 것이라면, 상기 상처의 흡수파장과 유사하여 상기 상처의 흡수파장에 해당하는 광원을 인가한 상태에서 촬상시 같이 표시될 수 있는 피부 조직에 대한 흡수파장에 해당하는 광원을 다시 인가하여 상기 제2 촬상부를 통해서 촬상한 후, 상기 제1 촬상부의 촬상 영상과 합성하면 정확한 상처부위를 도출할 수 있게 된다.The image on the right side does not synthesize an image captured through the first and second imaging units, but indicates that the state of the skin may be displayed in color in the image captured through the first or second imaging unit. If the image is captured by the first imaging unit, it corresponds to the absorption wavelength of the skin tissue which may be displayed at the time of imaging while applying a light source corresponding to the absorption wavelength of the wound, similar to the absorption wavelength of the wound. When the light source is applied again and the image is picked up through the second image pickup unit, the image is synthesized with the image captured by the first image pickup unit, so that an accurate wound portion can be derived.

참고로, 상처 부위 하부의 빨간색 부분은 난반사로 인한 것으로, 상기 제1 촬상부 및 제2 촬상부에 편광 필터를 포함시킴으로써 해소가 가능하다. 물론, 광원측에도 편광 필터를 더 포함시키는 것이 바람직할 것이다.For reference, the red part of the lower portion of the wound is caused by the diffuse reflection, and can be solved by including the polarization filter in the first imaging unit and the second imaging unit. Of course, it would be desirable to further include a polarization filter on the light source side.

본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.Although the technical spirit of the present invention has been described in detail according to the above-described preferred embodiment, it should be noted that the above-described embodiment is for the purpose of description and not of limitation. In addition, those skilled in the art will understand that various embodiments are possible within the scope of the technical idea of the present invention.

피부의 상태를 측정하고자 하는 경우에 적용이 가능하며, 특히 미용, 의료 분야에의 적용이 유리할 것이다.It is possible to apply when the condition of the skin is to be measured, in particular, it would be advantageous to apply to the beauty, medical field.

도 1은 본 발명의 바람직한 일실시예에 따른 피부 상태 측정 장치를 나타낸 블럭도.1 is a block diagram showing a skin condition measuring apparatus according to an embodiment of the present invention.

도 2는 도 1의 피부 상태 측정 장치를 이용한 영상 합성을 나타낸 개략도.FIG. 2 is a schematic diagram illustrating image synthesis using the skin condition measuring apparatus of FIG. 1. FIG.

도 3은 도 1의 촬상부의 구성을 나타낸 개략도.3 is a schematic view showing the configuration of the imaging unit in FIG. 1;

도 4는 실제의 피부 상태와 측정 영상을 나타낸 개략도.4 is a schematic diagram showing an actual skin condition and a measurement image.

*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

10...제1 촬상부 20...제2 촬상부10 ... first imaging unit 20 ... second imaging unit

30...영상 합성부 40...영상 출력부30.Video synthesizer 40 ... Video output

Claims (5)

측정하고자 하는 피부 내 조직(측정 조직)의 흡수 파장에 해당하는 제1 광원을 인가한 상태에서 촬상을 수행하는 제1 촬상부;A first imaging unit configured to perform imaging while applying a first light source corresponding to an absorption wavelength of tissue (measurement tissue) in the skin to be measured; 상기 제1 광원을 일부 흡수하는 다른 조직(유사 조직)의 흡수 파장에 해당하는 제2 광원을 인가한 상태에서 촬상을 수행하는 제2 촬상부;A second imaging unit which performs imaging while applying a second light source corresponding to an absorption wavelength of another tissue (similar tissue) that partially absorbs the first light source; 상기 제1 촬상부 및 제2 촬상부에서 촬상된 영상을 합성하는 영상 합성부; 및An image synthesizing unit configured to synthesize images captured by the first and second imaging units; And 상기 합성된 영상을 출력하는 영상 출력부;를 포함하여 이루어지고,And an image output unit configured to output the synthesized image. 상기 영상 합성부는 상기 제1 및 제2 촬상부에서 촬상된 영상을 얼라인하는 얼라인부를 포함하는 피부 상태 측정 장치.The image synthesizing unit includes an alignment unit for aligning images captured by the first and second imaging units. 삭제delete 청구항 1에 있어서,The method according to claim 1, 상기 제1 광원 및 제2 광원은 광을 고르게 입사시켜주는 광 확산부를 포함하는 것을 특징으로 하는 피부 상태 측정 장치.The first light source and the second light source comprises a light diffusion unit for injecting light evenly. 청구항 1에 있어서,The method according to claim 1, 백색 광원을 인가한 상태에서 촬상을 수행하는 제3 촬상부를 더 포함하고,And a third imaging unit which performs imaging while a white light source is applied, 상기 제3 촬상부에 의해 촬상된 영상은 상기 영상 합성부를 거치지 않고 상기 영상 출력부를 통하여 상기 합성된 영상과 별개로 표시되는 것을 특징으로 하는 피부 상태 측정 장치.And an image captured by the third imaging unit is displayed separately from the synthesized image through the image output unit without passing through the image synthesizing unit. 청구항 1에 있어서,The method according to claim 1, 상기 제1 촬상부 및 제2 촬상부는 편광 필터를 더 포함하는 것을 특징으로 하는 피부 상태 측정 장치.The first image pickup unit and the second image pickup unit further comprises a polarization filter.
KR1020080082409A 2008-08-22 2008-08-22 Skin condition measuring device KR101047902B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080082409A KR101047902B1 (en) 2008-08-22 2008-08-22 Skin condition measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080082409A KR101047902B1 (en) 2008-08-22 2008-08-22 Skin condition measuring device

Publications (2)

Publication Number Publication Date
KR20100023566A KR20100023566A (en) 2010-03-04
KR101047902B1 true KR101047902B1 (en) 2011-07-08

Family

ID=42175788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080082409A KR101047902B1 (en) 2008-08-22 2008-08-22 Skin condition measuring device

Country Status (1)

Country Link
KR (1) KR101047902B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100459014B1 (en) 2002-08-09 2004-12-03 학교법인고려중앙학원 Method and apparatus for distribution analysis of surface color
JP2005334199A (en) * 2004-05-26 2005-12-08 Shiseido Co Ltd Measuring method of melanin monomer
KR100576095B1 (en) 2003-07-24 2006-05-17 (주) 옵토바이오메드 Digital Photography Imaging System
KR20070011361A (en) * 2004-04-15 2007-01-24 가부시키가이샤 모리텍스 Face imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100459014B1 (en) 2002-08-09 2004-12-03 학교법인고려중앙학원 Method and apparatus for distribution analysis of surface color
KR100576095B1 (en) 2003-07-24 2006-05-17 (주) 옵토바이오메드 Digital Photography Imaging System
KR20070011361A (en) * 2004-04-15 2007-01-24 가부시키가이샤 모리텍스 Face imaging device
JP2005334199A (en) * 2004-05-26 2005-12-08 Shiseido Co Ltd Measuring method of melanin monomer

Also Published As

Publication number Publication date
KR20100023566A (en) 2010-03-04

Similar Documents

Publication Publication Date Title
KR101647022B1 (en) Apparatus and method for capturing medical image
US8630465B2 (en) Imaging of buried structures
CA2832162C (en) Apparatus and methods for multiphoton microscopy
Basiri et al. Use of a multi-spectral camera in the characterization of skin wounds
US7400754B2 (en) Method and apparatus for characterization of chromophore content and distribution in skin using cross-polarized diffuse reflectance imaging
WO2013180126A1 (en) Artery visualization device and artery imaging device
JP2007190364A (en) Image processing method and apparatus
WO2013175827A1 (en) Image capture device and image capture method
WO2005079661A1 (en) Apparent chemical species measuring method and measuring system
KR20130133969A (en) Automatically controlled laser apparatus by image-analysis
US20160066833A1 (en) Device and method for imaging collagen structure in vivo
US20220296920A1 (en) Method and system of sensing and analysis for skin treatment procedures
CA3058459A1 (en) Instruments and methods for imaging collagen structure in vivo
Sierra et al. Reflectance confocal microscopy-guided laser ablation of basal cell carcinomas: initial clinical experience
US20220405930A1 (en) Apparatus and method for sensing and analyzing skin condition
Kuzmina et al. Multi-spectral imaging analysis of pigmented and vascular skin lesions: results of a clinical trial
KR101047902B1 (en) Skin condition measuring device
JP7503216B2 (en) Method and system for real-time monitoring of cosmetic laser skin treatment procedures - Patents.com
CN110151108A (en) Endoscopic laser speckle blood flow blood oxygen imaging system
KR102348430B1 (en) Apparatus for training eye movement and method for operating the same
Kim Laser acupuncture improves skin color deformation by cupping: A pilot study
AU2019339406B2 (en) Spectrally encoded optical polarization imaging for detecting skin cancer margins
De Roode et al. Multispectral system evaluates treatments in dermatology
Davoodzadeh Theranostic Window to the Brain for Multispectral Light Delivery and Microcirculation Imaging
Younan Design and evaluation of a novel Transillumination SFDI system for quantitative assessment of tissuesections for rapid, label-free cancer margin detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 6

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190704

Year of fee payment: 9