KR20230095716A - Apparatus of handheld skin-imaging - Google Patents
Apparatus of handheld skin-imaging Download PDFInfo
- Publication number
- KR20230095716A KR20230095716A KR1020210185465A KR20210185465A KR20230095716A KR 20230095716 A KR20230095716 A KR 20230095716A KR 1020210185465 A KR1020210185465 A KR 1020210185465A KR 20210185465 A KR20210185465 A KR 20210185465A KR 20230095716 A KR20230095716 A KR 20230095716A
- Authority
- KR
- South Korea
- Prior art keywords
- skin
- image data
- unit
- imaging device
- photographing
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 27
- 230000001133 acceleration Effects 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 210000003491 skin Anatomy 0.000 description 50
- 238000000034 method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 230000037394 skin elasticity Effects 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dermatology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은피부 촬영 장치에 관한 것이다. 구체적으로, 단안 카메라와 관성 센서를 이용하여 얼굴 전면의 영상을 촬영할 수 있는 장치에 관한 것이다. 구체적으로, 한손으로 파지 가능한 외형을 갖는 케이스와, 피부에 접촉되도록 상기 케이스의 일 단부에 구비되는 헤드를 포함하고, 상기 케이스의 어느 한 부분에 구비되어 대상자의 피부를 촬영하여 적어도 둘 이상의 영상 데이터를 생성하되, 광 경로 상에 초점 거리를 제어하는 적어도 하나 이상의 렌즈를 포함하는 광학계가 구비된 촬영부, 상기 케이스의 내부에 설치되어, 상기 피부 촬영 장치의 각가속도 혹은 가속도를 측정하는 관성 센서부, 상기 관성 센서부에서 측정된 각가속도 혹은 가속도로부터 상기 피부 촬영 장치의 위치 및 자세 데이터를 산출하는 자세 추정부 및 상기 촬영된 영상 데이터들을 정합하여 상기 둘 이상의 영상 데이터를 정합하여 연속 영상 데이터로 가공하는 영상 정합부를 포함하는 것을 특징으로 한다.The present invention relates to a skin imaging device. Specifically, the present invention relates to a device capable of capturing an image of the front of a face using a monocular camera and an inertial sensor. Specifically, it includes a case having an external shape that can be gripped with one hand, and a head provided at one end of the case to be in contact with the skin, provided at any part of the case to photograph the subject's skin, and at least two or more image data A photographing unit provided with an optical system including at least one lens for controlling a focal length on an optical path, an inertial sensor unit installed inside the case and measuring angular acceleration or acceleration of the skin photographing device, A posture estimation unit that calculates position and posture data of the skin imaging device from the angular acceleration or acceleration measured by the inertial sensor unit, and an image processing the two or more image data into continuous image data by matching the captured image data. It is characterized in that it includes a matching part.
Description
본 기술분야는 피부 촬영 장치에 관한 것이다. 구체적으로, 단안 카메라와 관성 센서를 이용하여 얼굴 전면의 영상을 촬영할 수 있는 촬영 장치에 관한 것이다.This technical field relates to a skin imaging device. Specifically, the present invention relates to a photographing device capable of capturing an image of a front face using a monocular camera and an inertial sensor.
인체의 표면을 덮고 있는 피부는 외부환경으로부터 인체의 내부조직을 보호하고 항생성의 유지를 위해 표피, 진피, 피하지방을 포함하는 3층의 복합조직으로 이루어지며, 체온조절, 분비물 배출 및 감각작용 등 여려 가지 기관의 기능을 수행하는 매우 중요한 인체 부분이다.The skin covering the surface of the human body consists of three layers of complex tissue including the epidermis, dermis, and subcutaneous fat to protect the internal tissues of the human body from the external environment and maintain antibiotics, and regulates body temperature, discharges secretions, and acts as a sensory agent. It is a very important part of the human body that performs various organ functions.
일반적인 피부관리 방법으로는 피부의 탄력유지, 주름살 개선 등의 효능을 강조하는 각종 기능성 화장품을 널리 이용되었으며, 일부 사람들은 비용을 더 들여 전문관리사의 도움으로 관리를 받기도 한다.As a general skin care method, various functional cosmetics that emphasize the efficacy of maintaining skin elasticity and improving wrinkles have been widely used, and some people spend more money to receive care with the help of professional managers.
상술한 방법 외에도 여러 피부 관리가 이루어지고 있으나, 피부 관리 이전에 넓은 영역의 피부 상태에 대한 정확한 진단이 필요하고, 정확한 진단을 위해서는 우선 피부의 촬영이 선행되어야 한다.In addition to the above-mentioned methods, various skin care is performed, but accurate diagnosis of the skin condition of a wide area is required before skin care, and for accurate diagnosis, first of all, the skin must be photographed.
일반적으로 얼굴 전면을 촬영하기 위해 소정의 전문가용 얼굴 영상 촬영 장치가 이용되어 왔다. 얼굴 영상 촬영장치는 피부에 대한 영상을 획득하는 장치로, 피부 질환 및 피부 상태에 따라 의사가 환자의 피부치료 및 진단에 도움을 주는 역할을 수행하며, 형광과 편광을 이용하여 관찰하고자 하는 피부 병변을 분석하는 피부 영상 분석 시스템이 구비된다. 하지만 상술한 촬영 장치의 경우 일반 사용자가 쉽게 사용을 하는 것은 다소 부담이 크다.In general, a certain professional face image capturing device has been used to photograph the entire face. A face imaging device is a device that acquires images of the skin. It plays a role in helping doctors treat and diagnose patients' skin according to skin diseases and skin conditions, and skin lesions to be observed using fluorescence and polarization. A skin image analysis system for analyzing is provided. However, in the case of the above-described photographing device, it is somewhat burdensome for general users to easily use it.
한편, 휴대폰 혹은 소형 단안 피부 촬영 장치 등을 이용하여 사용자가 손쉽게 얼굴을 촬영하는 것이 가능하나, 얼굴의 국소 부위만을 촬영하므로 안면 피부 전체의 촬영은 다소 어려운 문제점이 존재한다.Meanwhile, although it is possible for a user to easily photograph a face using a mobile phone or a small monocular skin photographing device, it is difficult to photograph the entire facial skin because only a localized part of the face is photographed.
본 발명은 상술한 문제점을 해소하기 위해 고안된 것으로, 사용자가 손쉽게 여러 번의 촬영을 통해 안면 전체 영역에 대한 영상을 획득할 수 있도록 하는데 그 목적이 있다.The present invention has been devised to solve the above-described problems, and an object of the present invention is to enable a user to easily obtain an image of the entire facial area through multiple photographing.
상술한 목적은 본 발명의 일 실시예에서 개시하고 있는 피부 촬영 장치에 의해 달성 될 수 있다. 본 발명의 일 실시예에 따르는 피부 촬영 장치는 한손으로 파지 가능한 외형을 갖는 케이스와, 피부에 접촉되도록 상기 케이스의 일 단부에 구비되는 헤드를 포함하고, 상기 케이스의 어느 한 부분에 구비되어 대상자의 피부를 촬영하여 적어도 둘 이상의 영상 데이터를 생성하되, 광 경로 상에 초점 거리를 제어하는 적어도 하나 이상의 렌즈를 포함하는 광학계가 구비된 촬영부, 상기 케이스의 내부에 설치되어, 상기 피부 촬영 장치의 각가속도 혹은 가속도를 측정하는 관성 센서부, 상기 관성 센서부에서 측정된 각가속도 혹은 가속도로부터 상기 피부 촬영 장치의 위치 및 자세 데이터를 산출하는 자세 추정부 및 상기 촬영된 영상 데이터들을 정합하여 상기 둘 이상의 영상 데이터를 정합하여 연속 영상 데이터로 가공하는 영상 정합부를 포함한다.The above object can be achieved by a skin imaging device disclosed in an embodiment of the present invention. A skin imaging device according to an embodiment of the present invention includes a case having an external shape that can be gripped with one hand, and a head provided at one end of the case so as to come into contact with the skin, and is provided at any one part of the case to capture the skin of a subject. A photographing unit provided with an optical system including at least one lens for photographing the skin and generating at least two or more image data and controlling a focal length on an optical path, installed inside the case, and angular acceleration of the skin photographing device Alternatively, an inertial sensor unit that measures acceleration, a posture estimation unit that calculates position and posture data of the skin imaging device from angular acceleration or acceleration measured by the inertial sensor unit, and matching the captured image data to obtain the two or more image data. and an image matching unit for matching and processing into continuous image data.
그리고 상기 영상 정합부는, 촬영된 적어도 둘 이상의 영상 데이터로부터 동일한 특징점을 추출하고, 각각의 특징점의 일치여부를 판단하여 상기 둘 이상의 영상 데이터를 정합하되, 상기 둘 이상의 영상 데이터가 서로 중첩되는 동일한 영역을 관심영역으로 설정하고, 관심영역 내에서의 특징점의 일치 여부를 판단한다.The image matching unit extracts the same feature point from at least two or more captured image data, determines whether each feature point matches, and matches the two or more image data, and selects the same area where the two or more image data overlap each other. It is set as a region of interest, and it is determined whether feature points within the region of interest match.
이를 위해, 상기 촬영부가 대상자의 피부를 촬영할 때마다, 자세 추정부가 해당 영상 데이터 촬영 시의 피부 촬영 장치의 위치 및 자세 데이터를 산출하여 기록하고, 상기 영상 정합부는 둘 이상의 영상 데이터를 정합할 시, 상기 두 영상 데이터의 위치 및 자세 데이터로부터 상기 촬영부의 시점과 변위를 도출하여 상기 둘 이상의 영상 데이터가 서로 중첩되는 관심영역을 산출한다.To this end, whenever the photographing unit photographs the skin of the subject, the posture estimation unit calculates and records the position and posture data of the skin imaging device when the corresponding image data is captured, and the image matching unit matches two or more image data. A viewpoint and displacement of the photographing unit are derived from position and attitude data of the two image data, and a region of interest where the two or more image data overlap each other is calculated.
그리고, 상기 영상 정합부는, 관심영역 내에 위치한 적어도 3개 이상의 특징점으로부터 두 개의 가상 시점을 생성하고, 상기 두 개의 가상 시점과 상기 둘 이상의 영상 데이터로부터 도출된 상기 촬영부의 시점을 비교하여 연속 영상 데이터를 보정한다.The image matching unit generates two virtual viewpoints from at least three feature points located within the region of interest, and compares the two virtual viewpoints with viewpoints of the photographing unit derived from the two or more image data to generate continuous image data. correct
한편, 상기 피부 촬영 장치는,On the other hand, the skin photographing device,
상기 헤드에 구비되어 대상자의 피부에 직접 광을 조사할 수 있도록 구비되되, 서로 상이한 파장 대역의 광을 발생시키는 적어도 둘 이상의 조명부를 더 포함할 수 있다. 상기 촬영부가 대상자의 피부를 촬영할 때마다, 색상 균형(White Balance) 조건이 동일하도록 상기 조명부가 광을 조사하는 것을 특징으로 한다.Doedoe provided in the head to directly irradiate light to the skin of the subject, at least two or more lighting units for generating light of different wavelength bands may be further included. It is characterized in that the lighting unit irradiates light so that a color balance condition is the same whenever the photographing unit photographs the subject's skin.
본 발명에 의하면, 기존의 얼굴 영상 촬영 장치에 비교하여 적은 비용으로 용이하게 안면 전체에 대해서 촬영하는 것이 가능하다.According to the present invention, it is possible to take pictures of the entire face easily and at a low cost compared to conventional face image capturing devices.
더 나아가, 기존 방식 대비 본 발명의 영상 정합을 통해 정합 처리에 소요되는 시간을 최소화할 수 있으며, 높은 해상도의 안면 영상 데이터를 획득할 수 있고, 모든 안면에 초점이 맞춰진 영상을 획득하는 것이 가능하다.Furthermore, it is possible to minimize the time required for registration processing through the image matching of the present invention compared to the existing method, obtain high-resolution facial image data, and acquire images focused on all faces. .
도 1은 본 발명의 실시예에 따르는 피부 촬영 장치가 도시된 개념도이다.
도 2는 영상 정합부가 각각의 영상 데이터가 중첩된 부분을 관심영역(ROI)로 설정하는 것에 대해 도시한 개념도이다.
도 3은 영상 정합부가 위치 및 자세 데이터를 이용하여 연속 영상 데이터를 생성하는 것에 대해 도시한 개념도이다.
도 4는 영상 정합부가 영상 데이터 내에 세 개 이상의 특징점을 이용하여 두 개의 가상 시점을 생성하는 것에 대해 도시한 개념도이다.
도 5는 두 개의 영상 데이터를 정합한 후, 고주파 잡음 성분을 제거한 결과를 도시한 도면이다.1 is a conceptual diagram illustrating a skin imaging device according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating how an image matching unit sets an overlapping portion of each image data as a region of interest (ROI).
3 is a conceptual diagram illustrating that an image matching unit generates continuous image data using position and attitude data.
4 is a conceptual diagram illustrating that an image matching unit generates two virtual viewpoints by using three or more feature points in image data.
5 is a diagram illustrating a result of removing a high-frequency noise component after matching two image data.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.Like reference numbers in the drawings indicate the same or similar function throughout the various aspects.
이하, 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 실시예에 기초하여 설명하도록 하며, 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.Hereinafter, specific details for carrying out the present invention will be described with reference to the drawings based on examples, and these examples are described in detail so that those skilled in the art can practice the present invention.
본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조, 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in one embodiment in another embodiment without departing from the spirit and scope of the invention.
따라서 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims.
본 발명의 피부 촬영 장치(100)는 한손으로 파지 가능한 외형을 갖는 케이스(110)와, 피부에 접촉되도록 케이스(110)의 일 단부에 구비되는 헤드(120)를 포함하여 구성된다. 실시하기에 따라 헤드(120)는 케이스(110)에 대해 탈부착 가능하도록 한 형상으로 구성되는 것도 고려될 수 있다.The
케이스(110)는 피부 촬영 장치(100)의 구동에 필요한 전자 부품, 피부를 촬영하기 위한 촬영 수단, 그리고 구동을 제어하고, 이미지 처리를 위한 소정의 연산 수단 등이 내장되어 있다. 헤드(120)의 경우, 광이 촬영부(111) 측으로 입사할 수 있도록 소정의 통로가 생성되어 피부와 촬영부(111)의 이미지 센서사이의 소정의 광 경로가 형성되어 있다. 또한, 헤드(120)의 일부분에는 대상자의 피부에 직접 광을 조사하기 위한 조명부(121)가 마련될 수 있다. 본 발명의 실시예에서는 촬영부(112)의 시점과 동일하게 빛을 조사할 수 있도록 헤드(120)의 일면 상에 설치될 수 있다. 그리고, 조명부(121)는 서로 상이한 파장 대역의 광을 발생시키기 위해 복수개의 조명 수단이 설치될 수 있다. 예를 들어, 백색광과 3원색(Red, Green, Blue)의 광을 발생시킬 수 있는 복수의 광원이 구비될 수 있다. 이외에도, 가시광선 대역, 적외선 대역 및 자외선 대역의 광을 조사할 수 있는 소정의 광원이 구비되는 것으로도 실시될 수 있다. 또한 조명부(121)는 피부에 조사하는 빛의 세기를 조절할 수 있는 것이 바람직하다.The
본 발명의 실시예에서의 조명부(121)는 촬영부(111)가 대상자의 피부를 촬영할 때마다, 색상 균형(White Balance) 조건이 동일하도록 광을 조사한다. 이는 되도록 균일한 색 정보를 가진 복수의 영상 데이터를 획득하기 위함이다. 이와 동시에 얼굴의 윤곽에 의해 음영이 발생하지 않도록 사용될 수 있다.In the embodiment of the present invention, the
본 발명의 실시예에서는 케이스(110)의 중심축과 헤드(120)의 중심축이 서로 상이하여 교차하지 않는다. 촬영부(111)의 구성요소 중 하나인 이미지 센서의 배치에 따라 상이하지만 넓은 범위의 초점 거리를 확보하는 것을 고려해야 하므로, 본 발명의 실시예에서는 헤드(120)의 중심축과 케이스(110)의 중심축이 서로 직교하도록 배치된다. 이에 따라, 실시예에서는 광로를 변경(입사 광의 굴절)시키는 반사 요소와 초점거리를 조절하기 위한 렌즈로 구성된 광학계가 구비된다. 물론, 동일한 축 상에 케이스(110)와 헤드(120)가 배치되는 구조도 고려될 수 있고, 이 경우에는 렌즈로만 이루어진 광학계가 구비될 수 있다.In the embodiment of the present invention, the central axis of the
촬영부(111)는 케이스(110)의 어느 한 부분에 구비되어 대상자의 피부를 촬영하여 적어도 둘 이상의 영상 데이터를 생성하는 소정의 이미지 센서와 광 경로 상에 초점 거리를 제어하는 적어도 하나 이상의 렌즈를 포함하는 광학계를 구비한단안 카메라(Single Lens Reflex Camera)이다.The photographing
관성 센서부(112)는 케이스(111)의 내부에 설치되어, 상기 피부 촬영 장치의 각가속도 혹은 가속도를 측정하는 구성요소이다. 관성 센서(112)는 (IMU, Inertia Measurement Unit)는 가속도계 센서, 자이로스코프(gyroscope), 혹은 지자기 센서의 합으로 이루어진 센서 디바이스로써, 물체의 기울어진 각도를 산출하는 것이 가능하다.The
자세 추정부(113)은 관성 센서부(112)에서 측정된 각가속도 혹은 가속도로부터 피부 촬영 장치(100)의 자세 및 위치 데이터를 산출하는 구성요소이다. 여기서 의미하는 자세(posture) 데이터는 대상자의 피부와 피부 촬영 장치(100)와의 사잇각을 내포하며, 위치(position) 데이터는 대상자의 피부에 대한 피부 촬영 장치(100)의 거리, 피부 촬영 장치(100)의 상대 위치, 상대 좌표 등을 내포한다. 즉, 촬영부(111)의 시점을 유추할 수 있다. 자세 및 위치 데이터는 측정된 각가속도와 가속도 값을 적분하여 얻어질 수 있으며, 관성 센서부(112)의 다른 측정값(지자계 센서에 의한 자력) 등을 이용하여 자세 및 위치 데이터가 보정될 수 있다.The
촬영부(111)가 대상자의 피부를 촬영할 때마다, 자세 추정부(113)가 해당 영상 데이터 촬영 시의 피부 촬영 장치의 자세 및 위치 데이터를 산출하여 기록한다. Whenever the photographing
영상 정합부(114)는 촬영된 적어도 둘 이상의 영상 데이터들을 정합(stitch)하여 연속 영상 데이터로 가공하는 구성요소이다.The
일반적으로, 두 영상 데이터의 정합은 전체 영상의 특징점(Key-point)을 추출한 후, 추출된 특징점들을 기반으로 분할된 영상 데이터에서 공통된 영역(즉, 관심영역, ROI; Region of Interest)을 탐색한다. 탐색된 영역에 따라 이미지를 정합하는 과정을 거쳐 연속된 영상 데이터, 즉 파노라마 영상을 생성한다.In general, matching of two image data extracts key-points of the entire image, and then searches for a common region (ie, Region of Interest (ROI)) in segmented image data based on the extracted key-points. . Through a process of matching images according to the searched area, continuous image data, that is, a panoramic image is generated.
하지만 전체 영역에 대해 특징점을 추출하는 것은 상당한 부하가 있는 연산임에 따라 소형 임베디드 기기에서는 실시간 처리가 어려운 문제점이 있다.However, there is a problem in that real-time processing is difficult in a small embedded device because extracting feature points for the entire area is a computation with a considerable load.
따라서 본 발명은 상술한 문제점을 해소하기 위해 상술한 일반적인 방법과는 다소 상이한 방법을 이용하여 영상 정합을 수행한다. 본 발명의 실시예에 따르면, 우선 관심영역(ROI)을 찾은 후에 관심영역 내의 특징점을 도출한다. 이후, 각각의 특징점의 일치여부를 판단하여 둘 이상의 영상 데이터를 정합한다.Therefore, the present invention performs image matching using a method somewhat different from the above-described general method in order to solve the above-described problem. According to an embodiment of the present invention, after finding a region of interest (ROI), feature points within the region of interest are derived. Thereafter, it is determined whether the feature points match or not, and two or more image data are matched.
이때, 관심영역의 탐색은 앞서 자세 추정부(113)에서 산출된 자세 및 위치 데이터를 이용한다.At this time, the search for the region of interest uses the posture and position data previously calculated by the
자세 추정부(113)에서 산출된 자세 및 위치 데이터를 통해, 영상 데이터 촬영 당시의 피부 촬영 장치(100)의 자세와 위치를 알 수 있으며, 두 영상 데이터의 자세와 위치의 변화 정도에 따라, 영상 데이터의 촬영 영역의 변화 또한 유추할 수 있다.Through the posture and position data calculated by the
최초 촬영된 영상 데이터를 제 1 영상 데이터로 칭하고, 그 이후 촬영된 영상 데이터로 칭하여 설명하자면, 도 2 및 도 3에 도시된 바와 같이, 피부 촬영 장치(100)가 최초로 제 1 영상 데이터를 촬영한 위치(P1)에서, 제 2 영상 데이터를 촬영한 제 2 위치(P2)로 이동하게 된다.Referring to the first image data taken as first image data and then referred to as image data taken thereafter, as shown in FIGS. 2 and 3 , the first image data taken by the
촬영부(111)의 변위(이동한 거리)와 촬영부(111)와 대상자의 피부와의 사잇각, 즉 촬영부(111)의 시점에 대한 정보는 제 1, 제 2 영상 데이터 각각의 자세 및 위치 데이터를 분석하여 변화 정도를 산출하는 것이 가능하다.Information about the displacement (moved distance) of the photographing
즉, 피부 촬영 장치(100)가 기설정된 촬영 영역 내에서 움직이며 대상자의 피부를 촬영을 하였다면, 반드시 제 1 영상 데이터와 제 2 영상 데이터기 서로 중첩되는 영역이 존재하게 된다. 위와 같이 영상 정합부(114)는 두 영상 데이터가 중첩되는 영역을 관심영역(ROI)으로 탐색한 후에 해당 영역 내에서의 특징점을 검출하게 된다.That is, if the
영상 정합부(114)에서의 특징점의 검출과 영상 정합은 SIFT(Scale Invariant Feature), SURF(Speeded Up Robust Features), FERN, HOG(Histogram of Oriented Gradient)Optical Flow 등의 기존의 알고리즘을 이용한다.The feature point detection and image matching in the
이후, 영상 정합부(114)가 관심 영역 내의 특징점을 제 1, 2 영상 데이터 별로 각각 도출한 후, 3개의 공통된 특징점을 선택하여, 두 개의 가상 시점을 생성한다. 도 4에 도시된 실시예에 따르면, 영상 정합부(114)는 다수의 특징점(u11, u12, u13, u21, u22, u23,, u24)을 검출하였고, 제 1 영상 데이터 및 제 2 영상 데이터에서 공통된 특징점인 (x1, x2, x3)으로부터 가상의 시점 (m1, m2)를 산출한다. 앞서 제 1 영상 데이터 및 제 2 영상 데이터 촬영 당시의 촬영부(111)의 시점과 공통된 특징점으로부터 산출된 가상의 시점들의 유사 정도를 비교하여 두 영상 데이터의 정합이 올바르게 되었는지를 판단한다.Thereafter, the
상술한 과정에서 실제와 다소 차이가 존재하는 가상의 시점(m1, m2)이 도출되거나, 잘못된 특징점(=이상점, (outlier)으로 인한 정합 지점이 잘못된 경우가 발생할 수 있는데, 이러한 경우를 최소화하기 위해 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 불필요한 특징점을 제거한다. 불필요한 특징점들을 제거한 후, 두 영상 데이터에 대한 영상 정합을 수행함으로써, 보정된 연속 영상 데이터를 획득할 수 있다.In the above-described process, virtual viewpoints (m 1 , m 2 ) that are slightly different from the real ones may be derived, or matching points due to incorrect feature points (= outliers) may occur. In order to minimize unnecessary feature points, RANSAC (Random Sample Consensus) algorithm is used to remove unnecessary feature points After removing unnecessary feature points, corrected continuous image data can be obtained by performing image matching on two image data.
이후, 도 5에 도시된 바와 같이 두 영상 데이터를 정합한 후, 영상 데이터 내에 존재하는 고주파 잡음 성분을 제거한다. 본 발명의 실시예에서는 처리 속도와 성능을 고려하여 Bilateral 필터를 이용하여 고주파 잡음을 제거하였으나 이에 한정되지는 않으며 고주파 성분을 제거할 수 있는 다양한 필터가 적용될 수 있다.Then, after matching the two image data as shown in FIG. 5, a high-frequency noise component present in the image data is removed. In the embodiment of the present invention, high-frequency noise is removed using a bilateral filter in consideration of processing speed and performance, but is not limited thereto, and various filters capable of removing high-frequency components may be applied.
상술한 과정들을 반복함으로써, 복수의 영상 데이터들을 모두 정합하여 얼굴 전체에 대한 영상을 형성한다.By repeating the above-described processes, a plurality of image data are matched to form an image of the entire face.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예, 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정, 및 변형이 가능하다.As described above, the present invention has been described by specific details such as specific components, limited embodiments, and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. No, various modifications and variations are possible from these descriptions by those skilled in the art in the field to which the present invention belongs.
따라서 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments and should not be determined, and all things equivalent or equivalent to the claims as well as the following claims belong to the scope of the present invention.
100 : 피부 촬영 장치
110 : 케이스
111 : 촬영부
112 : 관성 센서부
113 : 자세 추정부
114 : 영상 정합부
120 : 헤드
121 : 조명부100: skin photographing device
110: case
111: shooting unit
112: inertial sensor unit
113: posture estimation unit
114: image matching unit
120: head
121: lighting unit
Claims (6)
상기 케이스의 어느 한 부분에 구비되어 대상자의 피부를 촬영하여 적어도 둘 이상의 영상 데이터를 생성하되, 광 경로 상에 초점 거리를 제어하는 적어도 하나 이상의 렌즈를 포함하는 광학계가 구비된 촬영부;
상기 케이스의 내부에 설치되어, 상기 피부 촬영 장치의 각가속도 혹은 가속도를 측정하는 관성 센서부;
상기 관성 센서부에서 측정된 각가속도 혹은 가속도로부터 상기 피부 촬영 장치의 위치 및 자세 데이터를 산출하는 자세 추정부; 및
상기 촬영된 영상 데이터들을 정합하여 상기 둘 이상의 영상 데이터를 정합하여 연속 영상 데이터로 가공하는 영상 정합부;를 포함하는 것을 특징으로 하는 피부 촬영 장치.In the skin imaging device including a case having an external shape that can be gripped with one hand, and a head provided at one end of the case to contact the skin,
a photographing unit equipped with an optical system provided at any one part of the case to generate at least two or more image data by photographing the subject's skin and including at least one lens for controlling a focal length on an optical path;
an inertial sensor unit installed inside the case to measure angular acceleration or acceleration of the skin imaging device;
a posture estimation unit calculating position and posture data of the skin imaging device from the angular acceleration or acceleration measured by the inertial sensor unit; and
and an image matching unit for matching the captured image data to match the two or more image data and processing them into continuous image data.
상기 영상 정합부는,
촬영된 적어도 둘 이상의 영상 데이터로부터 동일한 특징점을 추출하고, 각각의 특징점의 일치여부를 판단하여 상기 둘 이상의 영상 데이터를 정합하되,
상기 둘 이상의 영상 데이터가 서로 중첩되는 동일한 영역을 관심영역으로 설정하고, 관심영역 내에서의 특징점의 일치 여부를 판단하는 것을 특징으로 하는 피부 촬영 장치.According to claim 1,
The image matching unit,
Extracting the same feature point from at least two or more captured image data, and matching the two or more image data by determining whether each feature point matches,
Skin imaging device, characterized in that for setting the same region where the two or more image data overlap each other as the region of interest, and determining whether feature points within the region of interest match.
상기 촬영부가 대상자의 피부를 촬영할 때마다, 자세 추정부가 해당 영상 데이터 촬영 시의 피부 촬영 장치의 위치 및 자세 데이터를 산출하여 기록하고,
상기 영상 정합부는 둘 이상의 영상 데이터를 정합할 시, 상기 두 영상 데이터의 위치 및 자세 데이터로부터 상기 촬영부의 시점과 변위를 도출하여 상기 둘 이상의 영상 데이터가 서로 중첩되는 관심영역을 산출하는 것을 특징으로 하는 피부 촬영 장치.According to claim 2,
Each time the photographing unit photographs the skin of the subject, the posture estimation unit calculates and records position and posture data of the skin imaging device when the corresponding image data is captured,
When matching two or more image data, the image matching unit calculates a region of interest where the two or more image data overlap each other by deriving the viewpoint and displacement of the photographing unit from position and posture data of the two image data. skin imaging device.
상기 영상 정합부는, 관심영역 내에 위치한 적어도 3개 이상의 특징점으로부터 두 개의 가상 시점을 생성하고, 상기 두 개의 가상 시점과 상기 둘 이상의 영상 데이터로부터 도출된 상기 촬영부의 시점을 비교하여 연속 영상 데이터를 보정하는 것을 특징으로 하는 피부 촬영 장치.According to claim 3,
The image matching unit generates two virtual viewpoints from at least three feature points located within the region of interest, compares the two virtual viewpoints with viewpoints of the photographing unit derived from the two or more image data, and corrects continuous image data. Skin photographing device, characterized in that.
상기 피부 촬영 장치는,
상기 헤드에 구비되어 대상자의 피부에 직접 광을 조사할 수 있도록 구비되되, 서로 상이한 파장 대역의 광을 발생시키는 적어도 둘 이상의 조명부;를 더 포함하는 것을 특징으로 하는 피부 촬영 장치.According to claim 1,
The skin imaging device,
The skin imaging device further comprising: at least two lighting units provided on the head to directly irradiate light onto the skin of a subject and generating light of different wavelength bands.
상기 촬영부가 대상자의 피부를 촬영할 때마다, 색상 균형(White Balance) 조건이 동일하도록 상기 조명부가 광을 조사하는 것을 특징으로 하는 피부 촬영 장치.According to claim 5,
The skin photographing device, characterized in that, whenever the photographing unit photographs the subject's skin, the lighting unit emits light so that a color balance condition is the same.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210185465A KR20230095716A (en) | 2021-12-22 | 2021-12-22 | Apparatus of handheld skin-imaging |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210185465A KR20230095716A (en) | 2021-12-22 | 2021-12-22 | Apparatus of handheld skin-imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230095716A true KR20230095716A (en) | 2023-06-29 |
Family
ID=86946395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210185465A KR20230095716A (en) | 2021-12-22 | 2021-12-22 | Apparatus of handheld skin-imaging |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230095716A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140028415A (en) | 2012-08-29 | 2014-03-10 | 한국전자통신연구원 | Apparatus and method for creating 3d face model for skin analysis |
-
2021
- 2021-12-22 KR KR1020210185465A patent/KR20230095716A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140028415A (en) | 2012-08-29 | 2014-03-10 | 한국전자통신연구원 | Apparatus and method for creating 3d face model for skin analysis |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109766876B (en) | Non-contact fingerprint acquisition device and method | |
| WO2017082100A1 (en) | Authentication device and authentication method employing biometric information | |
| JP5061645B2 (en) | Information extraction method, information extraction device, program, registration device, and verification device | |
| US20150347833A1 (en) | Noncontact Biometrics with Small Footprint | |
| JP4692526B2 (en) | Gaze direction estimation apparatus, gaze direction estimation method, and program for causing computer to execute gaze direction estimation method | |
| JP3810782B2 (en) | Personal recognition device | |
| JP4308220B2 (en) | Personal recognition device | |
| US20070110285A1 (en) | Apparatus and methods for detecting the presence of a human eye | |
| JP4465619B2 (en) | Registration device, verification device, image correction method, and program | |
| CN108875485A (en) | A kind of base map input method, apparatus and system | |
| JP5828167B2 (en) | Gaze direction estimation apparatus, gaze direction estimation method, and program for causing computer to execute gaze direction estimation method | |
| JP4936491B2 (en) | Gaze direction estimation apparatus, gaze direction estimation method, and program for causing computer to execute gaze direction estimation method | |
| JP5170094B2 (en) | Spoofing detection system, spoofing detection method, and spoofing detection program | |
| JP6273640B2 (en) | Captured image display device | |
| US20220100268A1 (en) | Eye tracking device and a method thereof | |
| JP7030317B2 (en) | Pupil detection device and pupil detection method | |
| WO2020071008A1 (en) | Biometric authentication system, biometric authentication method, and program | |
| CN111933275A (en) | Depression evaluation system based on eye movement and facial expression | |
| KR102413404B1 (en) | skin condition analyzing and skin disease diagnosis device | |
| US20220148218A1 (en) | System and method for eye tracking | |
| JP3711053B2 (en) | Line-of-sight measurement device and method, line-of-sight measurement program, and recording medium recording the program | |
| KR20230095716A (en) | Apparatus of handheld skin-imaging | |
| KR20160057024A (en) | Markerless 3D Object Tracking Apparatus and Method therefor | |
| Ahmed et al. | Enhanced vision based vein detection system | |
| JP7321951B2 (en) | SKIN ANALYSIS METHOD, SKIN ANALYSIS SYSTEM AND SKIN ANALYSIS PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |