KR102635541B1 - 피부 상태 분석을 위한 시스템 및 방법 - Google Patents
피부 상태 분석을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR102635541B1 KR102635541B1 KR1020207007705A KR20207007705A KR102635541B1 KR 102635541 B1 KR102635541 B1 KR 102635541B1 KR 1020207007705 A KR1020207007705 A KR 1020207007705A KR 20207007705 A KR20207007705 A KR 20207007705A KR 102635541 B1 KR102635541 B1 KR 102635541B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixel
- delete delete
- computing device
- skin condition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004458 analytical method Methods 0.000 title claims description 13
- 239000013598 vector Substances 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 238000005266 casting Methods 0.000 claims description 4
- 229910052799 carbon Inorganic materials 0.000 claims description 3
- 230000004075 alteration Effects 0.000 claims description 2
- 238000012552 review Methods 0.000 abstract description 2
- 210000003491 skin Anatomy 0.000 description 89
- 238000012545 processing Methods 0.000 description 44
- 238000004891 communication Methods 0.000 description 24
- 238000005259 measurement Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 6
- 230000036210 malignancy Effects 0.000 description 6
- 208000000260 Warts Diseases 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 201000010153 skin papilloma Diseases 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 2
- 206010033733 Papule Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000001613 integumentary system Anatomy 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 210000000282 nail Anatomy 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 210000002374 sebum Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 208000003251 Pruritus Diseases 0.000 description 1
- 206010037888 Rash pustular Diseases 0.000 description 1
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 206010040844 Skin exfoliation Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 208000024780 Urticaria Diseases 0.000 description 1
- BPKGOZPBGXJDEP-UHFFFAOYSA-N [C].[Zn] Chemical compound [C].[Zn] BPKGOZPBGXJDEP-UHFFFAOYSA-N 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000035618 desquamation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011847 diagnostic investigation Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007803 itching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000037312 oily skin Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000004789 organ system Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 208000029561 pustule Diseases 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Dermatology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Generation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
다음의 개시내용은 피부 상태를 검출 및 분석하는 시스템 및 방법을 검토한 것이다. 일 실시 예에 의하면, 피부 상태의 2D 이미지 및 2D 이미지에 연관된 한 세트의 3D 포인트 클라우드들은 이미지 캡처 장치를 사용하여 캡처된다. 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들은 컴퓨팅 장치로 송신된다. 컴퓨팅 장치는 상기 한 세트의 3D 포인트 클라우드들에 따라 3D 표면을 생성한다. 차후에, 컴퓨팅 장치는 다른 한 컴퓨팅 장치로부터 상기 3D 표면에 기초한 2D 이미지에 대한 깊이 맵을 수신하고 그럼으로써 상기 깊이 맵은 상기 2D 이미지의 각각의 픽셀에 대한 깊이 데이터를 포함학 한다. 피부 상태는 상기 컴퓨팅 장치를 사용하여 상기 깊이 맵에 기초하여 측정 및 분석될 수 있다.
Description
본 개시내용은 3-차원(3D) 데이터와 관련하여 2-차원(2D) 이미지를 처리하는 것에 관한 것으로, 특히 진단 및 치료를 위한 피부 상태를 분석하기 위한 시스템 및 방법에 관한 것이다.
본 섹션에 기재되어 있는 수법들은 추구될 수 있지만 반드시 이전에 고안 또는 추구되었던 수법들일 필요가 없다. 그러므로, 본원 명세서에서 달리 나타내지 않는 한, 본 섹션에 기재되어 있는 수법은 본원 청구범위에 대한 선행기술이 아니며 본 섹션에 포함됨으로써 선행기술인 것으로 인정되지 않는다.
피부과적 애플리케이션에서, 피부 상태 또는 피부 상태들의 기록 및 진단을위한 가장 일반적인 방법은 (일반적으로 눈금자와 함께 피부 상태를 촬영함으로써) 사진에서 보이는 스케일로 피부 상태를 촬영하는 것이다. 이로 인해 이미지 획득 프로세스가 느리고 흥미롭지 않다. 또한 사진에 단일 측정 참조만 있기 때문에, 표면 불규칙성, 및 카메라 각도 변화로 인해 측정 정확도가 떨어진다.
일부 시스템은 2D 및 3D 이미징 장치를 사용하여 환자의 피부에 대한 완전한 맵을 캡처할 수 있지만, 이러한 장치는 일반적으로 대형이고 값비싸며 측정 옵션이 제한적이다. 이러한 장치는 일반적으로 게슈탈트 지각(gestalt perception)에 크게 의존하며 여전히 임상의 나 피부과 전문의에 의한 세심한 검사를 요구한다.
본원 명세서에 기재되어 있는 실시 예들은 피부 상태를 분석하는 방법을 포함한다. 여기서 이해하여야 할 점은 상기 실시 예들이 프로세스, 기기, 시스템, 장치 또는 방법과 같은 다양한 방식으로 구현될 수 있다는 것이다. 여러 실시 예가 이하에 기재되어 있다.
일 실시 예에서, 피부 상태를 분석하는 방법이 기재되어 있다. 상기 방법은 컴퓨팅 장치를 사용하여 피부 상태의 2-차원(2D) 이미지 및 상기 2D 이미지에 연관된 한 세트의 3-차원(3D) 포인트 클라우드들을 수신하는 동작을 포함할 수 있다. 상기 방법은 상기 컴퓨팅 장치를 사용하여 상기 한 세트의 3D 포인트 클라우드들에 따라 3D 표면을 생성하는 동작을 더 포함할 수 있다. 상기 방법은 또한 상기 컴퓨팅 장치를 사용하여 상기 3D 표면에 기초한 2D 이미지에 대한 깊이 맵을 수신하고 그럼으로써 상기 깊이 맵이 상기 2D 이미지의 각각의 픽셀에 대한 깊이 값을 포함하게 하는 동작을 포함할 수 있다. 상기 방법은 상기 컴퓨팅 장치를 사용하여 상기 2D 이미지 및 상기 깊이 맵에 기초해 상기 피부 상태를 분석하는 동작을 포함할 수 있다. 일 실시 예에서, 상기 한 세트의 3D 포인트 클라우드들의 각각의 3D 포인트 클라우드 내 각각의 3D 포인트는 상기 2D 이미지의 적어도 하나의 픽셀에 상응한다.
일 실시 예에서, 상기 깊이 맵은 제2 컴퓨팅 장치를 사용하여 생성된다. 일 실시 예에서, 상기 방법은 상기 제2 컴퓨팅 장치에 통신 가능하게 연결된 메모리 장치에 상기 깊이 맵을 저장하는 동작을 더 포함할 수 있다. 일 실시 예에서, 상기 깊이 맵은 상기 제2 컴퓨팅 장치를 사용하여 상기 2D 이미지 및 상기 3D 표면에 따라 광선 투사(ray-casting) 알고리즘을 구현함으로써 계산될 수 있다. 대안으로, 상기 깊이 맵은 상기 제2 컴퓨팅 장치를 사용하여 상기 2D 이미지 및 상기 3D 표면에 따라 광선 추적(ray tracing) 알고리즘을 구현함으로써 계산될 수 있다.
일 실시 예에서, 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들은 이미지 캡처 장치를 사용하여 캡처된다. 일 실시 예에서, 상기 방법은 피부 상태를 지니는 환자 주위의 적어도 하나의 축을 따라 상기 이미지 캡처 장치를 회전시켜 한 세트의 2D 이미지들 및 관련된 세트들의 3D 포인트 클라우드들을 캡처하는 동작을 더 포함할 수 있다. 다른 일 실시 예에서, 상기 방법은 상기 이미지 캡처 장치에 통신 가능하게 연결된 메모리 장치에 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들을 저장하는 동작을 포함할 수 있다.
일 실시 예에서, 상기 이미지 캡처 장치는 2-차원(2D) 카메라를 포함할 수 있다. 상기 방법은 상기 컴퓨팅 장치를 사용하여 각각의 픽셀의 깊이 값, 상기 2D 카메라의 수평 시야각, 및 상기 2D 카메라의 수직 시야각에 기초한 2D 이미지의 각각의 픽셀에 대한 한 세트의 픽셀 치수들을 생성하는 동작을 포함할 수 있다. 일 실시 예에서, 상기 2D 카메라는 피부 상태의 컬러 2D 이미지를 캡처할 수 있다. 대안으로, 상기 2D 카메라는 피부 상태의 단색 2D 이미지를 캡처할 수 있다. 일 실시 예에서, 상기 2D 카메라는 적어도 8 메가 픽셀의 해상도를 지닐 수 있다.
일 실시 예에서, 상기 이미지 캡처 장치는 3-차원(3D) 장치를 포함할 수 있다. 일 실시 예에서, 상기 3D 장치는 3D 스캐너일 수 있다. 대안으로, 상기 3D 장치는 상기 3D 카메라가 상기 2D 이미지에 상응하는 한 세트의 3D 포인트 클라우드들을 캡처하게 하는 3D 카메라일 수 있다.
일 실시 예에서, 상기 3D 표면은 보간된 3D 표면 메쉬일 수 있다. 일 실시 예에서, 상기 3D 표면은 피부 상태의 윤곽을 나타낼 수 있다. 일 실시 예에서, 상기 3D 표면은 상기 컴퓨팅 장치를 사용하여 상기 한 세트의 3D 포인트 클라우드들의 적어도 하나의 3D 포인트 클라우드 내 한 세트의 수차(aberration)들을 필터링하여 제거함으로써 생성될 수 있다. 일 실시 예에서, 상기 3D 표면은 상기 컴퓨팅 장치를 사용하여 적어도 하나의 보간 알고리즘을 사용함으로써 생성될 수 있다.
일 실시 예에서, 피부 상태를 분석하는 것은 상기 컴퓨팅 장치를 사용하여 피부 상태의 크기를 측정하는 동작을 더 포함할 수 있다.
일 실시 예에서, 피부 상태를 분석하는 것은 상기 컴퓨팅 장치를 사용하여 피부 상태의 크기 변화를 결정하는 동작을 더 포함할 수 있다.
일 실시 예에서, 피부 상태를 분석하는 것은 상기 제2 컴퓨팅 장치를 사용하여 피부 상태의 크기 변화에 따라 피부 상태를 자동으로 진단하는 동작을 더 포함할 수 있다.
일 실시 예에서, 피부 상태를 분석하기 위한 시스템이 개시된다. 상기 시스템은 피부 상태의 2-차원(2D) 이미지 및 상기 2D 이미지에 연관된 한 세트의 3-차원(3D) 포인트 클라우드들을 캡처하는 이미지 캡처 장치를 포함할 수 있다. 상기 시스템은 상기 이미지 캡처 장치에 통신 가능하게 연결된 컴퓨팅 장치 및 상기 컴퓨팅 장치가 상기 이미지 캡처 장치로부터 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들을 수신할 수 있게 하는 제2 컴퓨팅 장치를 더 포함할 수 있다. 상기 컴퓨팅 장치는 또한 한 세트의 3D 포인트 클라우드들에 따라 3D 표면을 생성할 수 있다. 상기 컴퓨팅 장치는 상기 제2 컴퓨팅 장치로부터 상기 3D 표면에 기초한 2D 이미지에 대한 깊이 맵을 수신하고 그럼으로써 상기 깊이 맵이 상기 2D 이미지의 각각의 픽셀에 대한 깊이 데이터를 포함하게 할 수 있다. 상기 컴퓨팅 장치는 상기 깊이 맵에 기초하여 피부 상태를 분석할 수 있다.
일 실시 예에서, 상기 이미지 캡처 장치는 상기 2D 카메라가 상기 2D 이미지를 캡처하게 하는 2D 카메라를 더 포함할 수 있다. 일 실시 예에서, 상기 이미지 캡처 장치는 상기 3D 장치가 상기 한 세트의 3D 포인트 클라우드들을 캡처하게 하는 3D 장치를 더 포함할 수 있다. 일 실시 예에서, 상기 이미지 캡처 장치는 상기 이미지 캡처 장치에 전력을 공급하게 하는 배터리를 더 포함할 수 있다. 마찬가지로, 상기 이미지 캡처 장치는 또한 적어도 하나의 발광 다이오드를 포함하게 하는 플래시 기기를 포함할 수 있다. 상기 이미지 캡처 장치는 터치스크린 디스플레이를 더 포함할 수 있다.
일 실시 예에서, 상기 시스템은 상기 제2 컴퓨팅 장치 및 상기 컴퓨팅 장치 중 적어도 하나와 통신 가능하게 연결된 적어도 하나의 저장 장치를 포함할 수 있고 그럼으로써 상기 저장 장치가 상기 깊이 맵을 저장하게 할 수 있다. 일 실시 예에서, 적어도 하나의 저장 장치는 내부 하드 드라이브, 외부 하드 드라이브, USB(Universal Serial Bus) 드라이브, 솔리드 스테이트 드라이브, 및 네트워크 연결 저장 장치로 이루어진 그룹 중 적어도 하나를 포함한다.
일 실시 예에서, 상기 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는 마이크로프로세서, 주문형 집적 회로(application specific integrated circuit; ASIC), 필드 프로그램가능 게이트 어레이(field programmable gate array; FPGA), 및 고급 축소 명령어 세트 컴퓨팅 머신(advanced reduced instruction set computing machine; ARM)으로 이루어진 그룹 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 상기 컴퓨팅 장치는 적어도 하나의 네트워크 접속을 통해 상기 이미지 캡처 장치 및 상기 제2 컴퓨팅 장치에 통신 가능하게 연결된다. 일 실시 예에서, 상기 네트워크 접속은 Wi-Fi, 블루투스, 이더넷, 광섬유 접속, 적외선, 근접장 통신 또는 동축 케이블 접속일 수 있다.
일 실시 형태에서, 피부 상태를 자동으로 검출하기 위한 시스템이 개시된다. 상기 시스템은 환자의 한 세트의 2-차원(2D) 이미지들 및 상기 한 세트의 2D 이미지들의 각각의 2D 이미지에 연관된 한 세트의 3-차원(3D) 포인트 클라우드들을 자동으로 캡처하는 이미지 캡처 장치를 포함할 수 있다. 상기 시스템은 또한 상기 이미지 캡처 장치에 통신 가능하게 연결된 컴퓨팅 장치 및 상기 컴퓨팅 장치가 상기 환자의 한 세트의 2D 이미지들 및 각각의 2D 이미지에 대한 한 세트의 3D 포인트 클라우드들을 자동으로 수신하게 하는 제2 컴퓨팅 장치를 포함할 수 있다. 상기 컴퓨팅 장치는 또한 상기 한 세트의 3D 포인트 클라우드들에 기초하여 상기 환자의 3D 표현을 자동으로 생성할 수 있다. 또한, 상기 컴퓨팅 장치는 상기 제2 컴퓨팅 장치로부터 상기 한 세트의 2D 이미지들의 각각의 2D 이미지에 대한 깊이 맵을 자동으로 수신할 수 있고 그럼으로써 상기 깊이 맵이 각각의 2D 이미지의 각각의 픽셀에 대한 깊이 데이터를 포함할 수 있게 한다. 상기 시스템은 상기 상기 컴퓨팅 장치에 통신 가능하게 연결된 저장 장치를 포함할 수 있고 그럼으로써 상기 저장 장치가 깊이 맵을 자동으로 저장하게 한다.
일 실시 예에서, 클라이언트 서버는 상기 깊이 맵 및 상기 2D 이미지에 기초하여 피부 상태의 측정치를 자동으로 생성할 수 있게 하는 분석 모듈을 더 포함할 수 있다. 상기 컴퓨팅 장치는 또한 상기 피부 상태의 측정치를 사전에 저장된 피부 상태의 측정와 비교함에 기초하여 피부 상태의 변화를 자동으로 결정할 수 있다. 상기 컴퓨팅 장치는 피부 상태의 변화에 따라 진단 추천을 자동으로 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 대표적인 시스템을 보여준다.
도 2는 본 발명의 일 실시 예에 따른 대표적인 이미지 캡처 장치를 보여주는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 대표적인 컴퓨터 시스템을 보여주는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 대표적인 방법을 보여주는 도면이다.
도 5a, 5b 및 5c는 본 발명의 일 실시 예에 따른 픽셀 당 깊이 데이터를 생성하기 위한 대표적인 단계들을 평면도로 보여주는 도면들이다.
도 6a, 도 6b, 도 6c, 도 6d, 도 6e 및 도 6f는 본 발명의 일 실시 예에 따른 한 세트의 포인트 클라우드들에서 데이터 노이즈를 필터링하기 위한 대표적인 단계들을 보여주는 도면들이다.
도 7a, 7b 및 7c는 본 발명의 일 실시 예에 따른 2D 이미지의 픽셀의 장치 공간 위치를 생성하기 위한 대표적인 단계들을 보여주는 도면들이다.
도 8a, 8b 및 8c는 본 발명의 일 실시 예에 따른 2D 이미지의 픽셀의 픽셀 치수를 생성하기 위한 대표적인 단계드를 보여주는 도면들이다.
도 9a, 9b 및 9c는 본 발명의 일 실시 예에 따른 2D 이미지의 서브-픽셀 영역들을 측정하기 위한 대표적인 단계들을 보여주는 도면들이다.
도 10은 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 출력 2D 이미지를 보여주는 대표적인 도면이다.
도 2는 본 발명의 일 실시 예에 따른 대표적인 이미지 캡처 장치를 보여주는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 대표적인 컴퓨터 시스템을 보여주는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 대표적인 방법을 보여주는 도면이다.
도 5a, 5b 및 5c는 본 발명의 일 실시 예에 따른 픽셀 당 깊이 데이터를 생성하기 위한 대표적인 단계들을 평면도로 보여주는 도면들이다.
도 6a, 도 6b, 도 6c, 도 6d, 도 6e 및 도 6f는 본 발명의 일 실시 예에 따른 한 세트의 포인트 클라우드들에서 데이터 노이즈를 필터링하기 위한 대표적인 단계들을 보여주는 도면들이다.
도 7a, 7b 및 7c는 본 발명의 일 실시 예에 따른 2D 이미지의 픽셀의 장치 공간 위치를 생성하기 위한 대표적인 단계들을 보여주는 도면들이다.
도 8a, 8b 및 8c는 본 발명의 일 실시 예에 따른 2D 이미지의 픽셀의 픽셀 치수를 생성하기 위한 대표적인 단계드를 보여주는 도면들이다.
도 9a, 9b 및 9c는 본 발명의 일 실시 예에 따른 2D 이미지의 서브-픽셀 영역들을 측정하기 위한 대표적인 단계들을 보여주는 도면들이다.
도 10은 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 출력 2D 이미지를 보여주는 대표적인 도면이다.
본 개시내용의 개념이 다양한 변형 및 대안적인 형태에 영향을 받을 수 있지만, 그의 특정 실시 예들은 도면에 예로 도시되어 있으며 본원 명세서에서 상세하게 기재될 것이다. 그러나 여기서 이해하여야 할 점은 본 개시내용의 개념을 개시된 특정 형태로 제한하려는 의도는 없지만, 이와 반대로 본 개시내용 및 첨부된 청구범위에 부합하는 모든 변형 예, 등가 예 및 대안 예를 포함하는 것이 의도된다는 것이다.
이하의 내용에서는, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 기재된다. 그러나 명백해지겠지만, 본 발명은 이러한 특정 세부사항 없이도 실시될 수 있다. 다른 경우에, 본 발명을 불필요하게 모호하게 하는 것을 회피하기 위해 공지된 구조 및 장치가 블록도 형태로 도시되어 있다.
본 발명의 실시 예들은 집적 회로에 관한 것이다. 상기 집적 회로는 마이크로프로세서, 주문형 집적 회로, 디지털 신호 프로세서, 메모리 회로 또는 다른 집적 회로와 같은 임의의 적합한 유형의 집적 회로일 수 있다. 원하는 경우, 집적 회로는 프로그램가능 로직 회로를 포함하는 프로그램가능 집적회로 일 수 있다. 이하의 내용에서는, "회로 구성요소'와 '회로'라는 용어는 서로 바꿔 사용할 수 있다.
도면에서, 설명의 편의를 위해 장치, 모듈, 명령어 블록 및 데이터 요소를 나타내는 것과 같은 개략적인 요소의 특정 배열 또는 순서가 도시될 수 있다. 그러나, 통상의 기술자가 이해하여야 할 점은 도면에서 개략적인 요소의 특정 순서 또는 배열이 특정 순서 또는 처리 순서, 또는 프로세스의 분리가 필요하다는 것을 의미하는 것이 아니라는 것이다. 또한, 도면에 개략적인 요소를 포함하는 것은 그러한 요소가 모든 실시 예에서 요구되거나 그러한 요소로 표현된 특징이 일부 실시 예에서 다른 요소에 포함되지 않거나 다른 요소와 결합되지 않을 수 있음을 의미하는 것은 아니다.
또한, 도면에서, 실선 또는 점선 또는 화살표와 같은 연결 요소가 2개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 설명하기 위해 사용되는 경우, 이러한 연결 요소가 없음은 어떠한 연결, 관계 또는 연관도 존재할 수 없음을 의미하는 것을 뜻하지 않는다. 다시 말해서, 요소들 간의 일부 연결, 관계 또는 연관은 본 개시내용을 모호하게 하지 않기 위해 도면에 도시되지 않을 수 있다. 또한, 예시의 용이성을 위해, 단일 연결 요소는 요소들 간의 다중 연결, 관계 또는 연관을 나타내는 데 사용될 수 있다. 예를 들어, 연결 요소가 신호, 데이터 또는 명령어의 통신을 나타내는 경우, 통상의 기술자가 이해하여야 할 점은 이러한 요소가 통신에 영향을 미치도록 필요에 따라 하나 또는 다수의 신호 경로(예컨대, 버스)를 나타낼 수 있다는 것이다.
서로 독립적으로 또는 다른 특징들의 임의의 조합과 함께 각각 사용될 수 있는 여러 특징들이 이후에 설명된다. 그러나, 임의의 개별 특징은 위에서 검토한 문제들 중 어느 것도 해결하지 못하거나 위에서 검토한 문제들 중 하나만을 해결할 수 있다. 위에서 검토한 문제들 중 일부는 여기에 기재한 특징들 중 어느 것에 의해서도 완전히 해결되지 않을 수 있다. 표제들이 제공되어 있지만, 특정 표제에 관련된 정보이지만 해당 표제가 있는 섹션에서 찾을 수 없는 정보는 또한 본원 명세서의 다른 곳에서 찾을 수 있다.
이하의 개시내용은 피부 상태를 검출 및 분석하기 위한 시스템 및 방법을 검토한다. 일 실시 예에서, 피부 상태를 분석하는 방법이 기재된다. 피부 상태의 2D 이미지 및 상기 2D 이미지에 연관된 한 세트의 3D 포인트 클라우드들은 이미지 캡처 장치를 사용하여 캡처된다. 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드는 컴퓨팅 장치로 전송된다. 상기 컴퓨팅 장치는 상기 한 세트의 3D 포인트 클라우드들에 따라 3D 표면을 생성한다. 상기 3D 표면은 제2 컴퓨팅 장치로 전송된다. 이어서, 상기 제2 컴퓨팅 장치는 상기 3D 표면에 기초한 2D 이미지에 대한 깊이 맵을 계산하고 그럼으로써 상기 깊이 맵이 상기 2D 이미지의 각각의 픽셀에 대한 깊이 데이터를 포함하게 한다. 피부 상태는 깊이 맵에 기초하여 측정 및 분석될 수 있다.
본원 명세서에서 사용된 "피부 상태" 또는 "피부 특징"은 외피 시스템, 다시 말하면 신체를 둘러싸고 피부, 모발, 손톱, 점막, 및 관련 근육, 지방, 땀샘 및 (땀 및 피지와 같은) 땀샘 활동 및 건성 피부, 지성 피부, 피부 온도와 같은 상태 및 황반, 구진, 결절, 소수포, 물집, 농포와 같은 증상, 농양, 감염, 염증, 두드러기, 표층, 박리, 침식, 궤양, 위축증, 비대, 다형피부증, 태선, 사마귀(흑색 종양 및 피부암 포함), (알레르기 테스트, 진단 또는 시도 등의) 테스트에 대한 반응 또는 상기 의학적 또는 미용적 상태에 연관된 기타 노출을 포함하는 기관계에 영향을 미치는 (알레르기 테스트 또는 노출 반응과 같은) 임의의 의학적 또는 미용적 상태 또는 반응을 언급한다. 인간 외피 시스템의 상태는 많은 비-병리 상태뿐만 아니라 피부병으로 알려진 광범위한 질병을 구성한다. 임상적으로, 어느 특정 피부 상태의 진단은 위치(예컨대, 팔, 머리, 다리), 증상(가려움증, 통증), 지속 기간(급성 또는 만성), 배열(고립, 일반, 고리, 선형), 형태(황반, 구진, 소수포) 및 컬러(적색, 청색, 갈색, 흑색, 백색, 황색)를 포함하여 제시된 피부 병변(들)에 관한 적절한 정보를 수집하여 이루어진다.
이하의 개시내용에서, 용어 "복셀(voxel)", "볼루메트릭 픽셀(volumetric pixel)"및 "3D 픽셀(3D pixel)"은 호환적으로 사용될 수 있다. 본원 명세서에서 사용된 "복셀" 또는 "볼륨 요소"는 3-차원 공간에서 규칙적인 그리드상의 값을 언급한다. 비트맵의 픽셀들과 마찬가지로 복셀 자체는 일반적으로 해당 위치, 즉 복셀들의 값과 함께 명시적으로 인코딩된 좌표를 지니지 않는다. 그 대신에 복셀의 위치는 단일 체적 공간을 구성하는 데이터 구조에서 복셀의 위치인 다른 복셀에 대한 위치에 기초하여 추론된다. 일 실시 예에서, 복셀들은 상이한 모델들, 예를 들어 그리드형 복셀 모델, 스파스(sparse) 복셀 모델 또는 옥트리 복셀 모델에 기초하여 이루어질 수 있다.
도 1은 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 대표적인 시스템을 보여준다. 도 1을 지금부터 참조하면, 컴퓨팅 장치(106)는 이미지 캡처 장치(104)로부터는 환자(102)를 괴롭히는 피부 상태(103)의 2D 이미지들 및 관련 3D 포인트 클라우드들을 그리고 처리 서버(108)로부터는 추가 데이터를 수신한다.
일 실시 예에서, 환자(102)는 예를 들어 암성 사마귀 또는 병변과 같은 피부 상태(103)의 형태로 자신을 나타내는, 예를 들어 흑색종과 같은 피부과적 상태에 시달리는 사람이다. 일 실시 예에서, 환자(102)는 동물, 식물 또는 다른 살아있는 표본일 수 있다. 또 다른 일 실시 예에서, 환자(102)는 마네킹, 사체(인간 또는 다른 것), 또는 테스트 목적으로 사용될 수 있는 임의의 다른 객체일 수 있다. 일 실시 예에서, 피부 상태(103)는 사마귀, 병변, 자상, 찰과상, 종기 또는 환자의 피부, 모발 또는 손톱의 하나 이상의 계층에 영향을 미치는 다른 어떤 상태일 수 있다. 일 실시 예에서, 환자(102)는 플랫폼에 엎드려 있다. 다른 일 실시 예에서, 환자(102)는 플랫폼에 서 있다. 상기 플랫폼은 검사 테이블, 금속 플랫폼, 거니, 침대 또는 다양한 형상 및 크기의 임의의 다른 구조일 수 있고 환자(102)의 중량을 지탱할 수 있는 다른 재료로 만들어질 수 있다. 일 실시 예에서, 상기 플랫폼은 기계식 또는 전동식일 수 있는데, 다시 말하면 상기 플랫폼은 (플랫폼이 놓여 있는 지면 또는 바닥으로부터의) 높이, 배향, (플랫폼이 놓여 있는 지면 또는 바닥에 대한) 경사각을 변경하도록 조정될 수 있다. 전동식 플랫폼은 또한 회전하는 것이 가능할 수 있다.
일 실시 예에서, 이미지 캡처 장치(104)는 환자(102) 주위를 회전하여 피부 상태(103)의 하나 이상의 2D 이미지들 및 관련 3D 포인트 클라우드들을 캡처한다. 일 실시 예에서, 이미지 캡처 장치(104)는 레일들 상에 장착되어 있으며 상기 플랫폼에 부착되어 있는 돌리(dolly)에 연결되며 이미지 캡처 장치(104)는 고정 경로를 따라 환자(102) 주위를 회전한다. 마찬가지로, 이미지 캡처 장치(104)는 환자(102) 주위에 수동으로 회전됨으로써 피부 상태(103)의 2D 이미지들 및 3D 포인트들(103)을 캡처할 수 있다. 일 실시 예에서, 이미지 캡처 장치(104)는 사용자에 의해 제어되는 로봇에 의해 환자(102) 주위에 회전된다. 일 실시 예에서, 상기 로봇은 원격 제어될 수 있다. 다른 일 실시 예에서, 상기 로봇은 한 세트의 2D 이미지들 및 관련 3D 포인트 클라우드들을 캡처할 시간을 줄이기 위해 컴퓨팅 장치(106)에 의해 자동으로 제어 및 조작될 수 있다. 일 실시 예에서, 이미지 캡처 장치(104)는 Wi-Fi, 블루투스, 근접장 통신(Near Field Communication; NFC), 이더넷 케이블, 광섬유 케이블, 또는 데이터를 전송하는 어떤 다른 수단을 통해 컴퓨팅 장치(106)에 통신 가능하게 연결될 수 있다.
일 실시 예에서, 컴퓨팅 장치(106)는 도 3과 관련하여 이하에 기재되는 컴퓨터 시스템(300)과 유사하다. 일 실시 예에서, 컴퓨팅 장치(106)는 제2 컴퓨팅 장치에 통신 가능하게 연결될 수 있다. 상기 제2 컴퓨팅 장치는 일부 계산집약적인 태스크를 수행하고 그 결과를 컴퓨팅 장치(106)에 전송할 수 있다. 일 실시 예에서, 2개의 컴퓨팅 장치는 클라이언트 및 서버 시스템으로서 구성될 수 있고 그럼으로써 상기 컴퓨팅 장치(106)는 클라이언트 장치이게 되고 다른 컴퓨팅 장치는 처리 서버(108)이게 된다. 일 실시 예에서, 처리 서버(108)는 도 3과 관련하여 이하에 기재되는 컴퓨터 시스템(300)과 유사하다. 일 실시 예에서, 처리 서버(108)는 이미지들 및 관련 3D 포인트 클라우드들 또는 3D 표면들 또는 다른 2D 이미지 관련 데이터를 처리하기 위한 클라우드-기반 서버일 수 있다. 일 실시 예에서, 컴퓨팅 장치(106) 및 처리 서버(108)는 본원 명세서에 기재되어 있는 기법들을 구현하는 하나 이상의 전용 컴퓨팅 장치들일 수 있다. 상기 전용 컴퓨팅 장치들은 상기 기법들을 수행하도록 고정 배선될 수도 있고, 상기 기법들을 수행하도록 영구적으로 프로그램되어 있는 하나 이상의 ASIC(application-specific integrated circuits), FPGA(field programmable gate arrays), 또는 다른 프로그램가능 로직 장치(PLD; programmable logic devices)와 같은 디지털 전자 장치를 포함할 수도 있으며, 펌웨어, 메모리, 다른 저장 장치, 또는 조합 내 프로그램 명령어들에 따라 상기 기법들을 수행하도록 프로그램된 하나 이상의 범용 하드웨어 프로세서들을 포함할 수도 있다. 이러한 전용 컴퓨팅 장치는 또한 상기 기법들을 달성하도록 맞춤형 프로그래밍과 맞춤형 고정 배선 로직, ASIC 또는 FPGA를 결합할 수 있다. 상기 전용 컴퓨팅 장치는 상기 기법들을 구현하도록 고정 배선 및/또는 프로그램 로직을 합체하는 데스크톱 컴퓨터 시스템, 휴대용 컴퓨터 시스템, 핸드헬드 장치, 네트워킹 장치 또는 다른 어느 장치일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 대표적인 이미지 캡처 장치를 보여준다. 도 2를 지금부터 참조하면, 이미지 캡처 장치(104)는 3D 장치(206)에 통신 가능하게 연결된 2D 카메라(204)를 합체할 수 있다. 2D 카메라(204) 및 3D 장치(206)는 플래시 기기(210)를 공유할 수 있다. 이미지 캡처 장치(104)는 배터리(212)에 의해 전력을 공급받을 수 있고 시스템-온-칩(208)에 의해 제어나 작동될 수 있다.
일 실시 예에서, 2D 카메라(204)는 고해상 2D 컬러 카메라이다. 일 실시 예에서, 2D 카메라(204)는 디지털 카메라이다. 예를 들어, 2D 카메라(204)는 소형 카메라, 스마트폰 카메라, 미러리스 카메라, 디지털 단일 렌즈 리플렉스 카메라, 전자식 뷰파인더, 교환식 렌즈 카메라 또는 중형 카메라일 수 있다. 일 실시 예에서, 2D 카메라(204)는 800 내지 200메가픽셀의 해상도를 지닐 수 있다. 일 실시 예에서, 2D 카메라(204)는 2개 이상의 렌즈를 지닐 수 있다. 예를 들어, 2D 카메라(204)는 컬러 픽처를 캡처하기 위한 하나의 렌즈 및 단색 픽처를 캡처하기 위한 하나의 렌즈를 지닐 수 있으며, 이러한 픽처들은 그 후 시스템-온-칩(208)에 의해 함께 스티칭(stitching)된다. 다른 일 실시 예에서, 2D 카메라(204)는 아날로그 카메라일 수 있다. 예를 들어, 2D 카메라(204)는 필름 카메라 또는 대형 카메라일 수 있다.
일 실시 예에서, 2D 카메라(204)는 3D 장치(206)에 통신 가능하게 연결된다. 3D 장치(206)는 3D 포인트 클라우드 생성을 위한 적외선 투광을 이용하는 구조화된 피사계 심도 카메라일 수 있다. 3D 장치(206)는 비-접촉식 3D 스캐너일 수 있다. 예를 들어, 3D 장치(206)는 비행시간형 3D 레이저 스캐너, 삼각측량 기반 3D 스캐너, 변조광 방식 3D 스캐너 또는 체적 3D 스캐너일 수 있다.
일 실시 예에서, 2D 카메라(204) 및 3D 장치(206)는 시스템-온-칩(208)에 통신 가능하게 연결된다. 시스템-온-칩(208)은 위에 기재한 바와 같은 하나 이상의 전용 컴퓨팅 장치일 수 있다. 일 실시 예에서, 시스템-온-칩(208)은 마이크로컨트롤러, 마이크로프로세서, 시스템 컨트롤러, 그래픽 프로세서, 메모리, 디지털 신호 프로세서 및 다른 집적 회로 구성요소를 포함할 수 있다. 일 실시 예에서, 시스템-온-칩(208)은 도 3과 관련하여 이하에 기재되는 컴퓨터 시스템(300)과 유사할 수 있다. 일 실시 예에서, 시스템-온-칩(208)은 이미지 캡처 장치(104)에 의해 캡처된 이미지 및 데이터의 실시간 처리를 위해 이용된다. 일 실시 예에서, 시스템-온-칩(208)은 이미지 캡처 장치(104)의 사용자로부터 수신된 피드백을 처리하고 그에 응답하기 위해 운영 환경 및 사용자 인터페이스를 구현한다.
일 실시 예에서, 배터리(212)는 이미지 캡처 장치(104)에 전력을 공급한다. 배터리(212)는 보조 또는 충전식 배터리일 수 있다. 예를 들어, 배터리(212)는 리튬-이온 배터리, 리튬-폴리머 배터리 또는 니켈-카드뮴 배터리이다. 일 실시 예에서, 배터리(212)는 주 또는 비-충전식 배터리이다. 예를 들어, 배터리(212)는 알카라인 배터리 또는 아연 탄소 배터리일 수 있다. 배터리(212)는 사용자가 한 세트의 2D 이미지들 및 한 세트의 3D 포인트 클라우드들을 무선으로 캡처하는 것을 허용한다.
일 실시 예에서, 플래시 기기(210)는 피부 상태(103)를 조명하는데 사용된다. 일 실시 예에서, 플래시 기기(210)는 이미지 캡처 장치(104)상의 시스템-온-칩(208)에 연결된 LED 광 어레이이다. 다른 일 실시 예에서, 플래시 기기(210)는 이미지 캡처 장치(104)에 통신 가능하게 연결되지만 이미지 캡처 장치(104)와는 별개의 것이다. 예를 들어, 플래시 기기(210)는 하나 이상의 플래시 벌브, 전자 플래시 기기, 고속 플래시 장치 또는 에어-갭 플래시 장치를 포함할 수 있다. 일 실시 예에서, 플래시 기기(210)는 또한 3D 포인트 클라우드들의 획득 동안 피부 상태(103)를 조명하기 위해 사용된다. 일 실시 예에서, 이미지 캡처 장치(104)는 또한 사용자 제어, 입력 및 피드백용으로 사용될 수 있는 터치 스크린 디스플레이를 포함할 수 있다. 터치 스크린 디스플레이는 용량성 터치 스크린 또는 저항성 터치 스크린일 수 있다. 일 실시 예에서, 이미지 캡처 장치(104)는 피부 상태(103)에 관련된 2D 이미지들 및 3D 포인트 클라우드들을 저장하기 위한 메모리 저장 장치를 포함한다. 메모리 저장 장치는 플래시 저장 장치 또는 비-휘발성 저장 장치, 예를 들어 SD(secure digital) 카드일 수 있다.
도 3은 본 발명의 일 실시 예가 구현될 수 있는 컴퓨터 시스템(300)을 보여준다. 컴퓨터 시스템(300)은 정보를 통신하기 위한 버스(302) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(302)와 연결되어 있는 하드웨어 프로세서(304)를 포함한다. 하드웨어 프로세서(304)는 예를 들어 범용 마이크로프로세서 일 수 있다.
컴퓨터 시스템(300)은 또한 프로세서(304)에 의해 실행될 정보 및 명령어들을 저장하기 위해 버스(302)에 연결되어 있는 랜덤 액세스 메모리(random access memory; RAM) 또는 다른 동적 저장 장치와 같은 메인 메모리(306)를 포함한다. 메인 메모리(306)는 또한 프로세서(304)에 의해 실행될 명령어들을 실행하는 동안 임시 변수들 또는 다른 매개 정보를 저장을 위해 사용될 수 있다. 그러한 명령어들은, 프로세서(304)에 액세스 가능한 비-일시적 저장 매체에 저장될 때, 컴퓨터 시스템(300)을 상기 명령어들에 지정된 동작들을 수행하도록 맞춤화된 전용 기계로 되게 한다.
컴퓨터 시스템(300)은 정보를 통신하기 위한 버스(302) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(302)와 연결된 하드웨어 프로세서(304)를 포함할 수 있다. 하드웨어 프로세서(304)는 예를 들어 범용 마이크로프로세서일 수 있다.
컴퓨터 시스템(300)은 또한 프로세서(304)에 의해 실행될 정보 및 명령어들을 저장하기 위해 버스(302)에 연결된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 장치와 같은 메인 메모리(306)를 포함한다. 메인 메모리(306)는 또한 프로세서(304)에 의해 실행될 명령어들을 실행하는 동안 임시 변수들 또는 다른 매개 정보를 저장하기 위해 사용될 수 있다. 그러한 명령어들은, 프로세서(304)에 액세스 가능한 비-일시적 저장 매체에 저장될 때, 컴퓨터 시스템(300)을 상기 명령어들에서 지정된 동작들을 실행하도록 맞춤화된 전용 기계로 되게 한다.
컴퓨터 시스템(300)은 프로세서(304)를 위한 정적 정보 및 명령어들을 저장하기 위해 버스(302)에 연결된 판독 전용 메모리(read only memory; ROM)(308) 또는 다른 정적 저장 장치를 더 포함한다. 자기 디스크, 광 디스크 또는 솔리드-스테이트 드라이브와 같은 저장 장치(310)는 정보 및 명령어들을 저장하기 위해 버스(302)에 제공 및 연결된다.
컴퓨터 시스템(300)은 컴퓨터 사용자에게 정보를 디스플레이하기 위해 버스(302)를 통해 음극선관(CRT), 액정 디스플레이(LCD), 플라즈마 디스플레이, 발광 다이오드(LED) 디스플레이, 또는 유기 발광 다이오드와 같은 디스플레이(312)에 연결될 수 있다. 영숫자 및 다른 키들을 포함하는 입력 장치(314)는 정보 및 커맨드 선택들을 프로세서(304)에 통신하기 위해 버스(302)에 연결된다. 다른 유형의 사용자 입력 장치는 방향 정보 및 커맨드 선택들을 프로세서(304)에 통신하고 그리고 디스플레이(312) 상에서의 커서 이동을 제어하기 위한 마우스, 트랙볼, 터치 가능 디스플레이와 같은 커서 제어기(316)이다. 이러한 입력 장치는 상기 장치가 평면 내 위치들을 지정하는 것을 허용하는 2개의 축, 다시 말하면 제1 축(예컨대, x 축) 및 제2 축(예컨대, y 축)에서 2개의 자유도를 지니는 것이 전형적이다.
일 실시 예에 의하면, 본원 명세서에서의 기법들은 프로세서(304)가 메인 메모리(306)에 포함된 하나 이상의 명령어들의 하나 이상의 시퀀스들을 실행함에 응답하여 컴퓨터 시스템(300)에 의해 수행된다. 이러한 명령어들은 저장 장치(310)와 같은 다른 저장 매체로부터 메인 메모리(306)로 부여될 수 있다. 메인 메모리(306)에 포함된 명령어 시퀀스의 실행은 프로세서(304)가 본원 명세서에 기재된 프로세스 단계들을 수행하게 한다. 대안 실시 예들에서, 고정 배선 회로는 소프트웨어 명령어들 대신에나 소프트웨어 명령어들과 함께 사용될 수 있다.
본원 명세서에서 사용되는 용어 "저장 매체"는 기기가 특정 방식으로 동작하게 하는 데이터 및/또는 명령어들을 저장하는 임의의 비-일시적 매체를 언급한다. 이러한 저장 매체는 비-휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비-휘발성 매체는, 예를 들어, 광 디스크, 자기 디스크, 또는 저장 장치(310)와 같은 솔리드 스테이트 드라이브를 포함한다. 휘발성 매체는 메인 메모리(306)와 같은 동적 메모리를 포함한다. 일반적인 형태의 저장 매체에는 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 솔리드 스테이트 드라이브, 자기 테이프 또는 기타 자기 데이터 저장 매체, CD-ROM, 기타 광학 데이터 저장 매체, 홀 패턴들이 있는 임의의 물리적 매체, RAM, PROM 및 EPROM, FLASH-EPROM, NV-RAM 또는 기타 메모리 칩 또는 카트리지가 포함된다.
저장 매체는 전송 매체와는 별개의 것이지만 전송 매체와 함께 사용될 수 있다. 전송 매체는 저장 매체 간 정보 전송에 참여한다. 예를 들어, 전송 매체는 버스(302)를 포함하는 와이어를 포함하여 동축 케이블, 구리 와이어 및 광섬유를 포함한다. 전송 매체는 또한 라디오파 및 적외선 데이터 통신 동안 생성된 것과 같은 음향 또는 광파의 형태를 취할 수 있다.
다양한 형태의 매체가 하나 이상의 명령어들의 하나 이상의 시퀀스들을 실행을 위해 프로세서(304)에 반송(搬送)하는 데 관여할 수 있다. 예를 들어, 상기 명령어들은 초기에 원격 컴퓨터의 자기 디스크 또는 솔리드 스테이트 드라이브 상에 담겨져 있을 수 있다. 원격 컴퓨터는 상기 명령어들을 그의 동적 메모리 내에 로드하고 모뎀을 사용하여 전화선을 통해 상기 명령어들을 송신할 수 있다. 컴퓨터 시스템(300) 내부에 있는 모뎀은 전화선을 통해 데이터를 수신하고 적외선 송신기를 사용하여 상기 데이터를 적외선 신호로 변환할 수 있다. 적외선 검출기는 적외선 신호 내 반송되는 데이터를 수신할 수 있고 적절한 회로는 버스(302)에 상기 데이터를 배치할 수 있다. 버스(302)는 데이터를 메인 메모리(306)로 반송하고, 이로부터 프로세서(304)는 상기 명령어들을 회수하여 실행한다. 메인 메모리(306)에 의해 수신된 명령어들은 프로세서(304)에 의한 실행 전 또는 후에 저장 장치(310) 상에 선택적으로 저장될 수 있다.
컴퓨터 시스템(300)은 또한 버스(302)에 연결된 통신 인터페이스(318)를 포함한다. 통신 인터페이스(318)는 로컬 네트워크(322)에 연결된 네트워크 링크(320)에 양방향 데이터 통신 커플링을 제공한다. 예를 들어, 통신 인터페이스(318)는 통합 서비스 디지털 네트워크(integrated services digital network; ISDN) 카드, 케이블 모뎀, 위성 모뎀 또는 대응하는 유형의 전화선에 데이터 통신 연결을 제공하기 위한 모뎀일 수 있다. 다른 일 예로서, 통신 인터페이스(318)는 호환 LAN에 데이터 통신 연결을 제공하기 위한 근거리 통신 네트워크(local area network; LAN) 카드일 수 있다. 무선 링크도 구현될 수 있다. 그러한 구현 예에서, 통신 인터페이스(318)는 다양한 유형의 정보를 나타내는 디지털 데이터 스트림들을 반송하는 전기, 전자기 또는 광 신호들을 송수신한다. 예를 들어, 무선 링크들은 다른 것들 중에서 WiFi, 블루투스, 적외선 및 근접장 통신(NFC)과 같은 네트워킹 기술들의 사용을 통해 구현될 수 있다.
네트워크 링크(320)는 전형적으로 하나 이상의 네트워크를 통해 다른 데이터 장치에 데이터 통신을 제공한다. 예를 들어, 네트워크 링크(320)는 로컬 네트워크(322)를 통해 호스트 컴퓨터(324) 또는 인터넷 서비스 제공자(Internet Service Provider; ISP)(326)에 의해 동작되는 데이터 장비에의 연결을 제공할 수 있다. ISP(326)는 다시 "인터넷"(328)으로 현재 일반적으로 언급되는 월드 와이드 패킷 데이터 통신 네트워크를 통해 데이터 통신 서비스를 제공한다. 로컬 네트워크(322) 및 인터넷(328)은 모두 디지털 데이터 스트림을 반송하는 전기, 전자기 또는 광 신호들을 사용한다. 다양한 네트워크를 통한 신호 및 네트워크 링크(320) 상에 걸리고 컴퓨터 인터페이스(318)를 통한 신호는 디지털 데이터를 컴퓨터 시스템(300)를 전후로 반송하며, 전송 매체의 대표적인 형태들이다.
컴퓨터 시스템(300)은 네트워크(들), 네트워크 링크(320) 및 통신 인터페이스(318)를 통해 메시지를 송신하고 프로그램 코드를 포함하는 데이터를 수신할 수 있다. 인터넷의 예에서, 서버(330)는 인터넷(328), ISP(326), 로컬 네트워크(322) 및 통신 인터페이스(318)를 통해 애플리케이션 프로그램에 대해 요청된 코드를 전송할 수 있을 것이다.
프로세서(304)는 수신된 코드를 실행할 수 있는데, 그 이유는 수신된 코드가 저장 장치(310), 또는 차후 실행을 위한 다른 비-휘발성 저장 장치에 수신 및/또는 저장되기 때문이다.
도 4는 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 대표적인 방법을 보여준다. 명확한 예들을 보여주기 위해, 도 4는 도 1, 도 2, 및 도 3과 관련하여 검토될 것이다.
도 4를 지금부터 참조하면, 블록 402에서, 컴퓨팅 장치(106)는 피부 상태(103)의 2D 이미지 및 상기 2D 이미지에 연관된 한 세트의 3D 포인트 클라우드들을 수신한다. 일 실시 예에서, 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들은 이미지 캡처 장치(104)에 의해 캡처된다. 일 실시 예에서, 상기 한 세트의 3D 포인트 클라우드들의 각각의 3D 포인트 클라우드 내 각각의 3D 포인트는 상기 2D 이미지의 적어도 하나의 픽셀에 대응한다. 일 실시 예에서, 캡처가 이미지 캡처 장치(104)에 의해 트리거될 때, 2D 카메라는 2D 컬러 이미지를 캡처하고 시스템-온-칩(208)을 사용하여 이미지 캡처 장치(104) 상에 2D 컬러 이미지를 저장한다.
일 실시 예에서, 3D 장치(206)는 캡처 이벤트 동안 다수의 3D 포인트 클라우드를 캡처하고 이를 이미지 캡처 장치(104) 상에 저장한다. 이상적으로, 각각의 포인트 클라우드는 대응하는 2D 이미지에 픽셀들이 있는 만큼의 포인트로 구성될 수 있다. 그러나 실제로는 센서 해상도 제한, 프로젝터 해상도 제한 및 광학으로 인한 깊이 이미징 방법의 한계로 인해 특정 픽셀에 상응하는 포인트들만이 캡처된다. 일 실시 예에서, 3D 장치(206)는 다수의 포인트 클라우드에서의 차이들을 비교함으로써 데이터 내 노이즈를 제거하기 위해 각각의 개별 캡처 이벤트에 대한 다수의 포인트 클라우드를 획득한다. 일 실시 예에서, 3D 장치(206)의 동작 주파수는 시스템-온-칩(208)에 의해 결정된다. 예를 들어, 3D 장치(206)는 60Hz의 공칭 주파수에서 동작하여 노이즈 필터링을 위해 충분한 데이터를 여전히 제공하면서 데이터 획득 프로세스 동안 이미지 캡처 장치(104)의 이동에 의해 야기되는 잠재적인 오정렬(potential misalignment)을 최소화하기 위해 최소 시간 간격으로 다수의 포인트 클라우드를 캡처할 수 있다.
일 실시 예에서, 상기 이미지 캡처 장치(104)는 한 세트의 2D 이미지들 및 한 세트의 3D 포인트 클라우드들을 컴퓨팅 장치(106)에 송신한다. 일 실시 예에서, 상기 2D 이미지들 및 3D 포인트 클라우드들은 고속 유선 또는 무선 네트워크 연결, 예를 들어 Wi-Fi, 이더넷 또는 광섬유 연결을 통해 송신된다. 일 실시 예에서, 이미지 캡처 장치(104)는 한 세트의 2D 이미지들 및 한 세트의 3D 포인트 클라우드들을 암호화하고, 암호화된 한 세트의 2D 이미지들 및 한 세트의 3D 포인트 클라우드들을 보안 통신 채널을 통해 컴퓨팅 장치(106)에 전송한다. 예를 들어, 이미지 캡처 장치(104)는 암호화 해시 함수를 사용하여 상기 한 세트의 2D 이미지들 및 상기 한 세트의 3D 포인트 클라우드들을 암호화할 수 있다. 일 실시 예에서, 이미지 캡처 장치(104)는 상기 한 세트의 2D 이미지들 및 상기 한 세트의 3D 포인트 클라우드들을 컴퓨팅 장치(106)에 송신하기 전에 이들을 압축할 수 있다. 상기 압축된 한 세트의 2D 이미지들 및 한 세트의 3D 포인트 클라우드들은 리소스들, 예를 들어 시간, 대역폭 및 처리를 감소시켜 데이터를 컴퓨팅 장치(106)에 송신할 수 있다. 이미지 캡처 장치(104)는 손실 또는 무손실 데이터 압축 기법들 및 압축 표준들, 예를 들어 MPEG(Moving Picture Experts Group) 1,2,4 또는 HEVC(High Efficiency Video Coding) H.261, H.262, H.264, H.265, JPEG(Joint Photographic Expert Group) PNG(Portable Network Graphics), MNG(Multiple-Image Network Graphics) 또는 TIFF(Tagged Image File Formats)를 사용할 수 있다.
단계 404에서, 컴퓨팅 장치(106)는 상기 한 세트의 3D 포인트 클라우드들로부터 3D 표면을 생성한다. 일 실시 예에서, 컴퓨팅 장치(106)는 3D 표면의 생성 전에 3D 포인트 클라우드 필터링을 수행한다. 상기 포인트 클라우드 필터링 프로세스는 도 6a - 도 6f를 참조하여 이하에서 더 검토된다. 일 실시 예에서, 상기 3D 표면은 필터링된 3D 포인트 클라우드 데이터로부터 도출된 공통 에지들 또는 모서리들에 의해 연결되는 한 세트의 삼각형들을 포함하는 고해상도 삼각측량 3D 메쉬이다. 일 실시 예에서, 3D 표면은 보간된 3D 메쉬이다.
단계 406에서, 컴퓨팅 장치(106)는 상기 3D 표면에 기초하여 상기 2D 이미지에 대한 깊이 맵을 수신하고 그럼으로써 상기 깊이 맵이 상기 2D 이미지의 각각의 픽셀에 대한 깊이 데이터를 포함하게 한다. 일 실시 예에서, 컴퓨팅 장치(106)는 깊이 맵을 생성한다. 일 실시 예에서, 단계 404에서 생성된 보간된 3D 메쉬는 그 후 상기 2D 이미지의 각각의 픽셀에 대해 픽셀 당 깊이 데이터를 생성하기 위해 광선 투사(ray-casting)에 사용된다. 본원 명세서에서 사용된 "광선 투사"는 광선 추적(ray tracing)의 기하학적 알고리즘을 사용하는 컴퓨터 그래픽 알고리즘을 언급한다. 광선 투사의 개념은 카메라로부터 광선을 픽셀 당 하나씩 추적하고 그 광선의 경로를 차단하는 가장 가까운 표면을 찾아내는 것이다. 일 실시 예에서, 픽셀 당 깊이 데이터는 또한 이미지 캡처 장치(104) 또는 2D 카메라(204)의 해상도 및 알려진 카메라 속성들을 설명한다. 다른 일 실시 예에서, 컴퓨팅 장치(106)는 깊이 맵 생성을 처리 서버(108)에 오프로드하고 도 3과 관련하여 위에 기재한 통신 인터페이스(318) 및 네트워크 링크(320)를 통해 처리 서버(108)로부터 깊이 맵을 수신한다. 일 실시 예에서, 단계 404에서 생성된 3D 표면은 처리 서버(108)에 송신된다. 처리 서버(108)는 그 후 광선 투사 알고리즘을 구현하여 상기 2D 이미지의 각각의 픽셀에 대해 픽셀 당 깊이 데이터를 생성한다. 상기 픽셀 당 데이터는 그 후 컴퓨팅 장치(106)에 송신된다. 일 실시 예에서, 처리 서버(108)는 각각의 캡처 이벤트 동안 캡처된 각각의 2D 이미지에 대해 픽셀 당 깊이 데이터를 생성한다.
단계 408에서, 피부 상태(103)는 상기 깊이 맵에 기초하여 컴퓨팅 장치(106)에 의해 분석된다. 다른 일 실시 예에서, 피부 상태(103)는 또한 처리 서버(108)에 의해 분석될 수 있다. 일 실시 예에서, 피부 상태(103)의 현재 측정치들은 진단 목적을 위해 컴퓨팅 장치(106) 또는 처리 서버(108)에 의해 저장된 피부 상태(103)의 이전 측정치들과 비교될 수 있다. 예를 들어, 피부 상태(103)가 이전에 직경 2센티미터인 것으로 측정되고 현재 직경 4센티미터인 것으로 측정된 병변일 경우, 임상의는 환자(102) 상에 존재하는 피부 상태(103)가 퍼지고 추가 진단 조사가 필요할 수 있다고 의심할 수 있다. 일 실시 예에서, 컴퓨팅 장치(106) 또는 처리 서버(108)는 현재와 이전에 저장된 피부 상태(103)의 측정치들의 비교에 기초한 제안들을 자동으로 생성한다. 일 실시 예에서, 컴퓨팅 장치(106) 또는 처리 서버는 도 3과 관련하여 위에 기재된 저장 장치(310)와 유사한 저장 장치들에 상기 깊이 맵을 저장할 수 있다.
일 실시 예에서, 처리 서버(108)는 각각의 캡처 이벤트에 대해 각각의 2D 이미지용으로 생성된 3D 표면을 결합하여 환자(102)의 신체 일부를 묘사하는 3D 표면을 생성할 수 있다. 일 실시 예에서, 처리 서버(108)는 특정 피부 상태를 자동 검출하도록 교정될 수 있다. 예를 들어, 처리 서버(108)는 5mm보다 큰 크기의 사마귀들을 자동 검출하고, 이미지 분석을 위한 클린 플레이트(clean plate)를 제공하는 카메라 및 표면 각도에 기초하여 검출된 사마귀를 포함하는 2D 이미지의 이미지 영역을 보정할 수 있다.
일 실시 예에서, 처리 서버(108)는 사전에 프로그램된 기준에 기초하여 각각의 피부 상태에 대한 악성 점수(malignancy score)를 생성할 수 있다. 예를 들어, 사전에 프로그램된 기준 중의 일부는 특정 축에 대한 비대칭성, 피부 상태(103)의 불규칙한 성장, 수, 다양성, 및 색 변화를 나타낼 수 있는 피부 상태(103)의 경계, 피부 상태(103)의 직경, 피부 표면 위의 피부 상태(103)의 높이, 및 시간 경과에 따른 피부 상태(103)의 진화를 포함할 수 있다. 통상의 기술자는 피부 상태 및 악성 지표에 관한 진화하는 의학적 이해에 기초하여 사전에 프로그램된 기준의 리스트가 확장되거나 추가로 정의될 수 있음을 이해할 것이다.
일 실시 예에서, 처리 서버(108)는 다양한 피부 상태에 대한 악성 점수에 기초하여 환자(102)에 대한 조합된 악성 점수를 생성한다. 일 실시 예에서, 다양한 악성 점수 및 조합된 악성 점수는 임상의에 의한 추가 분석을 위해 상기 처리 서버(108)에 의해 컴퓨팅 장치(106)에 전송된다. 일 실시 예에서, 처리 서버(108)는 현재의 다양한 악성 점수 및 조합된 악성 점수를 사전에 저장된 다양한 악성 점수 및 조합된 악성 점수와 비교한다.
도 5a, 도 5b 및 도 5c는 본 발명의 일 실시 예에 따른 픽셀 당 깊이 데이터를 생성하기 위한 대표적인 단계들의 평면도들이다. 명확한 예들을 보여주기 위해,도 5a, 도 5b 및 도 5c는 도 1 - 도 4와 관련하여 검토될 것이다.
도 5a를 지금부터 참조하면, 일 실시 예에서, 이미지 캡처 장치(104)는 피부 상태(103)로 시달리는 환자(102)의 2D 이미지와 아울러 관련 3D 포인트 클라우드를갭처 및 저장한다. 일 실시 예에서, 상기 2D 이미지는 2D 픽셀(504)로 구성되고 3D 포인트 클라우드가 3D 포인트들(502)로 구성된다. 일 실시 예에서, 이미지 캡처 장치(104)는 차후 단계에서의 처리를 위해 컴퓨팅 장치(106)에 넘겨 주기 전에 상기 2D 이미지에 연관된 한 세트의 3D 포인트 클라우드들을 저장한다.
도 5b를 지금부터 참조하면, 일 실시 예에서, 컴퓨팅 장치(106)는 상기 3D 포인트 클라우드의 3D 포인트들(502)을 이용하여 3D 표면(506)을 생성한다. 일 실시 예에서, 3D 표면(506)은 환자(102)의 보간된 3D 표면 메쉬이다. 일 실시 예에서, 도 6a, 도 6b, 도 6c, 도 6d 및 도 6e를 통해 이하에 기재되는 바와 같이 3D 표면(506)을 생성하기 전에 컴퓨팅 장치(106)는 3D 포인트들(502)로 구성된 한 세트의 포인트 클라우드들을 필터링한다. 일 실시 예에서, 컴퓨팅 장치(106)는 다양한 보간 기법을 이용하여 환자(102)의 표면 형상에 상응하는 매끄러운 표면 형상을 생성한다.
예를 들어, 컴퓨팅 장치(106)는 스플라인(spline) 방법을 이용해 최소 곡률 표면을 상기 3D 포인트들(502)에 피팅(fitting)하여 그리드 셀 값들을 추정함으로써 3D 표면(506)을 보간할 수 있다. 마찬가지로, 3D 표면을 보간하기 위한 역거리 가중(Inverse Distance Weighted; IDW) 방법은 인접한 3D 포인트들(592)의 값들을 평균화함으로써 셀 값들을 추정한다. 3D 포인트가 추정되는 셀의 중심에 가까울수록 3D 포인트의 가중치가 더 커진다. 컴퓨팅 장치(106)에 의해 이용될 수 있는 다른 한 보간 기법은 자연 이웃 화소값 사용(natural neighbor) 기법이다. 이러한 기법은 이웃하는 3D 포인트들의 가중 평균을 사용하여 상기 3D 포인트 클라우드에서 최소값 또는 최대값을 초과하지 않는 3D 표면(506)을 생성한다. 또 다른 한 보간 기법은 크리깅(kriging) 기법이다. 크리깅 기법은 주변 측정치들로부터 가중치들을 형성하여 측정되지 않은 위치들의 값을 예측하는 것을 포함한다. 통상의 기술자라면 이해하겠지만 개시된 발명이 3D 표면(506)을 보간하기 위한 광범위한 기법과 함께 구현될 수 있다.
도 5c를 지금부터 참조하면, 일 실시 예에서, 컴퓨팅 장치(106)는 이미지 캡처 장치(104)의 관점에서 관측된 바와 같이 2D 이미지의 픽셀들(504) 각각에 상응하는 3D 표면(506) 상에서의 포인트들의 거리를 계산한다. 일 실시 예에서, 컴퓨팅 장치(106)는 3D 표면(506)을 처리 서버(108)에 전송하고 처리 서버(108)는 다양한 기법을 이용하여 이미지 캡처 장치의 관점에서 관측된 바와 같이 2D 이미지의 픽셀들(504) 각각에 상응하는 3D 표면(506) 상에서의 포인트들의 거리를 계산한다. 일 실시 예에서, 컴퓨팅 장치(106) 또는 처리 서버(108)는 광선 투사 기법들을 이용하여 픽셀들(502)에 대한 거리를 계산한다.
일 실시 예에서, 컴퓨팅 장치(106)는 2D 이미지의 각각의 픽셀에 대한 광선을 추적하고 그럼으로써 광선이 시뮬레이션된 이미지 캡처 장치로부터 발생하여 픽셀을 통과하게 한다. 그 후, 광선은 3D 표면(506)과 교차하여 픽셀에 대한 깊이 측정치를 산출할 수 있다. 일 실시 예에서, 컴퓨팅 장치(106)는 광선 추적 알고리즘을 이용하여 2D 이미지의 각각의 픽셀에 대한 깊이 데이터를 생성한다. 통상의 기술자라면 이해하겠지만 위에 기재한 깊이 데이터를 계산하는 방법이 제한적이지 않다. 다른 표면 교차 및 거리 측정 기법들이 사용될 수 있다. 일 실시 예에서, 광선 투사 기법들의 적용으로 컴퓨팅 장치(106)에 의해 생성된 픽셀 당 깊이 데이터는 데이터 구조에 저장될 수 있다. 예를 들어, 데이터 구조는 어레이 또는 리스트일 수 있다. 통상의 기술자라면 이해하겠지만 픽셀 당 깊이 데이터가 실제 거리 값에 상응한다. 실제 거리 값들이 측정 단위(예를 들어, 미터 또는 인치)에 기초하여 이루어지고 그래서 0.63728 값은 0.63728 미터 또는 63.728cm에 상응하게 된다. 실제 거리 값들은 추가 디코딩 또는 보간이 필요하지 않다. 일 실시 예에서, 픽셀 당 깊이 데이터는 피부 상태의 추가 측정, 검출 및 분석을 위해 컴퓨팅 장치(106) 또는 처리 서버(108)에 의해 사용될 수 있다.
도 6a, 도 6b, 도 6c, 도 6d, 도 6e 및 도 6f는 본 발명의 일 실시 예에 따른 한 세트의 포인트 클라우드들에서 데이터 노이즈를 필터링하는 대표적인 방법을 보여준다. 명확한 예들을 공식화하기 위해, 도 6a, 도 6b, 도 6c, 도 6d, 도 6e 및도 6f는 도 1 - 도 5를 참조하여 검토될 것이다.
도 6a, 6b 및 6c는 이미지 캡처 장치(104)의 3D 장치(206)에 의해 캡처될 수 있는 입력 세트의 3D 포인트 클라우드들(602)을 보여준다. 일 실시 예에서, 상기 세트의 클라우드들의 각각의 포인트 클라우드는 하나의 캡처 이벤트 및 2D 카메라(204)에 의해 캡처된 2D 이미지의 하나 이상의 픽셀들에 관련된다.
일 실시 예에서, 입력 세트의 3D 포인트 클라우드들(602)은 그 후 도 5a - 도 5c와 관련하여 위에 기재된 바와 같이 자연 화소값 사용 기법과 유사한 복셀 기반 이웃 화소값 검사 및 IDW와 유사한 평균 포인트 위치를 이용하는 잡음 제거 메커니즘을 받는다.
도 6d를 지금부터 참조하면, 일 실시 예에서, 컴퓨팅 장치(106)는 입력 세트의 포인트 클라우드들(602)을 조합하여 합성 3D 포인트 클라우드(604)를 생성한다. 일 실시 예에서, 합성 3D 포인트 클라우드(604)는 상기 입력 세트의 포인트 클라우드들(602)의 경계들을 가로지르는 복셀-기반 클라우드 분할을 사용하여 입력 세트의 포인트 클라우드들(602)의 영역들 간의 변동을 비교함에 기초하여 생성된다.
도 6e 및 6f를 지금부터 참조하면, 일 실시 예에서, 컴퓨팅 장치(106)는 복셀 이웃 화소값 포지셔닝(voxel-neighbor positioning)(606) 기법을 이용하여 필터링된 3D 포인트 클라우드(608)를 생성한다. 예를 들어, 각각의 복셀에 대해, 상기 복셀 내 포인트들이 유효한 것으로 결정되고 그 위치들의 평균이 이 영역에 대해 사용되기 전에 최소 개수의 포인트 클라우드들로부터 한 포인트가 있어야 한다. 이는 데이터 노이즈로 간주 될 수 있는 3D 포인트들을 제거하는데, 그 이유는 노이즈가 일반적으로 개별 클라우드들에만 존재하고 상기 입력 세트의 포인트 클라우드들(602) 내 모든 포인트 클라우드들을 가로 질러 지속될 가능성이 확률적으로 거의 없기 때문이다. 일 실시 예에서, 컴퓨팅 장치(106)는 필터링된 3D 포인트 클라우드(608)에 대한 추가 필터링을 수행하여 특이한 세그먼트들을 제거하고, 멀티-플레임 노이즈 제거에서 제거되지 않은 작은 노이즈를 유연하게 하며 그리고 삼각 측량에 더 적합한 방식으로 3D 포인트 데이터를 구성할 수 있다. 예를 들어, 추가 필터링을 수행하는 일부 기법들은 평면 맞춤 포인트 정규 추정, 단순화, 및 양방향 필터링을 포함할 수 있다.
도 7a, 도 7b 및 도 7c는 본 발명의 일 실시 예에 따른 2D 이미지의 픽셀의 장치 공간 위치를 생성하기 위한 대표적인 단계들을 보여준다. 명확한 예들을 보여주기 위해, 도 7a - 도 7c는 도 1 - 도 4와 관련하여 검토될 것이다. 본원 명세서에서 사용된 "장치 공간(device-space)"은 장치가 원점(0, 0, 0)에서의 위치 및 방위를 지니도록 장치에 대한 좌표계에서의 3D 위치를 언급한다. 예를 들어, 도 7a - 도 7c에 대해 이미지 캡처 장치(104)는 원점에 있다.
도 7a 내지 도 7c를 지금부터 참조하면, 일 실시 예에서, 도 4와 관련하여 기재된 바와 같이 단계(406)에서 컴퓨팅 장치(106) 또는 처리 서버(108)에 의해 생성된 픽셀 당 깊이 데이터 또는 깊이 맵은 컴퓨터 장치(106) 또는 처리 서버(108)에 의해 상기 2D 이미지 내 주어진 픽셀의 치수들을 계산하는 데 이용될 수 있다. 피부 상태(103)를 캡처하는 픽셀들의 픽셀 치수는 피부 상태(103)를 분석하는데 유용할 수 있다.
일 실시 예에서, 주어진 픽셀의 치수는 주어진 픽셀 및 4개의 이웃 픽셀의 깊이 값에 따라 계산될 수 있다. 일 실시 예에서, 4개의 이웃 픽셀의 깊이 값은 픽셀의 4개의 모서리의 실제 또는 실세계 위치를 확립하는 데 도움을 준다. 예를 들어, 도 7a를 참조하면, 픽셀(p)의 치수는 4개의 이웃 픽셀(p 1 N, p 2 N, p 3 N, p 4 N)의 깊이 값에 기초하여 계산될 수 있다.
픽셀들(p ,p 1 N, p 2 N, p 3 N, p 4 N)의 장치 공간 위치를 계산하기 위해, 먼저 상기 픽셀들에 2-차원 좌표들을 할당한다. 예를 들어, 도 7b를 참조하면, 픽셀들(p ,p 1 N, p 2 N, p 3 N, p 4 N)에는 각각 좌표들 (1, 1),(0, 2),(2, 2),(0, 0) 및 (2, 0) 이 할당된다. 다른 실시 예들은 다른 좌표들을 사용할 수 있다. 2D 이미지 내 모든 픽셀들에 동일한 좌표 체계가 사용되는 한 어느 임의의 좌표들이 사용될 수 있다.
도 7c를 참조하면, 일 실시 예에서, 주어진 픽셀(p)의 치수를 계산하는 방법은 2D 카메라(204)의 알려진 수평 시야(Θ H) 및 수직 시야(Θ V)를 추가로 이용하여 3-차원으로 각각의 픽셀의 카메라 공간 위치를 계산할 수 있다. 일 실시 예에서, 컴퓨팅 장치(106) 또는 처리 서버(108)는 위 매개변수들에 기초하여 픽셀들(p ,p 1 N, p 2 N, p 3 N, p 4 N)의 장치 공간 위치를 결정한다. 일 실시 예에서, 픽셀들(p ,p 1 N, p 2 N, p 3 N, p 4 N)의 장치 공간 위치는 하기 수학식에 따라 계산된다:
상기 수학식에서, D는 주어진 픽셀의 깊이를 나타내고, C는 도 7b를 참조하여 위에서 검토한 바와 같은 픽셀의 좌표들을 나타내며, Ch 및 Cv 는 각각 수평 및 수직 좌표 값을 나타내고 R은 전체 이미지의 해상도를 나타내며, Rh 및 Rv 는 각각 수평 및 수직 해상도를 나타낸다. Θ H 및 Θ V 는 수평 및 수직 2D 카메라(204) 시야각을 나타낸다. 픽셀들(p ,p 1 N, p 2 N, p 3 N, p 4 N)에 대해 컴퓨팅 장치(106)에 의해 결과적으로 계산된 장치 공간 위치들은 원하는 영역 또는 경로 측정치에 기초하여 픽셀(p)에 대한 추가 측정이 이루어질 수 있게 한다. 통상의 기술자라면 이해하겠지만 픽셀 당 평가를 이용하면 윤곽 및 카메라 또는 장치 각도에 관계없이 정확한 표면 특징 측정이 가능하다. 또한, 다수의 픽셀을 포함하는 영역의 치수, 예를 들어 피부 상태(103)의 치수를 계산할 때, 측정되는 영역의 결과를 나타내는 각각의 픽셀의 결과의 합과 함께 모든 관련 픽셀에 걸쳐 동일한 프로세스가 사용된다.
도 8a, 8b 및 8c는 본 발명의 일 실시 예에 따른 2D 이미지 픽셀의 픽셀 치수를 생성하기 위한 대표적인 단계들을 보여준다. 명확한 예들을 보여주기 위해, 도 8a - 도 8c는 도 7a - 도 7c와 관련하여 검토될 것이다.
도 8a - 도 8c를 지금부터 참조하면, 일 실시 예에서, 컴퓨팅 장치(106) 또는 처리 서버(108)는 도 7a - 도 7c에서 주어진 픽셀 및 그 이웃 픽셀들의 사전에 결정된 장치 공간 위치에 기초하여 주어진 픽셀의 픽셀 치수를 계산한다. 위의 예를 계속하면, 픽셀들(p ,p 1 N, p 2 N, p 3 N, p 4 N)의 카메라 공간 위치를 결정한 후에, 컴퓨팅 장치(106) 또는 처리 서버(108)는 벡터 감산을 사용하여 픽셀 공간 모서리 벡터들을 생성할 수 있다. 본원 명세서에서 사용되는 "픽셀 공간"은 참조 픽셀의 3D 위치가 원점(0, 0, 0)에 있도록 참조 픽셀의 대응하는 3D 위치에 대한 3D 위치를 언급한다.
또한, "모서리 벡터(corner vector)"는 픽셀 공간에서 주어진 픽셀의 각각의 모서리의 3D 위치를 언급한다. 도 8a를 참조하면, 및 은 각각 픽셀들(p, )에 대한 위치 벡터들을 언급한다. 도 8b를 참조하면, 는 주어진 픽셀(p)에 대한 모서리 벡터를 언급한다. 모서리 벡터들은 이하의 수학식에 따라 계산된다:
따라서 및 일 경우:
.
도 8c를 지금부터 참조하면, 일 실시 예에서, 컴퓨팅 장치(106) 또는 처리 서버(108)는 상기 모서리 벡터를 이용하여 픽셀의 수평 및 수직 치수를 계산한다. 일 실시 예에서, 상기 치수들은 하기 수학식에 따라 계산된다:
상기 모서리 벡터는 수평 및 수직 치수에 대해 쌍으로 계산되며, ht는 상단 수평 치수를 나타내고, hb는 하단 수평 치수를 나타내며, vl은 좌측 수직 치수를 나타내고, vr은 우측 수직 치수를 나타낸다. 는 주어진 픽셀의 위치 벡터를 나타낸다. 일 실시 예에서, 피부 상태(103)의 추가 측정 또는 분석을 위해 4개의 치수 중 단지 2개의 치수만이 요구된다. 예를 들어, 피부 상태(103)의 표면적을 계산하기 위해서는 단지 집계된 픽셀 폭 및 집계된 픽셀 높이만이 요구될 수 있고 컴퓨팅 장치(106) 또는 처리 서버(108)는 대응하는 에지들의 평균을 이용하여 단일 픽셀 폭/높이 값 조합을 제공할 수 있다.
도 9a, 도 9b 및 도 9c는 본 발명의 일 실시 예에 따른 2D 이미지의 서브-픽셀 영역들을 측정하기 위한 대표적인 단계들을 보여준다. 명확한 예들을 보여주기 위해, 도 9a - 도 9c는 앞서 검토한 도면들을 참조하여 검토될 것이다. 도 8a - 도 8c와 관련하여 위에 기재된 바와 같은 컴퓨팅 장치(106) 또는 처리 서버(108)에 의해 생성된 하나 이상의 픽셀들의 픽셀 치수들은 컴퓨팅 장치(106) 또는 처리 서버(108)에 의해 상기 2D 이미지 내 주어진 픽셀의 서브-픽셀 영역들을 측정하는데 이용될 수 있다. 2D 이미지의 영역들에 대한 서브-픽셀 측정치들은 피부 상태(103)를 분석하는데 유용할 수 있는데, 여기서 피부 상태(103)는 총 개수의 픽셀들로 도시되어 있지 않은데, 다시 말하면 피부 상태(103)는 특정 픽셀들의 일부들에 포함된다.
도 9a - 도 9c를 지금부터 참조하면, 일 실시 예에서, 픽셀-공간 측정 필드는 서브-픽셀 영역, 예를 들어 도 9a에 도시된 바와 같은 라인, 또는 예를 들어 도 9b 및 도 9c에 도시된 바와 같은 부분 픽셀 영역을 나타낼 수 있다. 일 실시 예에서, 정규화된 픽셀 에지 교차들은 도 8a - 도 8c와 관련하여 위에서 검토된 모서리 벡터의 선형 보간을 통해 새로운 카메라 공간 벡터들을 추론하기 위해 사용된다. 일 실시 예에서, 길이는 한 쌍의 교차 포인트 벡터들 간의 거리를 계산함으로써 계산된다. 예를 들어, 도 9a에서, 2개의 교차 포인트 벡터(I 1, I 2)는 도 9a에 도시된 라인의 길이를 결정하는데 사용된다.
마찬가지로, 부분 영역이 필요할 때, 픽셀의 "내부"가 결정되고 관련 에지 교차 및 삼각 함수의 역을 사용하여 삼각형 속성을 계산함으로써 3개의 삼각형 포인트 벡터가 계산된다. 예를 들어, 도 9b에서, 교차 벡터들(, , )에 의해 형성된 삼각형은 부분 픽셀 영역을 계산하기 위해 사용된다. 완전한 픽셀 "내부"를 나타내지 않는 교차 삼각형이 있는 경우, 필요한 경우 나머지 영역 치수들을 계산하기 위해 사각형이 사용된다. 예를 들어, 도 9c에서, 교차 벡터들(, , , )에 의해 형성된 직사각형은 교차 벡터들에 의해 경계가 정해지는 서브-픽셀 영역의 영역을 계산하는데 사용된다.
일 실시 예에서, 에지 교차들은 정규화된 픽셀 공간 외부에서 발생하는 결과적인 교차들이 폐기되는 경우 이하에 주어진 표준 2D 무한 라인 교차 수학식을 사용하여 계산된다.
위 수학식에서 는 라인 1 시작 좌표들을 나타내고, 는 라인 1 끝 좌표들을 나타낸다. 마찬가지로, 는 라인 2 시작 좌표들을 나타내고 는 라인 2 끝 좌표들을 나타낸다. 일 실시 예에서, 도 5a - 도 5c, 도 6a - 도 6f, 도 7a - 도 7c, 도 8a - 도 8c 및 도 9a - 도 9c에서 설명한 계산들은 컴퓨팅 장치(106) 또는 처리 서버(108)의 특수한 계산 및 분석 모듈에 의해 수행된다.
도 10은 본 발명의 일 실시 예에 따른 피부 상태를 분석하기 위한 출력 2D 이미지의 대표적인 도면이다. 명확한 예들을 보여주기 위해, 도 10은 도 1 - 도 4와 관련하여 검토될 것이다.
도 10에서, 환자(102) 및 적어도 하나의 피부 상태(103)는 그래픽 사용자 인터페이스(graphical user interface; GUI)를 통해 볼 수 있다. 일 실시 예에서, GUI는 컴퓨팅 장치(106) 또는 처리 서버(108) 상에서 실행되는 독립형 애플리케이션에 의해 구현된다. 일 실시 예에서, GUI는 위에 기재한 바와 같은 터치스크린을 통해 이미지 캡처 장치(104)의 사용자에 의해 조작될 수 있는 이미지 캡처 장치(104) 상에서 구현된 사용자 인터페이스의 확장이다. 일 실시 예에서, GUI는 도 3의 컴퓨터 시스템(300)을 참조하여 기재된 바와 같은 입력 장치(314)를 사용하여 상기 2D 이미지의 각각의 픽셀에 대한 임베디드 깊이 데이터와 함께 환자(102)의 최종 2D 이미지와 사용자가 상호작용하는 것을 허용할 수 있다. 일 실시 예에서, 사용자는 피부 상태(103)의 측정 및 분석을 위해 환자(102)의 최종 2D 이미지를 조작할 수 있다. 예를 들어, 사용자는 피부 상태(103)를 회전, 확대 또는 축소, 원근 변경, 스크린샷, 측정할 수 있다. 일 실시 예에서, 사용자는 최종 2D 이미지 및 상기 처리 서버(108)에 의해 저장된 사전의 최종 2D 이미지를 상기 GUI에서 나란히 비교하기 시작할 수 있다. 일 실시 예에서, GUI를 통해, 사용자는 상이한 배율로 피부 상태(103)를 볼 수 있으며, 이는 또한 상이한 크기의 다른 피부 상태를 검출하는데 유용하다.
전술한 명세서에서, 본 발명의 실시 예들은 구현 예마다 다를 수 있는 많은 특정 세부사항을 참조하여 설명되었다. 따라서, 명세서 및 도면들은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다. 본 발명의 범위의 단독 및 배타적 지표, 및 출원인이 본 발명의 범위가 되도록 의도된 것은, 본원으로부터 구체적인 형태로 발행된 청구 범위의 문자적이고 동등한 범위이며, 구체적인 형태는 임의의 후속 수정 예를 포함하여 그러한 청구범위가 발행된 것이다. 그러한 청구 범위에 포함된 용어에 대해 본원 명세서에서 명시 적으로 정의된 임의의 정의는 청구 범위에 사용된 용어의 의미를 지배한다.
Claims (51)
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 피부 상태를 분석하는 시스템으로서,
상기 피부 상태의 2-차원(2D) 이미지 및 상기 2D 이미지에 연관된 한 세트의 3-차원(3D) 포인트 클라우드들을 캡처하는 이미지 캡처 장치;
상기 이미지 캡처 장치 및 제2 컴퓨팅 장치에 통신 가능하게 연결된 컴퓨팅 장치;
를 포함하며,
상기 컴퓨팅 장치는 상기 이미지 캡처 장치로부터 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들을 수신하도록 구성되고,
상기 컴퓨팅 장치는 상기 한 세트의 3D 포인트 클라우드들에 따라 3D 표면을 생성하도록 구성되며,
상기 컴퓨팅 장치는 상기 제2 컴퓨팅 장치를 사용하여 상기 3D 표면에 기초한 상기 2D 이미지에 대한 깊이 맵을 생성하도록 구성되고, 상기 깊이 맵은 상기 2D 이미지의 각각의 픽셀에 대한 깊이 데이터를 포함하며,
상기 컴퓨팅 장치는 상기 깊이 맵에 기초하여 상기 피부 상태를 분석하도록 구성되고,
상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 치수들은 상기 분석을 위해 계산되며,
상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 수평 및 수직 치수는, 이하의 수학식
에 따라 상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀에 대한 픽셀 공간 모서리 벡터들을 사용하여 계산되고,
상기 수학식에서,
V1, V2, V3, V4 는 주어진 픽셀에 대한 픽셀 공간 모서리 벡터들을 나타내며,
는 주어진 픽셀의 위치 벡터를 나타내고,
ht는 주어진 픽셀의 상단 수평 치수를 나타내며,
hb는 주어진 픽셀의 하단 수평 치수를 나타내고,
vl은 주어진 픽셀의 좌측 수직 치수를 나타내며,
vr은 주어진 픽셀의 우측 수직 치수를 나타내고,
상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀에 대한 픽셀-공간 모서리 벡터는 이하의 수학식
에 따라 상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 3D 카메라-공간 위치를 사용하여 계산되며,
상기 수학식에서,
는 주어진 픽셀의 위치 벡터를 나타내고,
은 주어진 픽셀의 모서리에 위치한 픽셀들의 위치 벡터들을 나타내며,
은 주어진 픽셀에 대한 픽셀-공간 모서리 벡터들을 나타내고,
n 은 1, 2, 3 또는 4이며,
상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 3D 카메라 공간 위치는, 이하의 수학식
에 따라 계산되며,
상기 수학식에서,
D는 주어진 픽셀의 깊이를 나타내고,
C는 주어진 픽셀의 좌표들을 나타내며, Ch 및 Cv 는 각각 수평 및 수직 좌표 값을 나타내고,
R은 전체 이미지의 해상도를 나타내며, Rh 및 Rv 는 각각 수평 및 수직 해상도를 나타내고,
Θ H 및 Θ V 는 수평 및 수직 2D 카메라 시야각을 나타내는, 피부 상태의 분석 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제25항에 있어서,
상기 한 세트의 3D 포인트 클라우드들의 각각의 3D 포인트 클라우드 내 각각의 3D 포인트는 상기 2D 이미지의 적어도 하나의 픽셀에 상응하는, 피부 상태의 분석 시스템. - 제25항에 있어서,
상기 제2 컴퓨팅 장치는 상기 2D 이미지 및 상기 3D 표면에 따라 광선 투사(ray-casting) 알고리즘 또는 광선 추적 알고리즘을 구현함으로써 상기 깊이 맵을 계산하도록 구성되는, 피부 상태의 분석 시스템. - 제25항에 있어서,
상기 이미지 캡처 장치는 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들을 캡처하도록 구성되는, 피부 상태의 분석 시스템. - 제42항에 있어서,
상기 이미지 캡처 장치는 상기 피부 상태를 지닌 환자 주위의 적어도 하나의 축을 따라 회전하여 한 세트의 2D 이미지들 및 관련 세트들의 3D 포인트 클라우드들을 캡처하도록 구성되는, 피부 상태의 분석 시스템. - 제42항에 있어서,
상기 피부 상태의 분석 시스템은,
상기 이미지 캡처 장치에 통신 가능하게 연결되고 상기 2D 이미지 및 상기 한 세트의 3D 포인트 클라우드들을 저장하며 상기 깊이 맵을 저장하도록 구성된 메모리 장치;
를 더 포함하는, 피부 상태의 분석 시스템. - 제42항에 있어서,
상기 이미지 캡처 장치는 2-차원(2D) 카메라를 포함하고,
상기 2D 카메라는,
상기 피부 상태의 유색 2D 이미지를 캡처하도록 구성되며, 그리고
상기 피부 상태의 단색 2D 이미지를 캡처하도록 구성되는, 피부 상태의 분석 시스템. - 제45항에 있어서,
상기 컴퓨팅 장치는 각각의 픽셀의 깊이 값, 2D 카메라의 수평 시야각, 및 2D 카메라의 수직 시야각에 기초한 2D 이미지의 각각의 픽셀에 대한 한 세트의 픽셀 치수들을 생성하도록 구성되는, 피부 상태의 분석 시스템. - 제42항에 있어서,
상기 이미지 캡처 장치는 3-차원(3D) 카메라를 포함하며, 상기 3D 카메라는 상기 2D 이미지에 상응하는 한 세트의 3D 포인트 클라우드들을 캡처하는, 피부 상태의 분석 시스템. - 제25항에 있어서,
상기 3D 표면은 보간된 3D 표면 메쉬이고, 상기 3D 표면은 상기 피부 상태의 윤곽을 나타내는, 피부 상태의 분석 시스템. - 제25항에 있어서,
상기 컴퓨팅 장치는 상기 한 세트의 3D 포인트 클라우드들의 적어도 하나의 3D 포인트 클라우드 내 한 세트의 수차(aberration)들을 필터링하여 제거함으로써 상기 3D 표면을 생성하도록 구성되며, 상기 3D 표면은 상기 컴퓨팅 장치를 사용하여 적어도 하나의 보간 알고리즘을 통해 생성되는, 피부 상태의 분석 시스템.. - 제25항에 있어서,
상기 컴퓨팅 장치는 상기 피부 상태의 크기를 측정함으로써 상기 피부 상태를 분석하고 상기 피부 상태의 크기 변화를 결정하며 상기 피부 상태의 크기 변화에 따라 상기 피부 상태를 자동으로 진단하도록 구성되는, 피부 상태의 분석 시스템. - 피부 상태를 분석하는 컴퓨터 구현 방법으로서,
컴퓨팅 장치를 사용하여 상기 피부 상태의 2-차원(2D) 이미지 및 상기 2D 이미지에 연관된 한 세트의 3-차원(3D) 포인트 클라우드들을 이미지 캡처 장치로부터 수신하는 단계;
상기 컴퓨팅 장치를 사용하여 상기 한 세트의 3D 포인트 클라우드들에 따라 3D 표면을 생성하는 단계;
제2 컴퓨팅 장치를 사용하여 상기 3D 표면에 기초한 상기 2D 이미지에 대한 깊이 맵을 생성하는 단계 - 상기 깊이 맵은 상기 2D 이미지의 각각의 픽셀에 대한 깊이 값을 포함함 -; 및
상기 컴퓨팅 장치를 사용하여 상기 2D 이미지 및 상기 깊이 맵에 기초해 상기 피부 상태를 분석하는 단계;
를 포함하며,
상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 치수들은 상기 분석을 위해 계산되며, 상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 수평 및 수직 치수는, 이하의 수학식
에 따라 상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀에 대한 픽셀 공간 모서리 벡터들을 사용하여 계산되고,
상기 수학식에서,
V1, V2, V3, V4 는 주어진 픽셀에 대한 픽셀 공간 모서리 벡터들을 나타내며,
는 주어진 픽셀의 위치 벡터를 나타내고,
ht는 주어진 픽셀의 상단 수평 치수를 나타내며,
hb는 주어진 픽셀의 하단 수평 치수를 나타내고,
vl은 주어진 픽셀의 좌측 수직 치수를 나타내며,
vr은 주어진 픽셀의 우측 수직 치수를 나타내고,
상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀에 대한 픽셀-공간 모서리 벡터는 이하의 수학식
에 따라 상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 3D 카메라-공간 위치를 사용하여 계산되며,
상기 수학식에서,
는 주어진 픽셀의 위치 벡터를 나타내고,
은 주어진 픽셀의 모서리에 위치한 픽셀들의 위치 벡터들을 나타내며,
은 주어진 픽셀에 대한 픽셀-공간 모서리 벡터들을 나타내고,
n 은 1, 2, 3 또는 4이며,
상기 2D 이미지의 원하는 영역 또는 경로 내 각각의 픽셀의 3D 카메라 공간 위치는, 이하의 수학식
에 따라 계산되며,
상기 수학식에서,
D는 주어진 픽셀의 깊이를 나타내고,
C는 주어진 픽셀의 좌표들을 나타내며,
Ch 및 Cv 는 각각 수평 및 수직 좌표 값을 나타내고,
R은 전체 이미지의 해상도를 나타내며, Rh 및 Rv 는 각각 수평 및 수직 해상도를 나타내고,
Θ H 및 Θ V 는 수평 및 수직 2D 카메라 시야각을 나타내는, 피부 상태를 분석하는 컴퓨터 구현 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SG10201706752X | 2017-08-17 | ||
| SG10201706752XA SG10201706752XA (en) | 2017-08-17 | 2017-08-17 | Systems and methods for analyzing cutaneous conditions |
| PCT/SG2018/050414 WO2019035768A1 (en) | 2017-08-17 | 2018-08-15 | SYSTEMS AND METHODS FOR THE ANALYSIS OF SKIN DISORDERS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200042509A KR20200042509A (ko) | 2020-04-23 |
| KR102635541B1 true KR102635541B1 (ko) | 2024-02-08 |
Family
ID=65362686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207007705A KR102635541B1 (ko) | 2017-08-17 | 2018-08-15 | 피부 상태 분석을 위한 시스템 및 방법 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US11504055B2 (ko) |
| EP (1) | EP3668387B1 (ko) |
| KR (1) | KR102635541B1 (ko) |
| CN (1) | CN111031897B (ko) |
| AU (1) | AU2018316381A1 (ko) |
| BR (1) | BR112020003278A2 (ko) |
| CA (1) | CA3073259A1 (ko) |
| ES (1) | ES2950643T3 (ko) |
| NZ (1) | NZ761745A (ko) |
| SG (1) | SG10201706752XA (ko) |
| TW (1) | TWI804506B (ko) |
| WO (1) | WO2019035768A1 (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11087523B2 (en) * | 2018-10-26 | 2021-08-10 | Autodesk, Inc. | Production ray tracing of feature lines |
| CN112085846A (zh) * | 2019-06-14 | 2020-12-15 | 通用电气精准医疗有限责任公司 | 用于在成像系统中生成对象3d点云的方法和系统 |
| CN111461980B (zh) * | 2020-03-30 | 2023-08-29 | 北京百度网讯科技有限公司 | 点云拼接算法的性能估计方法和装置 |
| US10853955B1 (en) | 2020-05-29 | 2020-12-01 | Illuscio, Inc. | Systems and methods for point cloud encryption |
| WO2022108067A1 (en) * | 2020-11-19 | 2022-05-27 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3d portrait of person and computing device for the same |
| US11823327B2 (en) | 2020-11-19 | 2023-11-21 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3D portrait of person and computing device for the same |
| KR102492692B1 (ko) * | 2020-12-01 | 2023-01-27 | (주)와이즈콘 | 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램 |
| TWI775229B (zh) * | 2020-12-02 | 2022-08-21 | 碁曄科技股份有限公司 | 美膚檢測系統及其方法 |
| KR102472583B1 (ko) | 2021-01-28 | 2022-11-30 | 한림대학교 산학협력단 | 찰과상에 대한 진단 정보를 제공하는 인공지능 모델 기반의 전자 장치, 제어 방법, 및 컴퓨터 프로그램 |
| US11386235B1 (en) | 2021-11-12 | 2022-07-12 | Illuscio, Inc. | Systems and methods for dynamic checksum generation and validation with customizable levels of integrity verification |
| WO2023199357A1 (en) * | 2022-04-13 | 2023-10-19 | Garg Dr Suruchi | A system of identifying plurality of parameters of a subject's skin and a method thereof |
| US11527017B1 (en) | 2022-05-03 | 2022-12-13 | Illuscio, Inc. | Systems and methods for dynamic decimation of point clouds and data points in a three-dimensional space |
| US11468583B1 (en) | 2022-05-26 | 2022-10-11 | Illuscio, Inc. | Systems and methods for detecting and correcting data density during point cloud generation |
| CN116320199B (zh) * | 2023-05-19 | 2023-10-31 | 科大乾延科技有限公司 | 一种元宇宙全息显示信息智能管理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090118600A1 (en) * | 2007-11-02 | 2009-05-07 | Ortiz Joseph L | Method and apparatus for skin documentation and analysis |
| US20110218428A1 (en) * | 2010-03-04 | 2011-09-08 | Medical Scan Technologies, Inc. | System and Method for Three Dimensional Medical Imaging with Structured Light |
| US20150150457A1 (en) * | 2013-12-03 | 2015-06-04 | Children's National Medical Center | Method and system for wound assessment and management |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6278460B1 (en) * | 1998-12-15 | 2001-08-21 | Point Cloud, Inc. | Creating a three-dimensional model from two-dimensional images |
| CN1218282C (zh) * | 2001-11-27 | 2005-09-07 | 三星电子株式会社 | 用深度图像表示三维物体的节点结构 |
| GB0209080D0 (en) * | 2002-04-20 | 2002-05-29 | Virtual Mirrors Ltd | Methods of generating body models from scanned data |
| US7546156B2 (en) * | 2003-05-09 | 2009-06-09 | University Of Rochester Medical Center | Method of indexing biological imaging data using a three-dimensional body representation |
| CN101966083B (zh) * | 2010-04-08 | 2013-02-13 | 太阳系美容事业有限公司 | 异常皮肤面积计算系统及其计算方法 |
| US20130235233A1 (en) * | 2012-03-09 | 2013-09-12 | Research In Motion Limited | Methods and devices for capturing images |
| SG10201405182WA (en) * | 2014-08-25 | 2016-03-30 | Univ Singapore Technology & Design | Method and system |
| US10004403B2 (en) * | 2014-08-28 | 2018-06-26 | Mela Sciences, Inc. | Three dimensional tissue imaging system and method |
| US10455134B2 (en) * | 2014-10-26 | 2019-10-22 | Galileo Group, Inc. | Temporal processes for aggregating multi dimensional data from discrete and distributed collectors to provide enhanced space-time perspective |
| KR101718868B1 (ko) * | 2015-09-21 | 2017-03-22 | 한국과학기술연구원 | 자동 의료영상 분할에 의한 3차원 악안면 모델 형성 방법, 이를 수행하는 자동 영상 분할과 모델 형성 서버 및 이를 저장하는 기록매체 |
| US10007971B2 (en) * | 2016-03-14 | 2018-06-26 | Sensors Unlimited, Inc. | Systems and methods for user machine interaction for image-based metrology |
| TWI573100B (zh) * | 2016-06-02 | 2017-03-01 | Zong Jing Investment Inc | 自動臉部化妝方法 |
| WO2018185560A2 (en) * | 2017-04-04 | 2018-10-11 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
| CN110305140B (zh) * | 2019-07-30 | 2020-08-04 | 上海勋和医药科技有限公司 | 二氢吡咯并嘧啶类选择性jak2抑制剂 |
-
2017
- 2017-08-17 SG SG10201706752XA patent/SG10201706752XA/en unknown
-
2018
- 2018-08-15 EP EP18846308.7A patent/EP3668387B1/en active Active
- 2018-08-15 AU AU2018316381A patent/AU2018316381A1/en active Pending
- 2018-08-15 US US16/639,122 patent/US11504055B2/en active Active
- 2018-08-15 KR KR1020207007705A patent/KR102635541B1/ko active IP Right Grant
- 2018-08-15 WO PCT/SG2018/050414 patent/WO2019035768A1/en unknown
- 2018-08-15 ES ES18846308T patent/ES2950643T3/es active Active
- 2018-08-15 CN CN201880052957.7A patent/CN111031897B/zh active Active
- 2018-08-15 BR BR112020003278-6A patent/BR112020003278A2/pt unknown
- 2018-08-15 NZ NZ761745A patent/NZ761745A/en unknown
- 2018-08-15 CA CA3073259A patent/CA3073259A1/en active Pending
- 2018-08-17 TW TW107128742A patent/TWI804506B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090118600A1 (en) * | 2007-11-02 | 2009-05-07 | Ortiz Joseph L | Method and apparatus for skin documentation and analysis |
| US20110218428A1 (en) * | 2010-03-04 | 2011-09-08 | Medical Scan Technologies, Inc. | System and Method for Three Dimensional Medical Imaging with Structured Light |
| US20150150457A1 (en) * | 2013-12-03 | 2015-06-04 | Children's National Medical Center | Method and system for wound assessment and management |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3668387A1 (en) | 2020-06-24 |
| TW201922163A (zh) | 2019-06-16 |
| ES2950643T3 (es) | 2023-10-11 |
| SG10201706752XA (en) | 2019-03-28 |
| AU2018316381A1 (en) | 2020-03-12 |
| CN111031897A (zh) | 2020-04-17 |
| KR20200042509A (ko) | 2020-04-23 |
| CN111031897B (zh) | 2023-09-29 |
| BR112020003278A2 (pt) | 2020-09-01 |
| TWI804506B (zh) | 2023-06-11 |
| WO2019035768A1 (en) | 2019-02-21 |
| US20200205723A1 (en) | 2020-07-02 |
| EP3668387A4 (en) | 2021-05-12 |
| NZ761745A (en) | 2022-07-01 |
| CA3073259A1 (en) | 2019-02-21 |
| EP3668387B1 (en) | 2023-05-24 |
| US11504055B2 (en) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102635541B1 (ko) | 피부 상태 분석을 위한 시스템 및 방법 | |
| US11576645B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| US8988317B1 (en) | Depth determination for light field images | |
| US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| US20170079577A1 (en) | Method of monitoring a surface feature and apparatus therefor | |
| JP3806457B2 (ja) | 医療診断撮像装置および方法 | |
| US20150302594A1 (en) | System and Method For Object Detection Using Structured Light | |
| US20160239976A1 (en) | Photogrammetric methods and devices related thereto | |
| WO2021104376A1 (en) | Sensing device for medical facilities | |
| US20110262015A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2017010327A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Reichinger et al. | Evaluation of methods for optical 3-D scanning of human pinnas | |
| Mirzaalian Dastjerdi et al. | Measuring surface area of skin lesions with 2D and 3D algorithms | |
| Macedo et al. | A semi-automatic markerless augmented reality approach for on-patient volumetric medical data visualization | |
| US11937967B2 (en) | Automating a medical environment | |
| JP7006810B2 (ja) | ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法 | |
| Zenteno et al. | Volumetric monitoring of cutaneous leishmaniasis ulcers: can camera be as accurate as laser scanner? | |
| KR101921988B1 (ko) | 환자의 3차원 골격 모델을 생성하는 방법 | |
| US20240164758A1 (en) | Systems and methods for generating patient models based on ultrasound images | |
| JP6458300B2 (ja) | 身体情報取得装置および身体情報取得方法 | |
| Win | Curve and Circle Fitting of 3D Data Acquired by RGB-D Sensor | |
| CN112489745A (zh) | 用于医疗设施的感测装置及实施方法 | |
| Kumar | Novel 3D Back Reconstruction using Stereo Digital Cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |