KR20230052931A - 피부 접촉 반응을 검출하고 연관된 안전한 제품을 추천하기 위한 방법 및 시스템 - Google Patents

피부 접촉 반응을 검출하고 연관된 안전한 제품을 추천하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20230052931A
KR20230052931A KR1020237009027A KR20237009027A KR20230052931A KR 20230052931 A KR20230052931 A KR 20230052931A KR 1020237009027 A KR1020237009027 A KR 1020237009027A KR 20237009027 A KR20237009027 A KR 20237009027A KR 20230052931 A KR20230052931 A KR 20230052931A
Authority
KR
South Korea
Prior art keywords
image
patch
skin
patient
area
Prior art date
Application number
KR1020237009027A
Other languages
English (en)
Inventor
라이언 티. 르윈슨
이사벨 에이. 바를란드
존-더글라스 매튜 휴스
Original Assignee
올 스킨 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 올 스킨 아이엔씨 filed Critical 올 스킨 아이엔씨
Publication of KR20230052931A publication Critical patent/KR20230052931A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/411—Detecting or monitoring allergy or intolerance reactions to an allergenic agent or substance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • Immunology (AREA)
  • Vascular Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Push-Button Switches (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본원은 알레르겐 세트에 대한 피부 접촉 반응들을 검출하기 위한 시스템을 제공한다. 동작 동안, 본 시스템은 사용자가 휴대용 디바이스에서의 카메라를 통해 패치 영역의 이미지를 획득할 수 있게 하며, 패치 영역은 환자의 피부 상에 위치되고, 이미지가 획득되기 전에 알레르겐 세트를 함유하는 패치가 일정 기간 동안 패치 영역에 적용되었다가 제거된 것이다. 다음으로, 본 시스템은 패치 영역의 결과적인 전처리된 이미지가 미리 특정된 크기 및 배향을 갖도록 이미지를 전처리한다. 이어서, 본 시스템은 전처리된 이미지에 대해, 양성 피부 접촉 반응들에 대응하는 패치 영역 중의 구역들을 식별하기 위한 이미지 처리 동작들을 수행한다. 본 시스템은 각 식별된 구역을 구역에 적용되었던 특정 알레르겐으로 라벨링하여, 테스트 결과들을 생성하며, 이 테스트 결과들은 양성 피부 접촉 반응들을 일으킨 특정 알레르겐을 식별한다.

Description

피부 접촉 반응을 검출하고 연관된 안전한 제품을 추천하기 위한 방법 및 시스템
관련 출원
본 출원은 35 USC. §119에 따라, 2020년 8월 18일에 발명자 Ryan T. Lewinson 등으로 출원된 발명의 명칭이 "Detection and Labelling of Skin Contact Reactions and Recommender System for Safe Product List"인 미국 가출원 제63/067,256호에 대한 우선권을 주장하며, 이의 내용은 본원에 원용된다.
기술분야
개시되는 실시예들은 일반적으로 피부 알레르기 반응들을 검출하기 위한 기술들에 관한 것이다. 보다 구체적으로, 개시되는 실시예들은 피부 접촉 반응들을 검출하고 라벨링하기 위한 그리고 이 정보를 사용하여 연관된 안전한 제품을 추천하기 위한 시스템을 제공한다.
일반 인구의 대략 20%는 피부 알레르겐, 알레르기성 접촉 피부염(allergic contact dermatitis, ACD)으로 알려진 질환에 의해 유발되는 발진을 경험한다. ACD는 때때로 또한 피부 수포 또는 열창(균열)과 관련된 홍반(적색), 소양증(가려움), 통증, 습진 발진을 생성하는 만성 병태이다. ACD는 알레르겐에 대한 지연 과민성 반응의 결과이며, 이는 통상적으로 노출 후 48 내지 72시간에 일어난다. 이들 알레르겐은 작업장, 또는 가정, 화장품 또는 개인 위생 제품에서 발견될 수 있다. ACD는 흔히 손 및 발과 함께 얼굴, 특히 눈꺼풀에 영향을 주지만; ACD는 알레르겐 노출의 결과로서 신체 상의 어느 곳에서나 발생할 수 있다. ACD의 개발에 연루되는 가장 일반적인 알레르겐은 금속(예를 들어, 니켈, 코발트), 방향제, 보존제(예를 들어, 메틸이소티아졸리논/메틸클로로이소티아졸리논, 포름알데히드), 국소 항생제(예를 들어, 네오마이신, 바시트라신) 및 염료(예를 들어, p-페닐렌디아민)를 포함한다. ACD는 치유되지 않는 만성 질환이지만, 일단 공격성 알레르겐이 확인되고 사용으로부터 제거되면 이를 피할 수 있다.
현재, ACD를 진단하기 위한 최적 표준은 100년 이상 존재해 온 절차인 "패치 테스트"이다. 패치 테스트는 대략 48시간 동안 피부, 통상적으로 상부 배면에 적용된 바셀린 겔(또는 다른 매질)에 현탁된 개별 알레르겐을 함유하는 일련의 패치를 갖는 것을 수반한다. 이러한 노출의 결과(지연 과민 반응)는 추가로 48 내지 72시간 후에 평가된다. 이어서, 적용된 패치의 지도를 참조로서 사용하여 개체의 특이적 알레르겐을 결정한다.
패치 테스트가 수년 동안 사용되어 왔지만, 이는 단점을 갖는다. 예를 들어, 패치 테스트는 통상적으로 전문 지식 또는 ACD에 대한 특별한 관심을 갖는 피부과 전문의들에 의해서만 제공되고, 이러한 피부과 전문가들은 통상적으로 큰 도시 센터에서만 실시된다. 이와 같이, 치료로의 접근은 시골 지역에 살고 있는 환자에 대해 상당히 제한되고, 모든 환자에 대한 대기 시간은 종종 1년을 넘긴다. 이러한 긴 대기 시간 동안, 환자는 고통을 받는다. 피부 증상, 외관의 시각적 변화, 및 이들의 개인 관리 제품에 관한 불안은 환자 이환율을 악화시킨다. 많은 수의 알레르겐(일반적으로 >100)에 대해 각 환자를 일상적으로 스크리닝함으로써 높은 작업 비용 및 환자에 대한 비용이 악화될 가능성이 있으며, 이는 통상의 상업적 제품에서 거의 발견되지 않는 알레르겐을 불가피하게 포함한다. 게다가, 패치 테스트 절차를 시행하는 데 필요한 전반적인 시간은 대부분의 피부과 의사들이 바쁜 진료 중에 그 절차를 거의 제공하지 못하게 한다. ACD의 치료는 궁극적으로 원인 알레르겐의 확인 및 제거를 필요로 한다. 그러나, 건강 관리 제공자들에 대한 제한된 접근, 긴 대기 리스트들, 지역적 제한들, 및 엄청난 비용들 모두는 관리에 대한 감소된 접근 및 증가된 환자 이환율에 기여한다.
인공 지능 기반 의사 결정은 피부과학 및 피부 관리 분야에서 빠르게 성장해 왔으며, 이전의 사용 사례는 흑색종 피부암, 시간에 따른 피부 특징 추적, 및 미용 조언의 검출을 위해 개발되었다. 이들 현대 기술은 아직 패치 테스트에 적용되지 않았으나, 피부 과학자와 같은 숙련된 평가자를 물리적으로 보지 않고 환자가 반응을 원격으로 안전하게 평가할 수 있게 함으로써 ACD 테스트를 확장할 상당한 기회를 제공한다.
이에 따라, 필요한 것은 기존의 패치 테스트 기술의 단점 없이 ACD를 진단하고 관련 알레르겐을 확인하기 위한 새로운 기술이다.
개시되는 실시예들은 알레르겐 세트에 대한 피부 접촉 반응들을 검출하기 위한 시스템에 관한 것이다. 동작 동안, 본 시스템은 사용자가 휴대용 디바이스에서의 카메라를 통해 패치 영역의 이미지를 획득할 수 있게 하며, 패치 영역은 환자의 피부 상에 위치되고, 이미지가 획득되기 전에 알레르겐 세트를 함유하는 패치가 일정 기간 동안 패치 영역에 적용되었다가 제거된 것이다. 다음으로, 본 시스템은 패치 영역의 결과적인 전처리된 이미지가 미리 특정된 크기 및 배향을 갖도록 이미지를 전처리한다. 이어서, 본 시스템은 전처리된 이미지에 대해, 양성 피부 접촉 반응들에 대응하는 패치 영역 중의 구역들을 식별하기 위한 이미지 처리 동작들을 수행한다. 마지막으로, 본 시스템은 각 식별된 구역을 구역에 적용되었던 특정 알레르겐으로 라벨링하여, 테스트 결과들을 생성하며, 이 테스트 결과들은 양성 피부 접촉 반응들을 일으킨 특정 알레르겐을 식별한다.
일부 실시예들에서, 패치는 이미지가 획득되기 전에 대략 2일간 패치 영역에 적용되었고, 대략 2 내지 3일간 제거되었다.
일부 실시예들에서, 사용자가 카메라를 통해 이미지를 획득할 수 있게 하면서, 본 시스템은 카메라에 의해 보여지고 있는 것의 이미지를 사용자에게 디스플레이하며, 그리고 사용자가 카메라의 위치를 조정하여 패치 영역 전체의 가시 이미지를 획득할 수 있게 한다.
일부 실시예들에서, 하나보다 많은 이미지가 획득되고, 상이한 조명 조건들, 피부 톤, 피부 색소, 및 피부 조직 변화를 고려하도록 처리된다.
일부 실시예들에서, 다수의 이미지들이 상이한 시간들에서 획득된다. 예를 들어, 제1 이미지는 48 시간에서 획득될 수 있고, 제2 이미지는 72 시간에서 획득될 수 있다. 이는 이미지들/시점들 간의 차이에 기초하여 자극 대 알레르기 반응을 평가하고, 또한 가능하게는 배경 피부 및 패치/마킹들의 다른 식별된 특징들에 기초하여 배향/정합 마킹들의 교정에 양 이미지들을 사용할 수 있게 한다.
일부 실시예들에서, 이미지를 전처리하는 단계는 다음의 전처리 동작들 중 하나 이상을 수행하는 단계를 수반한다: 이미지를 시프트하는 동작; 이미지를 회전하는 동작; 이미지를 스케일링하는 동작; 이미지를 크롭하는 동작; 이미지를 베이스라인 피부 톤 또는 색에 대해 조정하는 동작; 머신 러닝을 사용하여 이미지의 선택된 품질을 향상시키거나 정규화하는 동작; 및 이미지의 밝기 및/또는 콘트라스트를 조정하는 동작.
일부 실시예들에서, 이미지를 전처리하는 단계는 광 조건들, 피부 톤, 및 콘트라스트를 달리하기 위해 머신 러닝 기법을 사용하여 이미지를 정규화하는 단계를 포함한다.
일부 실시예들에서, 전처리 동작들 중 하나 이상은 패치가 피부에 적용되었던 동안 패치로부터 피부로 전달되었던 패치 정합 마크들을 참조하여 수행된다.
일부 실시예들에서, 양성 피부 접촉 반응들에 대응하는 패치 영역의 영역들을 식별하기 위한 이미지 처리 동작들을 수행하면서, 시스템은 피부 색 및/또는 피부 조직의 변화에 기초하여 머신 러닝 모델을 사용하여 양성 피부 접촉 반응들을 인식한다.
일부 실시예들에서, 머신 러닝 모델은 신경망 또는 관련 딥 러닝 아키텍처를 포함한다.
일부 실시예들에서, 본 시스템은 환자에 대한 안전한 제품 추천 세트를 생성하기 위해 테스트 결과들을 추가로 사용하여, 알려진 제품 성분들의 목록들에 기초하여 제품 카탈로그를 필터링한다.
일부 실시예들에서, 안전한 제품 추천 세트를 생성하면서, 본 시스템은 환자 연령, 환자 성별, 환자 피부 타입 및 조직, 환자의 기존 피부 관심사, 환자의 가변 지역/선택된 지역의 기후 관련 양태들, 및 환자의 제품 선호도를 포함할 수 있는 환자 데이터 및 선호도를 추가로 고려한다.
일부 실시예들에서, 안전한 제품 추천 세트는 개별 소매상 또는 브랜드에 대해 또한 맞춰지고/거나 필터링된 개인화된 리스트를 생성한다.
일부 실시예들에서, 전처리 동작들 및 이미지 처리 동작들은 휴대용 디바이스; 및 원격 클라우드 컴퓨팅 시스템 중 하나 이상에 의해 수행된다.
일부 실시예들에서, 휴대용 디바이스는 스마트폰, 태블릿 컴퓨터 및 프로세서를 갖는 디지털 카메라 중 하나를 포함한다.
개시되는 실시예들은 또한 피부 접촉 반응에 대한 알레르겐 세트의 테스트를 가능하게 하는 패치에 관한 것이다. 이 패치는 알레르겐 세트를 보유하도록 구성된 웰 세트를 포함한다. 이는 또한 패치를 환자의 피부에 접합시키기 위해 패치 상에 위치된 접착제 섹션들을 포함한다. 마지막으로, 패치는 패치 내로 주입되는 염료 또는 다른 임시 문신으로 구성되는 정합 마크들을 포함하되, 정합 마크들은 패치가 환자에 적용될 때 환자의 피부에 전달되는 것이다. (정합 마킹들은 패치 자체 상에, 또는 패치가 적용된 후 나머지로서 환자의 피부 상에 나타난다는 것에 유의한다.)
일부 실시예들에서, 패치는 방수 코팅을 더 포함한다.
일부 실시예들에서, 패치는 패치가 환자에 적용되기 전에 접착제 섹션들 및 정합 마크들을 노출시키기 위해 박리되도록 구성되는 배킹(backing)을 더 포함한다.
일부 실시예들에서, 패치 내의 웰 세트는 알레르겐 세트로 미리 채워진 상태로 운송된다.
일부 실시예들에서, 패치가 환자에 적용되기 전에 사용자가 웰 세트 내로 알레르겐 세트를 로딩한다.
일부 실시예들에서, 패치 배향 정합 마킹들이 환자 또는 다른 관찰자에 의해 피부 상에 그려지며, 이는 패치의 주연부를 추적하는 것, 또는 미리 절단된 정합 템플릿 내에서 추적하는 것 중 어느 하나를 수반할 수 있다.
일부 실시예들에서, 패치 및 알레르겐 배향은 패치를 착용한 환자의 이전 사진 ― 이는 휴대용 디바이스로부터의 각도계 기반 측정, 패치 표면으로부터의 QR 코드 판독, 또는 환자 또는 관찰자에 의한 수동 라벨링을 포함할 수 있다 ― 으로부터 결정된다.
일부 실시예들에서, 패치 배향은 패치 내의 다양한 상이한 웰 형상들 및 배열들로부터 파악된다.
일부 실시예들에서, 패치 배향은 패치가 제거된 후에 일정 기간 동안 피부 상에 남아 있는 이차 접착제 층 상의 마킹들로부터 파악된다.
일부 실시예들에서, 패치 배향은 수동으로 결정된다.
도 1a 및 도 1b는 개시되는 실시예들에 따른 피부 접촉 반응들을 검출 및 라벨링하고, 이 정보를 사용하여 연관된 안전한 제품을 추천하는 예시적인 프로세스를 도시한 상세 흐름도를 나타낸다.
도 2a 및 도 2b는 개시되는 실시예들에 따른 패치 테스트 결과의 이미지가 피부 접촉 반응들을 야기하는 알레르겐을 식별하기 위해 어떻게 사용될 수 있는지에 대한 예시적인 프로세스를 도시한 흐름도를 나타낸다.
도 3은 개시되는 실시예들에 따른 예시적인 제품 추천 시스템을 도시한다.
도 4는 개시되는 실시예들에 따른 상이한 알레르겐에 대한 다수의 웰들 및 연관된 정합 마크들을 갖는 예시적인 패치를 도시한다.
도 5는 개시되는 실시예들에 따른 피부 접촉 반응들을 검출하는 프로세스를 도시한 상위 레벨 흐름도를 나타낸다.
이하의 설명은 당업자가 본 실시예들을 제작하고 사용할 수 있게 하기 위해 제시되며, 특정 적용예 및 이의 요건들의 맥락에서 제공된다. 개시되는 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 실시예들의 사상 및 범위로부터 벗어나지 않고 다른 실시예들 및 적용예들에 적용될 수 있다. 따라서, 본 실시예들은 제시되는 실시예들에 제한되지 않고, 본원에서 개시되는 원리들 및 특징들에 부합하는 최광의 범위가 부여되어야 한다.
이 상세한 설명에서 설명되는 데이터 구조들 및 코드는 통상적으로 컴퓨터 시스템에 의한 사용을 위한 코드 및/또는 데이터를 저장할 수 있는 임의의 디바이스 또는 매체일 수 있는 컴퓨터 판독가능 저장 매체 상에 저장된다. 컴퓨터 판독가능 저장 매체는 휘발성 메모리, 비휘발성 메모리, 자기 및 광학 저장 디바이스, 이를테면 디스크 드라이브, 자기 테이프, CD(compact disc), DVD(digital versatile disc 또는 digital video disc), 또는 현재 알려져 있거나 나중에 개발될 컴퓨터 판독가능 매체를 저장하는 것이 가능한 다른 매체를 포함하지만, 이에 제한되지 않는다.
상세한 설명 섹션에서 설명되는 방법들 및 프로세스들은 코드 및/또는 데이터로서 구현될 수 있으며, 이는 위에서 설명된 바와 같은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 컴퓨터 시스템이 컴퓨터 판독가능 저장 매체 상에 저장된 코드 및/또는 데이터를 판독 및 실행할 때, 컴퓨터 시스템은 데이터 구조 및 코드로서 구현되고 컴퓨터 판독가능 저장 매체 내에 저장된 방법들 및 프로세스들을 수행한다. 또한, 아래에서 설명되는 방법들 및 프로세스들은 하드웨어 모듈에 포함될 수 있다. 예를 들어, 하드웨어 모듈은 주문형 반도체(ASIC) 칩, 현장 프로그램가능 게이트 어레이(FPGA), 및 현재 알려져 있거나 나중에 개발될 다른 프로그램가능 로직 디바이스들을 포함할 수 있지만, 이에 제한되지 않는다. 하드웨어 모듈이 활성화될 때, 하드웨어 모듈은 하드웨어 모듈 내에 포함된 방법들 및 프로세스들을 수행한다.
논의
본 발명은 피부 접촉 알레르겐 및 자극 반응들을 진단 및 라벨링하고, 이 정보를 사용하여 연관된 안전한 제품을 추천하기 위한 컴퓨터 보조 방법에 관한 것이다. 도 1a 및 도 1b는 일반적인 접근법의 흐름도를 나타낸다. 도 1a를 참조하면, 단계 101은 피부로부터의 패치 테스트의 제거를 수반한다. 통상적인 패치 테스트 절차는 다양한 농도들의 공통 알레르겐 및 자극물 어레이를 피부에 적용하고, 이를 일정 기간(~48시간) 동안 제자리에 두는 것을 수반한다. 이 어레이는 표준 발행되거나 맞춤화될 수 있다. 시간은 감성 개체들에서 피부 반응을 유도하기 위해 적용된 화학물질이 충분한 피부 노출을 가능하게 하도록 제공된다. 중요하게는, 이 반응은 안전하고 생명을 위협하지 않는다. 패치를 제거한 후, 그 다음 단계로 진행하기 전에 추가 기간(~48 내지 72시간)이 제공된다.
단계 102는 전체 패치 테스트 영역(또는 분석될 영역)의 사진의 수집을 수반한다. 이는 핸드헬드 스마트 디바이스, 개인용 카메라, 또는 이미지를 전자 매체로 전송하는 임의의 다른 사진 디바이스로 실현될 수 있다. 이 이미지는 이어서 단계 103에서 사용자에게 디스플레이 된다.
단계 104는 평가될 전체 영역이 이미지 상의 뷰 내에 있는지 여부를 결정한다. 이는 사용자 결정을 통해 수동으로 행해질 수 있고, 대안적으로 이미지 품질의 컴퓨터 보조 결정에 의해 전자적으로 수행될 수 있다. 이미지 품질이 불충분하다면, 사용자는 새로운 이미지를 제공하도록 프롬프트되고; 그렇지 않다면, 기법은 진행된다.
단계 105는 이미지 소스 및 이미지 품질에 따라 요구될 수 있거나 요구되지 않을 수 있는 이미지 전처리를 수반한다. 이들 처리 단계들은 이미지 크롭, 이미지 변환, 이미지 회전, 및 이미지 밝기 및 콘트라스트 조정을 포함할 수 있지만, 이에 제한되지 않는다.
단계 106는 패치 테스트 이미지를 사전 트레이닝된 인공 지능/머신 러닝 모델로 전달하며, 이는 단계 107에서 양성 반응들에 대응하는 영역들을 식별하기 위해 사용된다. 이 머신 러닝 모델은 다수의 컨볼루션 신경망, 피드포워드 신경망, 객체 검출 시스템, 또는 다른 머신 러닝 모델 중 임의의 것을 사용하여 구현될 수 있다. 적절하게 트레이닝된 머신 러닝 모델을 사용함으로써, 본 시스템은 디플로이되면 분석을 위한 신속한 솔루션을 제공하면서 이미지 품질, 패치 배향, 반응 심각도, 베이스라인 피부 색, 베이스라인 피부 조직, 및 다른 복합 특징들 및/또는 변수들의 변화를 설명할 수 있다. 개시되는 실시예에서, 본 시스템은 개정된 You Only Look Once v2(YOLOv2) 기법을 구현하며, 여기서 이미지는 특징 가중치들이 러닝되는, 컨볼루션, 배치 정규화(batch normalization), 정류된 선형 유닛 활성화(rectified linear unit activation) 및 최대 풀링(max pooling)을 갖는 일련의 계층들을 통과한다. 트레이닝된 모델을 이용하여, 최종 객체 검출을 가능하게 하기 위해 소정의 계층으로부터 특징들이 추출될 수 있다. 이렇게 하여, 객체들(즉, 양성 반응들)이 검출되어 경계 박스에 의해 표기될 수 있고, 원래 이미지에 관한 연관된 좌표들이 저장될 수 있다. 이 프로세스는 도 2a 및 도 2b에 도시된 도해에 도시된다. 이 정보는 사용자가 단계 112-117에서 수행된 동작들을 이용하지 않기로 결정한다면 데이터 해석 및 연관된 환자 추천을 가능하게 하기 위해 단계 118에서 사용될 수 있다.
데이터 세트들(108 및 109)은 테스트된 특정 화학물질, 및 화학물질에 대한 특정 패치 레이아웃을 식별하는 보충 정보를 제공한다. 사용자는 이 정보를 수동으로 입력할 수 있거나, 또는 정보가 데이터 세트들(108 및 109)로부터 자동으로 가져오기될 수 있다. 일 실시예에서, 이 데이터를 가져오기 위해 적용된 패치와 연관된 QR 코드가 스캐닝될 수 있다. 다른 실시예에서, 미리 정의된 패치 레이아웃들의 리스트가 사용자에 의해 디스플레이되고 선택될 수 있다.
단계 110는 단계 107에서의 머신 러닝 출력으로부터의 데이터와 데이터 세트들(108 및 109)로부터의 보충 패치 레이아웃 정보를 통합하여, 해당 반응 위치에 대응하는 화학물질에 따라 양성 반응들을 라벨링한다. 이 정보는 이어서 단계 111에서 원래의 이미지와 양성 패치 결과들에 대응하는 경계 박스 오버레이로서 사용자에게 디스플레이되며, 이는 이어서 양성 반응들을 야기하는 특정 접촉 알레르겐 또는 자극물에 따라 라벨링될 수 있다(도 2a 및 도 2b 참조).
단계 118은 사용자가 이 정보를 수동으로 해석하기를 원하는 경우에 직접 개시될 수 있다. 그러나, 박스 112-117에 도시된 바와 같이, 본 발명은 또한 제품 추천을 제공하기 위해 패치 테스트 결과 데이터를 제품 카탈로그(114)로부터의 제품 정보 및 데이터 세트(116)로부터의 사용자 데이터 및 사용자 선호도와 같은 외부 데이터와 통합하기 위한 기법을 제공한다. (더 상세한 내용은 도 3을 참조한다.) 이는 제품들에서 나타나는 패치 테스트에서 사용되는 일부 화학물질이 패치 테스트 경험이 없는 일반 대중 및 임상의에게 친숙하지 않기 때문에 중요할 수 있다.
데이터 세트(112)로부터의 라벨링된 이미지 및 패치 테스트 결과들(즉, 양성 반응들을 야기하는 알레르겐 및 자극물)은 저장된 데이터로서 머신 러닝 시스템으로부터 내보내기된다. 이 프로세스를 개시하기 위해 사용되는 플랫폼에 따라, 데이터는 사용자 스마트 디바이스 상에 로컬로, 컴퓨터 시스템 상에 로컬로, 또는 원격 클라우드 기반 플랫폼 상에 저장될 수 있다.
데이터는 이어서 단계 113에서 제품 필터링 메커니즘으로 전달되며, 이는 제품 카탈로그(114)로부터의 외부 데이터를 포함한다. 제품 카탈로그(114)는 시중에서 입수가능한 제품들(개인 위생용품, 화장품, 약용 화장품, 범용/세정, 직업상), 뿐만 아니라 접촉성 피부염을 야기하는 것으로 알려져 있는 일반적인 제품들(예를 들어, 세제, 가정용 세정제 등)의 목록을 포함한다. 제품 카탈로그(114)는 전성분 리스트들(알레르겐 및 자극물 포함), 제품 사용 의도(예를 들어, 보습제, 선스크린, 샴푸, 세제 등), 고객 평가, 및 가격에 대응하는 데이터를 포함하지만, 이에 제한되지 않는다. 제품 카탈로그(114)로부터의 알려진 제품 성분 리스트들을 패치 테스트 결과들로부터의 데이터와 통합함으로써, 제품 카탈로그(114) 내의 데이터는 단계 115에서 양성 반응을 일으킨 알레르겐 및 자극물을 함유하는 모든 제품들을 제거하도록 필터링될 수 있다. 새로운 제품들이 시중에 빈번하게 출시되기 때문에, 이 리스트는 실시간으로 업데이트될 것이다.
데이터 세트(116)는 이용가능한 사용자 데이터 및 선호도를 포함한다. 예를 들어, 이 데이터는 환자 연령 및 성별; 피부 타입; 사용자 입력을 통해 또는 이미지 분류를 통해 획득되는 색소 및 조직(이를테면 지성/건성 등); 지역(예를 들어, 기후, 온도, 습도 등과 관련됨); 다른 피부 이슈들; 및 사용되는 다른 제품들에 관한 정보를 포함할 수 있지만, 이에 제한되지 않는다. 이 데이터를 안전한 제품 리스트(115)로부터의 데이터와 통합함으로써, 양성 패치 테스트 반응들을 유도한 화학물질을 포함하는 제품들을 배제하는 사용자별 제품 추천이 생성될 수 있다.
이 사용자별 제품 추천은 단순한 "IFTTT(if this, then that)" 기법을 사용하여 생성될 수 있거나, 또는 대신에 머신 러닝 접근법을 사용할 수 있으며, 특징 가중치들은 원하는 출력들을 생성하기 위해 추천 시스템을 트레이닝함으로써 러닝된다. 클러스터링 모델은 또한 데이터 유사성들을 갖는 개인들의 그룹들을 식별하도록 개발될 수 있다. 머신 러닝 및 클러스터링 분석을 사용하는 이들 "스마트" 접근법들은 다변수 복합성을 다루는 것을 돕기 위해 쉽게 명백하지 않은 상관관계들을 식별할 수 있다.
예를 들어, Fitzpatrick 피부 포토타입 II(흰 피부) 및 캐나다 Calgary(통상적으로 저온건조함)에 살고 있는 아토피 피부염(eczema) 병력을 갖는 27세 여성은 IFTTT 기법 또는 머신 러닝 기법에 의해, 그녀가 양성으로 테스트될 수 있는 접촉 알레르겐 및 자극물 중 임의의 것을 배제하는 선스크린 함유(그녀의 더 밝은 피부 포토타입 고려) 보습 크림(더 가벼운 로션 대신, 저온건조 환경 및 아토피 피부염 병력 고려)을 사용하도록 추천될 수 있고, 이 기법은 또한 이들 기준들을 충족시키는 제품들의 목록을 제공할 수 있다. 머신 러닝 접근법을 사용함으로써, 유사한 지역, 연령, 성별 및/또는 다른 변수들을 갖는 개인들이 특정 제품 타입에 대해 더 높은 개인 선호도 스코어들을 갖는 경향이 있는 것으로 또한 결정될 수 있으며, 이는 제품 추천을 가이드하는 것을 도울 수 있다.
이로 인해, 본 시스템은: (1) 사용자가 가정 또는 임상 환경에서 패치 테스트를 수행할 수 있게 하고; (2) 인공 지능에 의해 양성 알레르겐 또는 자극물을 식별하며; (3) 패치 테스트에서 양성으로 테스트된 알레르겐 또는 자극물을 배제할 뿐만 아니라, 피부 관리를 최적화하기 위해 제품 선택에 대한 가이드를 제공하기 위해 사용자 데이터 및 개인 선호도를 통합하는 제품에 대한 컴퓨터 지원 스마트 추천을 제공한다.
예시적인 적용예들
본 시스템은 패치 테스트를 위한 통상의 알레르겐으로 미리 제조된 소비자 등급 패치를 통해 사용될 수 있다. 이러한 패치는 의료 시설 외부의 사용자에게 적용될 수 있고, 패치 테스트 알레르겐 레이아웃은 QR 코드 또는 앱내 제품 선택기를 통해 결정될 수 있다. 다음으로, 패치 테스트 결과가 해석될 당일에 카메라를 갖는 스마트 디바이스를 이용하여 이미지가 사용자에 의해 획득될 수 있고, 이미지는 클라우드 기반 네트워크로 전달될 수 있으며, 이는 피부 접촉 반응들을 식별하기 위해 이미지에 사전 트레이닝된 머신 러닝 모델을 적용한다. 식별된 피부 접촉 반응들을 정의된 패치 테스트 레이아웃과 통합함으로써, 본 시스템은 양성 피부 반응들을 야기하는 알레르겐을 식별하고 라벨링한다.
이 데이터는 이어서 추천 시스템으로 전달되며, 이는 관련 성분 목록들에 기초하여 제품들의 라이브러리를 필터링하고 양성 알레르겐을 함유하는 제품을 제거한다. 사용자가 사용자 프로필을 통해 추가적인 개인 데이터를 제공했다면, 이 개인 데이터는 머신 러닝 또는 IFTTT 기법에 의해 안전한 제품 목록을 정제하여, 안전하고 양성으로 테스트된 개인에 임의의 접촉 알레르겐이 없고 이들의 피부 타입 및 개인 정보 및 선호도와 일치하는 추천 제품들의 맞춤화된 목록을 생성하기 위해 사용된다. 이 추천 제품들의 리스트는 접근되고 시간이 지남에 따라 재방문될 수 있는 추천 제품 리스트로부터의 구매를 용이하게 하기 위해 바로가기 제품 링크들과, 이 정보가 연관된 사용자 프로필에 저장된 사용자의 디바이스에 피드백될 수 있다.
다른 예에서, 상기한 절차는 반복되지만, 사용자 데이터 및 패치 테스트 결과 데이터는 사용자를 위한 맞춤형 피부 관리 제품의 제조를 가능하게 하기 위한 머신 러닝 시스템 또는 다른 기법에 의해 사용된다.
또 다른 예에서, 사용자가 가정용 제품을 바셀린(바셀린 젤리)에 현탁시키고 바셀린을 함유하는 패치를 피부에 적용하는 오픈 적용 테스트가 수행된다. 본 시스템은 이어서 양성 반응이 일어났는지를 결정하기 위해 사용된다. 다음으로, 제품 카탈로그를 사용함으로써, 테스트된 제품은 문제가 될 가능성이 있는 알레르겐, 및 연관된 제품들을 확인하기 위해 (수동으로 또는 자동화된 컴퓨터 기반 기술을 통해) 교차 참조될 수 있다.
추가적인 예에서, 본 시스템은 패치 테스트에 대한 접근이 제한될 수 있는 위치에서 지방/원격 건강 관리 제공자에 의해 사용된다. 통상적인 알레르겐에 의한 사전 제조된 패치 테스트가 환자에 적용되고, 이어서 재방문 시에, 의사는 본 시스템을 사용하여 추후 접근 및 참조 목적을 위해 환자의 전자 의료 기록에 이미지 및 연관된 양성 반응을 저장하고, 환자에 대한 안전한 제품 목록을 생성할 수 있다. 이렇게 하여, 본 시스템은 알레르기 접촉 피부염의 초기 진단 및 관리를 용이하게 하는 한편, 환자는 나중에 추가적인 알레르겐 검사를 위해 필요하다면 전문 센터에 의뢰하기를 기다린다.
추가의 예에서, 본 시스템은 패치 테스트를 제공하는 전문 피부과 센터에서 사용될 수 있으며, 이에 의해 본 기술은 모든 양성 반응을 문서화하고 사용자 정의된 패치 테스트 레이아웃에 기초하여 원인 알레르겐을 신속하게 식별하기 위해 사용된다. 이들 데이터는 이어서 추후 참조를 위해 환자의 전자 의료 기록으로 내보내기될 수 있고, 연관된 맞춤 제품 리스트가 생성될 수 있다. 이는 60개의 개별 패치 테스트 결과들을 수동으로 문서화하고, 이어서 안전한 제품 목록을 수동으로 분류하고 배열하기보다는 패치 테스트 분석 절차가 컴퓨터 보조 기술을 통해 촉진될 수 있게 함으로써, 소정의 기간 내에 더 많은 환자를 볼 수 있게 한다.
패치 설계
도 4는 개시되는 실시예들에 따라 피부 접촉 반응들에 대한 알레르겐 세트를 테스트하는 것을 가능하게 하는 예시적인 패치(400)를 도시한다. 이 패치(400)는 알레르겐 세트(A, B, C, D, E 및 F)를 보유하도록 구성된 웰 세트(401-406)를 포함한다. 웰 세트(401-406)는 알레르겐 세트로 미리 채워진 상태로 운송될 수 있다는 점에 유의한다. 대안적으로, 패치가 환자에 적용되기 전에 사용자가 웰 세트(401-406) 내로 알레르겐 세트를 로딩할 수 있다. 패치는 또한 헤나(henna)와 같은 염료 또는 임시 문신으로 구성된 정합 마크 세트(411-414)를 포함하며, 이는 패치가 환자에 적용될 때 정합 마크들(411-414)이 환자의 피부에 전달되도록 패치 내로 주입된다. 패치는 또한 패치를 착용할 때 환자가 샤워할 수 있게 하도록 방수 코팅(도시되지 않음)을 포함할 수 있다. 패치는 또한 패치가 환자에 적용되기 전에 접착제 섹션들 및 정합 마크들을 노출시키기 위해 박리되도록 구성되는 배킹(도시되지 않음)을 포함할 수 있다. 발명의 내용 섹션에서 언급된 바와 같이, 패치 레이아웃을 정합하기 위한 다수의 다른 대안적인 접근법들이 존재한다.
피부 접촉 반응 검출
도 5는 개시되는 실시예들에 따른 피부 접촉 반응들을 검출하는 프로세스를 도시한 상위 레벨 흐름도를 나타낸다. 동작 동안, 본 시스템은 사용자가 휴대용 디바이스에서의 카메라를 통해 패치 영역의 이미지를 획득할 수 있게 하며, 패치 영역은 환자의 피부 상에 위치되고, 이미지가 획득되기 전에 알레르겐 세트를 함유하는 패치가 일정 기간 동안 패치 영역에 적용되었다가 제거된 것이다(단계 502). 다음으로, 본 시스템은 패치 영역의 결과적인 전처리된 이미지가 미리 특정된 크기 및 배향을 갖도록 이미지를 전처리한다(단계 504). 이어서, 본 시스템은 전처리된 이미지에 대해, 양성 피부 접촉 반응들에 대응하는 패치 영역 중의 구역들을 식별하기 위한 이미지 처리 동작들을 수행한다(단계 506). 마지막으로, 본 시스템은 각 식별된 구역을 구역에 적용되었던 특정 알레르겐으로 라벨링하여, 테스트 결과들을 생성하며, 이 테스트 결과들은 양성 피부 접촉 반응들을 일으킨 특정 알레르겐을 식별한다(단계 506).
개시되는 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 및 범위로부터 벗어나지 않고 다른 실시예들 및 적용예들에 적용될 수 있다. 따라서, 본 발명은 제시되는 실시예들에 제한되지 않고, 본원에서 개시되는 원리들 및 특징들에 부합하는 최광의 범위가 부여되어야 한다.
실시예들에 대한 앞에서의 설명은 예시 및 설명을 위해 제시되었다. 그것들은 철저하거나 본 설명을 개시된 형태들로 제한하는 것으로 의도되지 않는다. 따라서, 많은 변경안들 및 변형안들이 당업자들에게 명백할 것이다. 또한, 상기한 개시는 본 설명을 제한하는 것으로 의도되지 않는다. 본 설명의 범위는 첨부된 청구항들에 의해 정의된다.

Claims (37)

  1. 알레르겐 세트에 대한 피부 접촉 반응들을 검출하기 위한 방법으로서,
    사용자가 휴대용 디바이스에서의 카메라를 통해 패치 영역의 이미지를 획득할 수 있게 하는 단계 ― 상기 패치 영역은 환자의 피부 상에 위치되고, 상기 이미지가 획득되기 전에 상기 알레르겐 세트를 함유하는 패치가 일정 기간 동안 상기 패치 영역에 적용되었다가 제거됨 ―;
    상기 패치 영역의 결과적인 전처리된 이미지가 미리 특정된 크기 및 배향을 갖도록 상기 이미지를 전처리하는 단계;
    미처리 또는 전처리된 이미지에 대해, 양성 피부 접촉 반응들에 대응하는 상기 패치 영역 중의 구역들을 식별하기 위한 이미지 처리 동작들을 수행하는 단계; 및
    각 식별된 구역을 상기 구역에 적용되었던 특정 알레르겐으로 라벨링하여, 테스트 결과들을 생성하는 단계 ― 상기 테스트 결과들은 양성 피부 접촉 반응들을 일으킨 특정 알레르겐을 식별함 ― 를 포함하는, 방법.
  2. 제1항에 있어서, 상기 패치는 상기 이미지가 획득되기 전에 대략 2일간 상기 패치 영역에 적용되었고, 대략 2 내지 3일간 제거된 것인, 방법.
  3. 제1항에 있어서, 상기 사용자가 상기 카메라를 통해 상기 이미지를 획득할 수 있게 하는 단계는:
    상기 카메라에 의해 보여지고 있는 것의 이미지를 사용자에게 디스플레이하는 단계; 및
    상기 사용자가 상기 카메라의 위치를 조정하여 상기 패치 영역 전체의 가시 이미지를 획득할 수 있게 하는 단계를 수반하는 것인, 방법.
  4. 제1항에 있어서, 하나보다 많은 이미지가 획득되고, 상이한 조명 조건들, 피부 톤, 및 피부 조직 변화를 고려하도록 처리되는 것인, 방법.
  5. 제1항에 있어서, 다수의 이미지들이 상이한 시간들에서 획득되는 것인, 방법.
  6. 제1항에 있어서, 상기 이미지를 전처리하는 단계는 다음의 전처리 동작들:
    상기 이미지를 시프트하는 동작;
    상기 이미지를 회전하는 동작;
    상기 이미지를 스케일링하는 동작;
    상기 이미지를 크롭하는 동작;
    상기 이미지의 밝기를 조정하는 동작;
    이미지의 콘트라스트를 조정하는 동작;
    상기 이미지를 베이스라인 피부 톤, 색소 또는 색에 대해 조정하는 동작; 및
    머신 러닝을 사용하여 상기 이미지의 선택된 품질을 향상시키거나 정규화하는 동작 중 하나 이상을 수행하는 단계를 수반하는 것인, 방법.
  7. 제6항에 있어서, 전처리 동작들 중 하나 이상은 상기 패치가 상기 피부에 적용되었던 동안 상기 패치로부터 상기 피부로 전달되었던 패치 정합 마크들을 참조하여 수행되는 것인, 방법.
  8. 제1항에 있어서, 상기 이미지를 전처리하는 단계는 광 조건들, 피부 톤, 및 콘트라스트를 달리하기 위해 머신 러닝 기법을 사용하여 상기 이미지를 정규화하는 단계를 포함하는 것인, 방법.
  9. 제1항에 있어서, 상기 양성 피부 접촉 반응들에 대응하는 상기 패치 영역의 상기 영역들을 식별하기 위한 이미지 처리 동작들을 수행하는 단계는 피부 색/색소 및/또는 피부 조직의 변화에 기초하여 머신 러닝 모델을 사용하여 양성 피부 접촉 반응들을 인식하는 단계를 포함하는 것인, 방법.
  10. 제8항에 있어서, 상기 머신 러닝 모델은 신경망 또는 관련 딥 러닝 아키텍처를 포함하는 것인, 방법.
  11. 제1항에 있어서, 상기 환자에 대한 안전한 제품 추천 세트를 생성하기 위해 상기 테스트 결과들을 사용하여, 알려진 제품 성분들의 목록들에 기초하여 제품 카탈로그를 필터링하는 단계를 더 포함하는, 방법.
  12. 제11항에 있어서, 상기 안전한 제품 추천 세트를 생성하는 단계는 환자 연령, 환자 성별, 환자 피부 타입 및 조직, 기존 피부 관심사, 상기 환자의 현재 또는 선택된 지역의 기후 관련 양태들, 및 상기 환자의 제품 선호도를 포함할 수 있는 환자 데이터 및 선호도를 고려하는 단계를 추가로 수반하는 것인, 방법.
  13. 제12항에 있어서, 상기 안전한 제품 추천 세트는 개별 소매상 또는 브랜드에 대해 또한 맞춰지고/거나 필터링된 개인화된 리스트를 생성하는 것인, 방법.
  14. 제1항에 있어서, 상기 전처리 동작들 및 상기 이미지 처리 동작들은 상기 휴대용 디바이스; 및 원격 클라우드 컴퓨팅 시스템 중 하나 이상에 의해 수행되는 것인, 방법.
  15. 제1항에 있어서, 상기 휴대용 디바이스는 스마트폰, 태블릿 컴퓨터 및 프로세서를 갖는 디지털 카메라 중 하나를 포함하는 것인, 방법.
  16. 알레르겐 세트에 대한 피부 접촉 반응들을 검출하기 위한 시스템으로서,
    사용자가 패치 영역의 이미지를 획득할 수 있게 하도록 구성된 카메라를 포함하는 휴대용 디바이스 ― 상기 패치 영역은 환자의 피부 상에 위치되고, 상기 이미지가 획득되기 전에 상기 알레르겐 세트를 함유하는 패치가 일정 기간 동안 상기 패치 영역에 적용되었다가 제거됨 ―; 및
    처리 메커니즘을 포함하며, 상기 처리 메커니즘은,
    상기 패치 영역의 결과적인 전처리된 이미지가 미리 특정된 크기 및 배향을 갖도록 상기 이미지를 전처리하도록,
    전처리된 이미지에 대해, 양성 피부 접촉 반응들에 대응하는 상기 패치 영역 중의 구역들을 식별하기 위한 이미지 처리 동작들을 수행하도록, 그리고
    각 식별된 구역을 상기 구역에 적용되었던 특정 알레르겐으로 라벨링하여, 테스트 결과들을 생성하도록 ― 상기 테스트 결과들은 양성 피부 접촉 반응들을 일으킨 특정 알레르겐을 식별함 ― 구성된, 시스템.
  17. 제16항에 있어서, 상기 패치는 상기 이미지가 획득되기 전에 대략 2일간 상기 패치 영역에 적용되었고, 대략 2 내지 3일간 제거된 것인, 시스템.
  18. 제16항에 있어서, 상기 사용자가 상기 카메라를 통해 상기 이미지를 획득할 수 있게 하면서, 상기 시스템은:
    상기 카메라에 의해 보여지고 있는 것의 이미지를 사용자에게 디스플레이하며; 그리고
    상기 사용자가 상기 카메라의 위치를 조정하여 상기 패치 영역 전체의 가시 이미지를 획득할 수 있게 하는 것인, 시스템.
  19. 제16항에 있어서, 하나보다 많은 이미지가 획득되고, 상이한 조명 조건들, 피부 톤, 및 피부 조직 변화를 고려하도록 처리되는 것인, 시스템.
  20. 제19항에 있어서, 다수의 이미지들이 상이한 시간들에서 획득되는 것인, 시스템.
  21. 제16항에 있어서, 상기 이미지를 전처리하면서, 상기 시스템은 다음의 전처리 동작들:
    상기 이미지를 시프트하는 동작;
    상기 이미지를 회전하는 동작;
    상기 이미지를 스케일링하는 동작;
    상기 이미지를 크롭하는 동작;
    상기 이미지의 밝기를 조정하는 동작;
    이미지의 콘트라스트를 조정하는 동작;
    상기 이미지를 베이스라인 피부 톤 또는 색에 대해 조정하는 동작; 및
    머신 러닝을 사용하여 상기 이미지의 선택된 품질을 향상시키거나 정규화하는 동작 중 하나 이상을 수행하는 것인, 시스템.
  22. 제21항에 있어서, 전처리 동작들 중 하나 이상은 상기 패치가 상기 피부에 적용되었던 동안 상기 패치로부터 상기 피부로 전달되었던 패치 정합 마크들을 참조하여 수행되는 것인, 시스템.
  23. 제16항에 있어서, 상기 이미지를 전처리하면서, 상기 시스템은 광 조건들, 피부 톤, 및 콘트라스트를 달리하기 위해 머신 러닝 기법을 사용하여 상기 이미지를 정규화하는 것인, 시스템.
  24. 제16항에 있어서, 상기 양성 피부 접촉 반응들에 대응하는 상기 패치 영역의 상기 영역들을 식별하기 위한 이미지 처리 동작들을 수행하면서 ,상기 시스템은 피부 색 및/또는 피부 조직의 변화에 기초하여 머신 러닝 모델을 사용하여 양성 피부 접촉 반응들을 인식하는 것인, 시스템.
  25. 제24항에 있어서, 상기 머신 러닝 모델은 신경망 또는 관련 딥 러닝 아키텍처를 포함하는 것인, 시스템.
  26. 제16항에 있어서, 상기 처리 메커니즘은 상기 환자에 대한 안전한 제품 추천 세트를 생성하기 위해 상기 테스트 결과들을 추가로 사용하여, 알려진 제품 성분들의 목록들에 기초하여 제품 카탈로그를 필터링하는 것인, 시스템.
  27. 제26항에 있어서, 상기 안전한 제품 추천 세트를 생성하면서, 상기 처리 메커니즘은 환자 연령, 환자 성별, 환자 피부 타입 및 조직, 기존 피부 관심사, 상기 환자의 현재 또는 선택된 지역의 기후 관련 양태들, 및 상기 환자의 제품 선호도를 포함할 수 있는 환자 데이터 및 선호도를 추가로 고려하는 것인, 시스템.
  28. 제27항에 있어서, 상기 안전한 제품 추천 세트는 개별 소매상 또는 브랜드에 대해 또한 맞춰지고/거나 필터링된 개인화된 리스트를 생성하는 것인, 시스템.
  29. 제16항에 있어서, 상기 처리 메커니즘은 상기 휴대용 디바이스; 및 원격 클라우드 컴퓨팅 시스템 중 하나 이상 상에 위치되는 것인, 시스템.
  30. 제16항에 있어서, 상기 휴대용 디바이스는 스마트폰, 태블릿 컴퓨터 및 프로세서를 갖는 디지털 카메라 중 하나를 포함하는 것인, 방법.
  31. 피부 접촉 반응에 대한 알레르겐 세트의 테스트를 가능하게 하는 패치로서,
    상기 패치는 상기 알레르겐 세트를 보유하도록 구성된 웰 세트를 포함하고;
    상기 패치를 환자의 피부에 접합시키기 위해 상기 패치 상에 위치된 접착제 섹션들; 및
    상기 패치가 상기 환자에 적용될 때 상기 환자의 피부에 전달되는 정합 마크들을 포함하는, 패치.
  32. 제31항에 있어서, 상기 정합 마크들은 상기 패치 내로 주입되는 염료 또는 임시 문신으로 구성되는 것인, 패치.
  33. 제31항에 있어서, 정합 마크들은 상기 패치가 제거된 후에 일정 기간 동안 상기 피부 상에 남아 있는 이차 접착제 층으로 구성되는 것인, 패치.
  34. 제31항에 있어서, 상기 패치는 방수 코팅을 더 포함하는 것인, 패치.
  35. 제31항에 있어서, 상기 패치는 상기 패치가 상기 환자에 적용되기 전에 상기 접착제 섹션들 및 상기 정합 마크들을 노출시키기 위해 박리되도록 구성되는 배킹(backing)을 더 포함하는 것인, 패치.
  36. 제31항에 있어서, 상기 패치 내의 웰 세트는 상기 알레르겐 세트로 미리 채워진 상태로 운송되는 것인, 패치.
  37. 제31항에 있어서, 상기 패치가 환자에 적용되기 전에 사용자가 상기 웰 세트 내로 알레르겐 세트를 로딩하는 것인, 패치.
KR1020237009027A 2020-08-18 2021-08-03 피부 접촉 반응을 검출하고 연관된 안전한 제품을 추천하기 위한 방법 및 시스템 KR20230052931A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063067256P 2020-08-18 2020-08-18
US63/067,256 2020-08-18
PCT/CA2021/051082 WO2022036437A1 (en) 2020-08-18 2021-08-03 Method and system for detecting skin contact reactions and making associated safe product recommendations

Publications (1)

Publication Number Publication Date
KR20230052931A true KR20230052931A (ko) 2023-04-20

Family

ID=80322318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237009027A KR20230052931A (ko) 2020-08-18 2021-08-03 피부 접촉 반응을 검출하고 연관된 안전한 제품을 추천하기 위한 방법 및 시스템

Country Status (9)

Country Link
US (1) US20230277119A1 (ko)
EP (1) EP4199807A1 (ko)
JP (1) JP2023539475A (ko)
KR (1) KR20230052931A (ko)
CN (1) CN116723799A (ko)
AU (1) AU2021327094A1 (ko)
CA (1) CA3192249A1 (ko)
MX (1) MX2023002058A (ko)
WO (1) WO2022036437A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023070231A1 (en) * 2021-11-01 2023-05-04 All Skin Inc. Prefilled cutaneous patch with landmark
WO2024102364A1 (en) * 2022-11-08 2024-05-16 The Board Of Trustees Of The Leland Stanford Junior University System and method for remote screening and diagnosis of contact allergies

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7942827B2 (en) * 2005-07-11 2011-05-17 Infotonics Technology Center, Inc. Minimally invasive allergy testing system
WO2008086311A2 (en) * 2007-01-05 2008-07-17 Myskin, Inc. System, device and method for dermal imaging
US10244981B2 (en) * 2011-03-30 2019-04-02 SensiVida Medical Technologies, Inc. Skin test image analysis apparatuses and methods thereof
US20150025412A1 (en) * 2013-07-22 2015-01-22 Sherwin A. Gillman Allergy testing system, method and kit

Also Published As

Publication number Publication date
JP2023539475A (ja) 2023-09-14
AU2021327094A9 (en) 2024-05-02
EP4199807A1 (en) 2023-06-28
AU2021327094A1 (en) 2023-04-20
MX2023002058A (es) 2023-07-21
CN116723799A (zh) 2023-09-08
US20230277119A1 (en) 2023-09-07
WO2022036437A1 (en) 2022-02-24
CA3192249A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
JP7395604B2 (ja) 深層学習を用いた自動的な画像ベースの皮膚診断
CA3015492C (en) Systems and methods for providing customized product recommendations
US7324668B2 (en) Feature extraction in beauty analysis
CN102027449B (zh) 用于基于光谱卷积的光-物质相互作用的分析的系统和方法
CN101686819B (zh) 皮肤成像的系统、装置和方法
US6761697B2 (en) Methods and systems for predicting and/or tracking changes in external body conditions
US7437344B2 (en) Use of artificial intelligence in providing beauty advice
US20030065578A1 (en) Methods and systems involving simulated application of beauty products
Kshirsagar et al. MRI image based brain tumor detection using machine learning
US20030065552A1 (en) Interactive beauty analysis
KR20230052931A (ko) 피부 접촉 반응을 검출하고 연관된 안전한 제품을 추천하기 위한 방법 및 시스템
CN108597604A (zh) 一种基于云数据库的色素障碍性皮肤病分类专家系统
JP2006516338A (ja) 小売店の顧客に個別プログラムを提供する方法
US20030065526A1 (en) Historical beauty record
Vocaturo et al. On the usefulness of pre-processing step in melanoma detection using multiple instance learning
US20030064356A1 (en) Customized beauty tracking kit
Messadi et al. Extraction of specific parameters for skin tumour classification
Thamizhvani et al. Mobile application-based computer-aided diagnosis of skin tumours from dermal images
Bayramova et al. Photographing alopecia: how many pixels are needed for clinical Evaluation?
Lihacova et al. Challenges of automatic processing of large amount of skin lesion multispectral data
Dhoundiyal et al. Harnessing CNNs for Accurate Skin Disease Identification
UmaRani et al. Automated Multiclass Dermatological Diagnosis Prediction using Improved Mobile-Net Model
Mohd Arman Skin lesions detection using Convolutional Neural Network
Carneiro Artificial intelligence for tattoo removal treatment planning
Dhuru et al. The Detection of Diabetic Retinopathy in Human Eyes Using Convolution Neural Network (CNN)