KR102550665B1 - 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법 - Google Patents

마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법 Download PDF

Info

Publication number
KR102550665B1
KR102550665B1 KR1020220079818A KR20220079818A KR102550665B1 KR 102550665 B1 KR102550665 B1 KR 102550665B1 KR 1020220079818 A KR1020220079818 A KR 1020220079818A KR 20220079818 A KR20220079818 A KR 20220079818A KR 102550665 B1 KR102550665 B1 KR 102550665B1
Authority
KR
South Korea
Prior art keywords
color
companion animal
wheal
coordinates
image
Prior art date
Application number
KR1020220079818A
Other languages
English (en)
Other versions
KR20220097375A (ko
Inventor
고정욱
이아영
임연철
반용욱
김형진
Original Assignee
주식회사 핏펫
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핏펫 filed Critical 주식회사 핏펫
Priority to KR1020220079818A priority Critical patent/KR102550665B1/ko
Publication of KR20220097375A publication Critical patent/KR20220097375A/ko
Application granted granted Critical
Publication of KR102550665B1 publication Critical patent/KR102550665B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/411Detecting or monitoring allergy or intolerance reactions to an allergenic agent or substance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0035Vaccination diagnosis other than by injuring the skin, e.g. allergy test patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • A61B5/1034Determining colour for diagnostic purposes by means of colour cards
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B2010/0003Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements including means for analysis by an unskilled person
    • A61B2010/0006Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements including means for analysis by an unskilled person involving a colour change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40Animals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Vascular Medicine (AREA)
  • Immunology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dermatology (AREA)
  • Image Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 반려동물 알레르기 진단 시스템은, 알레르기 항원을 포함하는 니들 구조물 및 위치 추적용 마커를 포함하는 마이크로 니들 패치; 상기 마이크로 니들 패치에 의하여 팽진된 반려동물의 피부 이미지를 획득하는 이미지 획득부; 상기 위치 추적용 마커의 이미지에 기초하여 상기 마이크로 니들 패치 중 검색 영역을 추출하는 검색 영역 추출부; 상기 검색 영역에서 상기 반려동물의 원피부색 및 팽진된 피부 부분의 팽진색을 추출하는 추출부; 및 상기 팽진색에 기초하여 반려동물의 알레르기 여부를 분석하는 분석부를 포함할 수 있다.

Description

마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법{A METHOD AND SYSTEM FOR MEASURING ALLERGIC SYMPTOM ANALYSIS USING MICRO-NEEDLE PATCH}
본 발명은 마이크로 니들 패치를 이용하여 반려동물의 알레르기를 진단하기 위한 시스템 및 방법에 관한 것이며, 보다 상세하게는, 마이크로 니들 패치 및 휴대용 카메라장치 또는 휴대폰을 이용하여 반려동물의 알레르기를 정확하고 빠르게 진단할 수 있는 방법 및 시스템에 관한 것이다.
최근 라이프스타일이 1인 가구의 형태로 변화되고 있는 추세이며, 1인 가구는 나날이 증가하고 있다. 1인 가구의 증가와 함께 반려동물에 대한 수요가 급증하면서 관련 시장 역시 급속도로 성장하고 있다. 또한, 반려동물의 수요 증가와 함께 반려동물의 건강 관리에 대한 관심도 나날이 증가하고 있다.
반려동물의 건강 관리를 위해서는 주기적인 검진이 요구되지만, 매번 동물 병원을 방문해야 하는 시간상 문제, 높은 검진 비용 문제 등 다양한 이유로 부담을 준다는 문제점이 있었다. 이에, 자가 진단 키트를 이용하여 가정에서 자가 진단을 할 수 있는 기술이 개발되었으나, 대부분의 자가 진단 키트는 혈액을 채취하여 진단되기 때문에 일반인이 사용하기에는 다소 번거로움이 있었다.
상술한 종래 자가 진단 키트의 단점을 해결하기 위하여 개발된 것이 "반려동물 건강진단키트(등록특허 제10-1720203호)"이다.
종래기술의 반려동물 건강진단키트는 반려동물의 대소변을 흡수하는 패드부에 건강진단키트를 구비하여 반려동물의 질병 정보를 대략적으로 분석할 수 있도록 구성된다. 하지만, 위의 반려동물 건강진단키트는 기본적인 질병 진단을 할 수 있을 뿐, 알레르기 등 전문적인 진단을 하기는 어렵다. 또한, 사용자가 사용 시 패드에 고정밴드를 이용하여 건강진단키트를 고정시키는 등 설치 상 번거로움이 존재한다. 또한, 패드부로부터 반려동물의 대소변이 완벽하게 건강진단키트로 흡수되지 않거나, 얼룩지게 흡수될 경우 정확한 진단결과를 얻기 어렵기 때문에 진단의 정확도가 떨어질 수 있다는 단점을 가지고 있다.
한편, 기존의 진단 시스템에서는 전문적인 알레르기 검진 시스템은 없었다. 그리고, 기존의 소변 진단 키트를 스마트폰으로 촬영하여 진단하는 시스템들은 소변 진단을 위하여 시약의 변색여부만 판단하면 될 뿐이고, 알레르기 검진 시스템과 같이 팽진색, 팽진 크기, 팽진 영역을 도출해야 할 필요가 전혀 없는 발명이므로, 기존의 진단 시스템을 반려동물의 알레르기 진단 시스템에 적용하는 것은 매우 어려웠다. 따라서, 반려동물의 알레르기 검진에 대하여 사용이 용이하면서도 전문적인 진단을 내려주는 시스템이 절실하게 요구되고 있다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안된다.
따라서, 본 발명이 해결하고자 하는 과제는 반려동물 피부에 마이크로 니들 패치를 부착하여 알레르기 반응을 피부의 일부에 일으킨 후, 이에 대한 이미지를 획득하여 간단하게 반려동물의 알레르기를 검진할 수 있는 시스템을 제공하는 것을 목적으로 한다.
특히, 이미지 센서로 촬영될 때 이상적인 환경이 아니면 왜곡된 색상이 나타날 가능성이 높아 오진의 확률이 높아지는 바, 본 발명은 색공간 변환에 기초하여 정확한 색상을 검출하는 반려동물 알레르기 진단 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명이 해결하고자 하는 과제는 검사 영역의 알레르기 반응 변화량을 추출함으로써 각종 알레르기 검진 방해요소에도 불구하고 정확한 결과 도출이 가능한 알레르기 진단 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 패치에 부착된 레퍼런스 색을 기준으로 크로마틱 어댑테이션을 적용함으로써 주변 환경과 무관하게 일정한 결과 값을 제공할 수 있는 반려동물의 알레르기 검출 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 최소화된 리소스로 신뢰성 높은 실시간 검사를 수행함에 따라 시장 경쟁력을 효과적으로 향상시킬 수 있는 색공간 변환을 이용한 생화학 정보 측정 방법을 제공하는 것이다.
한편, 본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 반려동물 알레르기 진단 시스템은, 알레르기 항원을 포함하는 니들 구조물 및 위치 추적용 마커를 포함하는 마이크로 니들 패치; 상기 마이크로 니들 패치에 의하여 팽진된 반려동물의 피부 이미지를 획득하는 이미지 획득부; 상기 위치 추적용 마커의 이미지에 기초하여 상기 마이크로 니들 패치 중 검색 영역을 추출하는 검색 영역 추출부; 상기 검색 영역에서 상기 반려동물의 원피부색 및 팽진된 피부 부분의 팽진색을 추출하는 추출부; 및 상기 팽진색에 기초하여 반려동물의 알레르기 여부를 분석하는 분석부를 포함할 수 있다.
이 경우, 상기 마이크로 니들 패치는 상기 니들 구조물을 구비하는 마이크로 니들 어레이를 포함하며, 상기 이미지 획득부가 이미지를 획득하기 위하여 카메라에 의하여 촬영할 때에 제거 가능한 는 상부필름; 및 상기 마이크로 니들 어레이가 상기 반려동물의 피부와 접촉할 수 있도록 대응되어 개구된 개구부, 및 팽진 비교색을 포함하는 반응 비색표, 표준 색상들을 포함하는 크로마틱 어댑테이션 비색표 및 상기 위치 추적용 마커를 포함하는 하부필름을 포함할 수 있다.
또한, 상기 개구부는 주위에 검은색 실선이 인쇄되며, 상기 검색 영역 추출부는 상기 검은색 실선에 기초하여 상기 개구부를 구분할 수 있다.
또한, 상기 반려동물 알레르기 진단 시스템은 크로마틱 어댑테이션부를 더 포함하며, 상기 크로마틱 어댑테이션부는 상기 크로미틱 어댑테이션 비색표에 기초하여 화이트 밸런싱 및 색좌표 변환을 수행할 수 있다.
또한, 상기 크로마틱 어댑테이션부는, 아래의 수학식 4 내지 수학식 7에 기초하여, 상기 색좌표의 변환을 수행할 수 있다.
(수학식 4)
Figure 112022068051288-pat00001
(이 때, Xo, Yo, Zo은 XYZ 색좌표 상에서의 값, R,G,B는 RGB 색좌표에서의 값, [MRGB→XYZ]는 RGB 색좌표를 XYZ 색좌표로 변환하는, 예컨대, 3x3 변환 행렬)
(수학식 5)
Figure 112022068051288-pat00002
(이 때, XF, YF, ZF는 XYZ좌표 상에서 갖는 이상적인 흰색 값,
Figure 112022068051288-pat00003
는 레퍼런스 흰색을 이상적인 흰색 값으로 변환하는 예컨대, 3x3 변환 행렬. Xo, Yo, Zo은 XYZ좌표 상에서 갖는 레퍼런스 흰색 값)
(수학식 6)
Figure 112022068051288-pat00004
(여기서,
Figure 112022068051288-pat00005
는 레퍼런스 흰색을 이상적인 흰색 값으로 변환하는 예컨대, 3x3 변환 행렬, [MXYZ→LMS]는 XYZ 좌표에서 LMS 좌표로 변환하는 3x3 변환 행렬, [MXYZ→LMS]-1는 [MXYZ→LMS]의 역변환 행렬)
(수학식 7)
Figure 112022068051288-pat00006
(여기서, LO, MO, SO은 LMS 색좌표 상에서의 값, LF, MF, SF는 LMS좌표 상에서 갖는 이상적인 흰색 값)
또한, 상기 반려동물 알레르기 진단 시스템은 데이터 변환부를 더 포함하며, 상기 데이터 변환부는 이미지의 데이터 사이즈를 대략 3의 N 배수 bytes(단, N은 검출하기 위한 알레르기의 개수)로 전송할 수 있다.
또한, 상기 반려동물 알레르기 진단 시스템은 검출 영역 분할부를 더 포함하며, 상기 검출 영역 분할부는 상기 개구부의 이미지를 복수의 영역으로 분할하고, 각 분할된 영역의 중앙부에서 색상을 샘플링하고, 상기 데이터 변환부는 각 분할된 영역의 중앙부에서 샘플링된 색상을 컨볼루션하여 하나의 개구부의 검출 영역에서 하나의 대표값을 산출할 수 있다.
또한, 상기 분석부는 색공간 변환 엔진 및 색공간 분석 엔진을 포함하며, 상기 색공간 분석 엔진은 동적 랜덤 노드 트리 알고리즘을 사용하여 색공간을 분석하되, 상기 동적 랜덤 노드 트리 알고리즘은, 랜덤한 개수의 복수의 색공간을 선택한 뒤, 선택된 복수의 색공간 중 반응 비색표의 색상과 팽진색의 차이가 가장 작아지는 색공간을 찾는 색공간 검색 단계; 상기 색공간 검색 단계를 정해진 회수 만큼 반복하여 참조 색공간을 검색하는 참조 색공간 검색 단계; 및 상기 참조 색공간 검색 동작을 소정의 회수 만큼 반복하여 가장 많이 검색된 참조 색공간을 찾는 단계를 포함하고 상기 색공간 변환 엔진은 최초 획득한 이미지의 색좌표를 최초 색공간에서 상기 가장 많이 검색된 참조 색공간의 색좌표로 변환할 수 있다.
따라서, 본 발명에 따르면, 반려동물 피부에 마이크로 니들 패치를 부착하여 알레르기 반응을 피부의 일부에 일으킨 후, 이에 대한 이미지를 획득하여 간단하게 반려동물의 알레르기를 검진할 수 있는 시스템을 제공할 수 있다.
또한, 본 발명에 따르면, 이미지 센서로 촬영될 때 이상적인 환경이 아니면 왜곡된 색상이 나타날 가능성이 높아 오진의 확률이 높아지는 바, 색공간 변환에 기초하여 정확한 색상을 검출하는 반려동물 알레르기 진단 방법이 제공된다.
또한, 본 발명에 따르면, 검사 영역을 분할하여 분할된 팽진 영역의 색상에 대한 합성곱을 취하여 원하는 영역의 색상 전체 데이터 없이도 왜곡없는 R, G, B 대표값을 추출함으로써 얼룩 등의 각종 알레르기 검진 방해 요소에도 불구하고 정확한 결과 도출이 가능한 알레르기 진단 방법을 제공하는 것이다.
또한, 본 발명에 따르면, 크로마틱 어댑테이션을 적용함으로써 주변 환경과 무관하게 일정한 결과 값을 제공할 수 있는 색공간 변환을 이용한 반려동물의 알레르기 검출 방법을 제공하는 것이다
또한, 본 발명에 따르면, 최소화된 리소스로 신뢰성 높은 실시간 검사를 수행함에 따라 시장 경쟁력을 효과적으로 향상시킬 수 있는 색공간 변환을 이용한 생화학 정보 측정 방법을 제공하는 것이다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 알레르기 진단 시나리오를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 알레르기 진단 시스템의 사용자 단말 및 분석 서버(분석부)를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 마이크로 니들 패치를 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 팽진 비교색을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 사용자 단말 및 서버가 조합된 환경에서의 알레르기 분석이 동작되는 과정을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 데이터 변환 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른채 검출 영역을 분할하고 합성곱을 이용하여 잠재 색상을 추출하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 위치 추적을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 패치 부착 위치를 가이드하기 위한 화면을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 랜덤 노드 트리 알고리즘을 나타내기 위한 순서도이다.
도 11a 및 도11b는 본 발명의 일 실시예에 따른 랜덤 노드 트리 알고리즘 중 참조 색공간 검색을 설명하기 위한 도면이다.
도 12 및 13은 본 발명의 일 실시예에 따른 깊이 연산 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 알레르기 진단 시스템의 사용자 단말 및 분석부를 나타낸 블록도이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 도 1 내지 도 3을 참조하여 본 발명의 알레르기 진단 시스템 및 구성요소를 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 알레르기 진단 시나리오를 나타낸 도면이다. 도 2는 본 발명의 일 실시예에 따른 알레르기 진단 시스템의 사용자 단말 및 분석 서버(분석부)를 나타낸 블록도이다. 도 3은 본 발명의 일 실시예에 따른 마이크로 니들 패치를 상세하게 나타낸 도면이다.
전체적인 반려동물의 알레르기 진단 시나리오는 도 1과 같다.
본 발명의 일 실시예에 따른 알레르기 진단 시스템은 사용자 단말(100), 마이크로 니들 패치(200) 및 알레르기 분석 서버(900)를 포함하며, 마이크로 니들 패치(200)는 니들 형태의 알레르기 항원(240)을 포함하는 마이크로 니들 어레이(230)를 포함한다.
본 발명의 일 실시예에 따른 알레르기 진단 방법에서는 마이크로 니들 어레이(230)를 성형하여 마이크로 니들 패치(200)을 제작하고, 마이크로 니들 패치(200)를 피검사대상인 반려동물의 피부에 부착한다. 바람직하게는 마이크로 니들 패치(200)는 반려동물의 피부가 노출된 부위(배 등)에 직접 부착되거나 또는 반려동물의 털 중 일부분을 제모한 뒤, 제모된 부위에 부착한다. 그리고, 마이크로 니들 패치(200)의 상부필름을 제거한 후, 사용자 단말(100)의 이미지 획득부(101)에서 이미지를 획득한다. 스마트폰의 앱 또는 스마트폰의 앱과 연결된 알레르기 분석 서버(900)(분석부)는 획득된 이미지를 분석하여 반려동물의 알레르기의 종류 및 정도를 분석 및 진단할 수 있다.
이 때, 폴리머 마이크로 니들 어레이(230)의 니들 구조물은 정밀 3D 프린터를 통해 성형된 마이크로 니들 부위가 50~800um 깊이인 마이크로 니들 몰드(250)에 의해 제작되거나 또는 고해상도 CO2 레이저 커터를 이용한 아크릴 몰드를 열적 인장 성형(Thermal Drawing)을 이용하여 제작한다.
또한, 알레르기 항원(240)은 예컨대, 마이크로 니들 몰드(250)를 통하여 마이크로 니들 형태의 구조물로 성형될 수 있다. 이 경우, 알레르기 항원(240)은 반려동물의 다양한 알레르기 유발 물질(240-1, 240-2, 240-3), 예를 들어, 강아지의 경우, 꽃가루, 집진드기, 곰팡이 포자, 타 반려동물 또는 사람으로부터 강아지의 염증을 유발할 수 있는 물질, 또는 특정 식품 재료(쇠고기, 닭고기, 옥수수, 밀, 콩 등) 등 다양한 물질에서 추출한 단백질을 이용하여 만들 수 있다. 또한, 피부 삽입 시, 강성을 유지하기 위하여, 니들 구조물은 알레르기 항원(240) 단백질과 다른 물질을 결합하여 니들 형태로 성형하거나 또는 다공성 물질로 니들의 골격 형태를 생성한 후, 다공성 물질의 빈틈 부위에 알레르기 항원(240) 물질을 채워서 제작할 수도 있다.
한편, 마이크로 니들 어레이(230)는 서브 어레이(210)를 가질 수 있는데, 서브 어레이(210)는 단일 알레르기 항원(240)으로 제작될 수 있으며, 추후에 설명될 개구부(210)에 대응되도록 제작될 수 있다.
한편, 반려동물의 알레르기 진단을 진행하려는 검사자는 사용자 단말(100)을 통해 마이크로 니들 패치(200)에 의하여 팽진된 피부를 촬영하여 이미지를 획득한다.
도 2를 참조하면, 본 발명의 일실시예에 따른 사용자 단말(100)은 이미지 획득부(101), 크로마틱 어댑테이션부(103), 검출 영역 분할부(104), 팽진색 추출부(105), 깊이 연산부(106), 데이터 변환부(107), 검출 영역 추출부(108), 통신부(109), 출력부(110) 및 데이터 베이스(112)를 포함할 수 있다. 여기서, 이미지 획득부(101), 크로마틱 어댑테이션부(103), 검출 영역 분할부(104), 팽진색 추출부(105), 깊이 연산부(106), 데이터 변환부(107), 검출 영역 추출부(108), 통신부(109), 출력부(110) 및 데이터 베이스(112)는 소프트웨어, 소프트웨어 모듈, 하드웨어, 하드웨어 모듈 또는 소프트웨어 및 하드웨어 모듈의 결합으로 이루어질 수 있다.
한편, 본 실시예에서 알레르기에 대한 진단을 위한 분석부는 알레르기 분석 서버(900)에 구현되며, 나머지 구성은 사용자 단말(100)에서 구현되는 것으로 설명된다. 그러나, 사용자 단말(100)의 모든 구성들은 적절한 자원 배분을 위하여 일부 구성은 사용자 단말(100) 또는 알레르기 분석 서버(900) 내에 선택적으로 구현될 수 있다.
사용자 단말(100)(이하, '알레르기 진단용 장치' 또는 '자가 진단 장치'라고도 함)은 다양한 형태의 단말일 수 있으며, 클라이언트(client)로서 알레르기 분석 서버(900)와 데이터 송수신이 가능하며, 알레르기 진단 관련 데이터들을 송수신할 수 있는 단말 또는 어플리케이션 프로그램 등의 하드웨어, 소프트웨어 컴포넌트, 또는 하드웨어 및 소프트웨어의 조합을 포괄하는 개념으로 이해될 수 있다. 예컨대, 사용자 단말(100)은 스마트폰, 스마트 워치(watch), 태블릿 PC, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등 다양한 종류의 이동형(portable) 단말일 수 있고, 노트북, 데스크탑 등의 고정형(Stationary) 단말일 수도 있다. 다만, 알레르기 분석 서버(900)의 분석 정보를 송수신하여 디스플레이하거나 각종 방법으로 알레르기 분석 정보를 표시할 수 있는 단말이라면 모두 가능하다.
알레르기 분석 서버(900)는 사용자 단말(100)로부터 마이크로 니들 패치 (220) 및 마이크로 니들 패치에 의하여 팽진된 피부에 대한 이미지를 수신하여 색공간의 변환 및 색공간의 분석을 통하여 반려동물의 알레르기의 종류 및 정도를 분석하는 서버이다.
이미지 획득부(101)는 사용자 단말(100)로부터 마이크로 니들 패치(200)에 의해 팽진된 피부 대한 이미지 혹은 영상을 획득하기 위한 구성으로, 예컨대, 카메라 모듈(102)을 포함할 수 있다. 카메라 모듈(102)은 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 처리된 화상 프레임은 후술되는 디스플레이 모듈(111)에 표시되거나 데이터 베이스(112)에 저장될 수 있다. 카메라 모듈(102)은 단말기의 형태에 따라 1개 또는 그 이상으로 구성될 수 있다.
도 3를 참조하면, 마이크로 니들 패치(200)는 바람직하게는 도 3(b)와 같이 상부필름(207) 및 하부필름(208)을 포함할 수 있다.
상부필름(207)은 불투명한 경우에 패치 아래의 피부 상태를 알기가 어려운 바, 투명한 재질로 제작될 수 있다. 하부필름(208)은 무광 회색 점착지로 제작될 수 있다. 이는 상부필름(207) 제거 후 촬영 시, 반사광을 최소로 입사되도록 하여 분석에 지장을 주지 않기 위함이다. 이 때 상부필름(207)은 마이크로 니들 어레이(230) 및 참조 패치(Reference Patch, 202)를 포함하고, 하부필름(207)은 반응 비색표(203), 크로마틱 어댑테이션 비색표(204), 위치 추적용 마커(205) 및 마이크로 니들 어레이(230) 및 참조 패치와 대응되는 개구부(206)를 포함한다.
상부필름(207)에는 알레르기 유발 물질 단백질을 예컨대, PEG, PLGA, PVP 등의 생분해성 폴리머와 혼합한 니들(needle) 구조물을 일정 간격으로 배치한 마이크로 니들 어레이(230)와 참조 패치(202)를 포함한다. 이 경우, 마이크로 니들 어레이(230)는 서로 다른 약물로 니들 구조물이 형성된 서브 어레이(210)들을 포함할 수 있다. 생분해성 폴리머는 알레르기 유발 물질에서 추출한 단백질과 잘 혼합될 수 있는지 여부와 반려동물의 피부에 삽입될 수 있는 강도를 가지는지 여부를 고려하여 선택된다.
참조 패치(202)는 마이크로 니들이 없는 부분으로 상부필름을 하부필름과 분리했을 경우에 원피부색을 참조할 수 있도록 하기 위한 패치 부분이다. 단, 정확한 참조를 위해 피부의 다른 부분과도 동일한 조건을 주어야 하기 때문에 마이크로 니들 어레이(230)의 니들 후면 부위의 색상과 동일한 색상으로 제작한다.
사용자는 약물이 충분히 주입되었다고 생각되는 일정 기간 경과 후, 피부의 반응을 더욱 잘 보기 위하여 상부필름(207)을 제거한 후 스마트폰으로 촬영할 수 있다.
하부필름(208)의 반응 비색표(203)는 반응의 정도를 참조하기 위한 것이며, 예를 들어, 도 4에 나타낸 팽진 비교색과 같이 제작될 수 있다. 이 경우, 예를 들어, 팽진색 및 팽진 크기의 단계를 나누어서, 1단계의 팽진 비교색은 원피부색과 비슷하고, 팽진이 거의 일어나지 않은 경우, 2단계는 2단계 팽진 비교색과 유사한 팽진이 일어나고, 개구 영역의 30% 정도의 크기를 가지는 경우, 3단계는 3단계 팽진 비교색과 유사한 팽진이 일어나고, 개구 영역의 50% 정도의 크기로 팽진되는 경우, 4단계는 4단계 팽진 비교색과 유사한 팽진이 일어나고, 개구 영역의 80% 이상의 크기를 가지는 경우 등으로 알레르기의 정도를 분류할 수 있다. 알레르기 분석 서버(900)는 반응 비색표(203)의 팽진 비교색과 팽진된 피부의 색상을 비교하여 알레르기 물질에 의하여 유발된 팽진색을 확인할 수 있다.
한편, 팽진색 추출부(105)는 종류별로 다양한 피부색을 가지는 다양한 반려동물을 지원하기 위하여 원피부색과 팽진 비교색의 차이를 추출하여 보정값을 생성할 수 있다.
크로마틱 어댑테이션 비색표(204)는 표준 흰색을 인쇄한 것으로 이상적인 흰색의 이미지를 이용하여 주변 환경에 의한 색 발현 정도를 일반화(Normalization)하기 위한 참조색이다.
위치 추적용 마커(205)는 개구 영역을 관심 영역으로서 찾기 위한 구성이다. 반려동물의 피부 부위는 평면이 아니고 굴곡이 있으므로 검색 영역 추출부(108)는 위치 추적용 마커(205)를 이용하여 이러한 굴곡을 연산하여 관심 영역의 위치를 정확하게 찾을 수 있다.
개구부(206)는 마이크로 니들 어레이(230)와 대응되는 부분이며, 상부필름이 제거되고 촬영될 때에 피부가 팽진된 부분이 드러나는 부분이다. 이 경우, 개구부(206)의 이미지의 분석 시 관심 영역이 될 수 있다. 따라서, 개구 영역을 찾는 것은 매우 중요하므로, 개구 영역을 확실하게 표시하기 위하여 개구부(206)의 주위에 검은색 실선을 인쇄할 수 있다. 검색 영역 추출부(108)는 상기 검은색 실선에 기초하여 개구 영역을 구분할 수 있다. 바람직하게는 위치 추적용 마커(205)는 각 개구부(206)들의 주변에 배치하여 검색 영역 추출부(108)가 관심 영역을 용이하게 찾을 수 있도록 한다.
다시 도 2를 참조하면, 크로마틱 어댑테이션부(103)는 저장된 이미지의 주변 환경에 의한 색 발현 정도를 일반화(Normalization)하는 구성이다. 구체적으로, 크로마틱 어댑테이션부(103)는 이미지 획득 시 주변 환경과 무관하게 신뢰성 높은 이미지를 획득하기 위해 크로마틱 어댑테이션 알고리즘(Color Constancy Algorithm)을 이용한다.
검출 영역 분할부(104)는 획득한 이미지에 포함된 개구부(206)의 개구 영역을 분할하여 유효 영역을 검출하는 구성이다. 유효 영역이란 알레르기 분석을 위해 실질적으로 사용되는 영역을 의미하는 것으로서, 팽진색이 발현된 영역을 의미한다. 마이크로 니들 패치(200)의 개구부(206) 각각은 후술되는 도 5에 도시된 바와 같이, 복수의 서브셀(SP)로 나뉠 수 있다. 서브셀(SP)은 정사각형 형태의 셀이며, 크기가 작을수록 알레르기 분석에 대한 정확도가 향상된다. 예컨대, 서브셀(SP)의 크기는 개구부(210)의 한 변 길이의 대략 1/10정도 이상이며, 당업자에 따라 용이하게 설계변경 가능하다.
본 발명에서 검출 영역 분할부(104)는 사용자 단말(100)에 구현되는 것을 기본으로 하나, 실시예에 따라 알레르기 분석 서버(900)에서 구현될 수도 있다.
팽진색 추출부(105)는 반응 비색표(203), 크로마틱 어댑테이션 비색표(204), 개구부(206)의 색상을 추출한다. 이 경우, 반응 비색표(203) 및 크로마틱 어댑테이션 비색표(204)와 개구부(210)의 잠재 색상은 서로 다른 방식으로 추출될 수 있다. 반응 비색표(203) 및 크로마틱 어댑테이션 비색표(204)의 색상은 각 비색표 셀의 중앙 지점의 컬러 추출 포인트에서 RGB 값을 획득하게 된다. 개구부(206)는 알레르기 반응 및 음영, 피부 반점 등의 주변 환경에 따라 변화된 색상이 나타날 수 있다. 그러나, 반응 비색표(203) 및 크로마틱 어댑테이션 비색표(204)의 경우에는 정해져 있는 흰색으로 표준 데이터가 있기 때문에 주변 환경에 따른 색상 변화에 대한 보정이 가능하므로 추가 작업 없이 중앙부에서 추출된 팽진색을 그대로 활용할 수 있다.
한편, 개구부(206)의 색상의 경우에는 팽진색 추출부(105)는 검출 영역 분할부(104)로부터 분할된 개구부(206)의 유효 영역에서 잠재 색상(Potential Color)를 추출할 수 있다. 잠재 색상이란 다양한 사용자 환경에 의해 변화된 색의 본래 특징을 구분할 수 있게 표현된 컬러를 의미할 수 있다. 여기서, 다양한 사용자 환경은 그림자, 반사광, 색온도, 카메라 모듈, 모바일 장치 자체 ISP 등일 수 있다. 잠재 색상은 반려동물 피부의 얼룩을 제외한 유효 영역에서 추출 빈도가 가장 높은 색을 잠재 색상으로서 정의한다.
팽진색 추출부(105)는 합성곱(이하, '컨볼루션(Convolution)'이라고도 함)을 이용함으로써 반려동물 피부의 얼룩 등의 영향을 최소화할 수 있다.
또는 팽진색 추출부(105)는 추출한 잠재 색상 중에서 추출 빈도수가 가장 높은 색 몇가지를 추출하여 잠재적 RGB 값을 추출한다. 본 발명에서 팽진색 추출부(105)는 사용자 단말(100)에서 구현되는 것을 기본으로 하나, 실시예에 따라 사용자 단말(100) 또는 알레르기 분석 서버(900)에서 구현될 수도 있다.
한편, 팽진색 추출부(105)는 참조 패치(202)에 대응되는 개구부(206)에서 추출한 색상을 바탕으로 원피부색도 추출할 수 있다.
깊이 연산부(106)는 팽진색 추출부(105)에서 추출한 팽진색과 원피부색에 기초하여 팽진된 부분의 깊이를 연산할 수 있다. 깊이 연산부(106)의 연산에 대해서는 상세하게 후술하기로 한다.
데이터 변환부(107)는 통신부(109)에 의해 이미지를 알레르기 분석 서버(900)로 전송하기 전에 이미지를 짧은 문자열 또는 숫자열로 변환시켜주는 구성이다. 이미지는 알레르기 분석 서버(900)로 전송될 때, 스케일하거나 크기 변환(resize)되는데 단말기 마다 카메라 모듈(102)의 해상도가 상이하기 때문에 전송 딜레이가 발생할 수 있다. 즉, 이미지는 네트워크 환경 또는 모바일 기기의 퍼포먼스 등에 따라 전송 속도 등에 영향을 받을 수 있다.
이에, 데이터 변환부(107)는 이미지 자체를 알레르기 분석 서버(900)로 전송하는 것이 아니라 이미지를 짧은 문자열 또는 숫자열로 변환함으로써 네트워크 환경(예컨대, 네트워크 음영 구간, 또는 레거시 장치)에 구애 받지 않고, 즉, 네트워크 환경의 의존도가 최소화된 상태에서 안정적인 결과를 출력할 수 있다.
데이터 변환부(107)는 이미지의 데이터 사이즈를 대략 3의 N 배수 bytes로 최소화할 수 있다. N은 검출하기 위한 알레르기의 개수이며, 본 발명에서는 설명의 편의를 위하여 array[12][3]의 이미지 데이터를 갖는 이미지를 사용하였기 때문에 36 bytes의 길이를 갖는 문자열로 변환하는 것으로 설명하였으나, 이미지의 데이터 사이즈가 달라지는 경우에는 문자열의 길이가 변동될 수 있다. 이와 관련된 상세한 설명은 후술하기로 한다. 본 발명에서 데이터 변환부(106)는 사용자 단말(100)에서 구현되는 것을 기본으로 하나, 실시예에 따라 알레르기 분석 서버(900)에서 구현될 수도 있다.
또한, 데이터 변환부(107)는 팽진색 추출부(105)에 의해 추출된 복수의 잠재적 RGB 값을 시료 검사 항목 수에 따른 어레이(array)로 변환할 수 있다. 어레이로 변환된 잠재적 RGB 값은 알레르기 분석 서버(900)로 전달된다.
분석부(900-1)는 사용자 단말(100) 또는 알레르기 분석 서버(900)로부터 수신한 이미지에 대한 잠재적 RGB 값을 다양한 색공간(Color space)를 사용하여 변환하고 분석하는 선택적인 구성이다. 단, 본 실시예에서는 분석부(900-1)에서 분석하지 않고, 분석 서버(900)에서 분석하는 것으로 기재하였다.
예컨대, 다양한 색공간은 RGB(Red, Green, Blue) 색공간, HSV(Hue, Saturation, Value) 색공간, HSL(Hue, Saturation, Lightness) 색공간, HSI(Hue, Saturation, Intensity) 색공간 및 HSB(Hue, Saturation, Brightness) 색공간, CMYK(Cyan, Magenta, Yellow, Black) 색공간 등이 될 수 있다.
사용자 단말(100)의 분석부(900-1)에 대응되는 분석 서버(900)는 다양한 색공간을 사용하여 잠재적 RGB 값을 변환하고, 각각의 색공간으로부터 발현된 색과 가장 일치하는 색을 찾는 역할을 수행할 수 있다. 또한, 분석 서버(900)는 색공간을 변환하는 색공간 변환 엔진(910, 이하, '제1 엔진'이라고도 함)과 색공간을 분석하는 색공간 분석 엔진(920, 이하, '제2 엔진'이라고도 함)을 포함한다. 이와 관련된 상세한 설명은 추후 후술하기로 한다.
통신부(109)는 네트워크를 통하여 타 단말 또는 알레르기 분석 서버(900)와 통신을 수행하기 위한 구성요소이다. 예컨대, 통신부(109)는 블루투스(Bluetooth), 지그비(Zigbee), 무선랜(Wireless Local Area Network, WLAN), LTE, 5G 등을 포함할 수 있다.
출력부(110)의 디스플레이 모듈(111)은 사용자 단말(100) 및 알레르기 분석 서버(900)에서 처리되는 다양한 정보 또는 알레르기 분석 서버(900)로부터 수신한 다양한 정보를 표시하여 출력하는 구성요소이다. 예컨대, 디스플레이 모듈(111)은 사용자 단말(100)이 소변 검사를 키트를 인식하기 위한 가이드 화면을 표시할 수 있고, 카메라 모듈(102)에 의해 촬영된 이미지를 표시할 수 있고, 사용자 단말(100) 또는 알레르기 분석 서버(900)가 상술한 이미지를 기초로 분석한 생화학 정보를 표시할 수도 있다. 출력부(110)는 디스플레이 모듈(111)외에도 음성 및 진동 등 다른 여러가지 방법으로 출력을 할 수 있다.
데이터 베이스(112)는 본 발명의 알레르기 분석 방법을 구현하는데 필요한 그 밖의 정보와 데이터, 알레르기 분석 서버(900)로부터 전송된 복수의 생화학 분석 정보 등을 저장할 수 있다.
이하, 도 5 내지 도 7을 참조하여 본 발명의 일 실시예에 따라 생화학 시료 검사 진행되는 과정을 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따라 사용자 단말 및 서버가 조합된 환경에서의 알레르기 분석이 동작되는 과정을 나타낸 예시도이다. 도 6은 본 발명의 일 실시예에 따른 데이터 변환 과정을 설명하기 위한 도면이다. 도 7은 본 발명의 일 실시예에 따른채 검출 영역을 분할하고 합성곱을 이용하여 잠재 색상을 추출하는 과정을 설명하기 위한 예시도이다. 도 8은 본 발명의 일 실시예에 따른 위치 추적을 설명하기 위한 도면이다. 도 9는 본 발명의 일 실시예에 따른 패치 부착 위치를 가이드하기 위한 화면을 설명하기 위한 도면이다.
도 5에서 이미지 획득부(101), 크로마틱 어댑테이션부(103), 검출 영역 분할부(104), 팽진색 추출부(105), 깊이 연산부(106), 데이터 변환부(107) 및 디스플레이 모듈(111)은 사용자 단말(100) 내에서 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 또한, 분석부는 알레르기 분석 서버(900)로 구현되며, 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구현된 모듈일 수 있다.
이미지 획득, 패치 위치 추적 및 크로마틱 어댑테이션
이미지 획득부(101)는 사용자 단말(100)의 카메라 모듈(102)로부터 마이크로 니들 패치(200)에 대한 이미지 혹은 영상을 획득한다(S301). 이때, 획득한 이미지 혹은 영상을 메모리에 저장한 후, 검색 영역 추출부(108)가 위치 추적 마커(205)를 이용하여 도 8와 같이 패치의 3차원의 위치를 2차원의 좌표로 추적한다.(S302)
먼저, 마커(205) 3개(
Figure 112022068051288-pat00007
,
Figure 112022068051288-pat00008
Figure 112022068051288-pat00009
)가 이루는 평면(x,y) 좌표계에서의 좌표를 구한 뒤에 아래 수학식 1과 같은 복소 함수를 가정한다.
(수학식 1)
Figure 112022068051288-pat00010
(단, s=x+iy, (u,v)는 변환 ㆈ(s)를 통하여 변환된 2차원 평면 좌표)
이 때, 임의의 3개의 마커(205)로 이루어진 삼각형 j에 대하여 아래와 같이 상수 MTj를 수학식 2와 같이 구한다.
(수학식 2)
Figure 112022068051288-pat00011
(이 때,
Figure 112022068051288-pat00012
는 삼각형 j의 면적, xj 1, xj 2, xj 3, yj 1, yj 2, yj 3은 Vj 1, Vj 2, Vj 3, 각각의 x-y 평면에서의 좌표)
그리고, 아래 수학식 3을 구한다.
(수학식 3)
Figure 112022068051288-pat00013
이 때, uj 1, uj 2, uj 3, vj 1, vj 2, vj 3 는 Vj 1, Vj 2, Vj 3의 u-v 좌표계에서의 좌표를 의미하며, ST는 복수의 마커(205) 중 하나의 마커를 기준 마커로 하여, 기준 마커를 중심으로 삼각형을 만들었을 때 삼각형들의 집합이며, 이러한 삼각형들의 집합 중 Tj는 j 번째 삼각형을 의미한다.
이러한 수학식 1 내지 3의 연산을 복수의 마커(205) 중 기준 마커를 변경하여 수행한 뒤, 수학식 3의 값이 최소화되는 값을 찾는다. 이는 예컨대, 임의의 기준 마커를 통해 생성한 삼각형들의 집합에서 삼각형들의 면적이 최소화되는 기준 마커를 찾고, 그 마커를 중심으로 평면 좌표계를 생성하는 것을 의미한다.
그 후, 크로마틱 어댑테이션 비색표(204) 및 크로마틱 어댑테이션 알고리즘에 기초하여 화이트 밸런싱을 수행한다.(S303).
크로마틱 어댑테이션 알고리즘(S303)
먼저, 화이트 밸런싱이 되지 않은 균일하지 않은 컬러 값을 갖는 크로마틱 어댑테이션용 비색표의 이미지를 입력받고, 입력된 이미지 내의 색상표 내에 표시된 흰 색상과 이상적인 환경에서의 흰 색상을 선형 변환을 통해 입력된 전체 이미지를 선형 변환하여 균일한 색을 가지는 이미지로 구현할 수 있다.
본 알고리즘은 수학식 4를 이용하여 RGB 3차원 어레이 색상을 행렬식[MRGB→XYZ]을 통해 XYZ 색공간으로 변경하여 수학식 7에 기술하고 있는 색상표 내에 표시된 흰 색상(WO: Original White)[XWO, YWO, ZWO]과 이상적인 흰 색상(WF: Final White)[XWF, YWF, ZWF]으로 변환한다. 이 때, 수학식 5를 이용하여 XYZ 3차원 어레이 색상([X0, Y0, Z0])에서 행렬식(M: Matrix)
Figure 112022068051288-pat00014
을 통해 LMS 색상([XF, YF, ZF])으로 변환하는 단계, 수학식 7을 이용하여,
Figure 112022068051288-pat00015
, 즉, 색상표 내의 흰색과 이상적인 흰색의 비율을 연산하는 단계, 수학식 6을 수학식 변환 행렬[MXYZ→LMS]과 역변환 행렬[MXYZ→LMS]-1, 수학식 7에서 얻은 비율로
Figure 112022068051288-pat00016
을 얻을 수 있으며, 이를 크로마틱 어뎁테이션 변환 행렬이라 한다. 본 발명에서는 단순한 화이트 밸런싱이 아니라, 색공간 좌표의 변환 및 화이트 밸런싱을 동시에 제공하여, 색공간 변환에 따른 영향력을 제거하기 위하여, 표준 색상의 크로마틱 어댑테이션용 비색표의 이미지를 입력받기 때문에, 크로마틱 어댑테이션이라는 용어로 설명하였다.
(수학식 4)
Figure 112022068051288-pat00017
(이 때, Xo, Yo, Zo은 XYZ 색좌표 상에서의 값, R,G,B는 RGB 색좌표에서의 값, [MRGB→XYZ]는 RGB 색좌표를 XYZ 색좌표로 변환하는, 예컨대, 3x3 변환 행렬)
이 때, [MRGB→XYZ]는 예를 들어 아래와 같은 값일 수 있다.
Figure 112022068051288-pat00018
(수학식 5)
Figure 112022068051288-pat00019
(이 때, XF, YF, ZF는 XYZ좌표 상에서 갖는 이상적인 흰색 값,
Figure 112022068051288-pat00020
는 레퍼런스 흰색을 이상적인 흰색 값으로 변환하는 예컨대, 3x3 변환 행렬. Xo, Yo, Zo은 XYZ좌표 상에서 갖는 레퍼런스 흰색 값)
(수학식 6)
Figure 112022068051288-pat00021
(여기서,
Figure 112022068051288-pat00022
는 레퍼런스 흰색을 이상적인 흰색 값으로 변환하는 예컨대, 3x3 변환 행렬, [MXYZ→LMS]는 XYZ 좌표에서 LMS 좌표로 변환하는 3x3 변환 행렬, [MXYZ→LMS]-1는 [MXYZ→LMS]의 역변환 행렬)
(수학식 7)
Figure 112022068051288-pat00023
(여기서, LO, MO, SO은 LMS 색좌표 상에서의 값, LF, MF, SF는 LMS좌표 상에서 갖는 이상적인 흰색 값)
이 때, 예를 들어, [MXYZ→LMS] 및 [MXYZ→LMS]-1는 아래와 같을 수 있다.
(수학식 8)
Figure 112022068051288-pat00024
Figure 112022068051288-pat00025
검출 영역 위치 추적(S304)
그 후, 검색 영역 추출부(108)는 실제 검색될 검색 영역인 각 개구부(210)를 추정한다. 이 경우에는 개구부의 둘레에 표시된 개구 위치 표시(212)를 검출하여 실제 검출 영역을 도출한다. 이 경우에는, 예를 들어, 개구 위치 표시(212)에 대한 2차원 평면에서의 좌표를 구하고, 검출 영역(ROI)를 찾게 된다.
팽진값/원피부색 검출 및 데이터 변환(S305,S307)
팽진값 및 원피부색을 검출하는 경우에는 먼저, 검출영역 분할부(104)가 영역 분할부(104)는 위와 같이 추적된 검출 영역을 분할한다. 개구부(210)에 대응되는 검출 영역은 예컨대, 도 7 (ii)에 개시한 바와 같이 복수의 영역으로 분할할 수 있다. 이 경우, 각 분할된 영역(H1 내지 H25)에서 각각의 중앙부에서 색상을 샘플링하여 도출할 수 있다.
이렇게 준비된 이미지에서, 팽진색 추출부(105)는 제 1 색공간에서의 잠재적 색상을 추출하는 단계를 수행한다. 예컨대, 제 1 색공간은 RGB 색공간이므로, 편의상 제 1 색공간을 RGB 색공간으로 놓고 설명한다. 단, 제 1 색공간은 여러가지 다른 색공간도 될 수 있다.
구체적으로, 팽진색 추출부(105)는 반응 비색표(203)과 개구부(210)의 유효 영역에서 잠재적 팽진값 및 피부값을 추출한다(S305). 이어서, 데이터 변환부(106)는 추출된 잠재적 팽진값인 RGB 값을 어레이 변환하고, 네트워크를 통해 알레르기 분석 서버(900)로 전달한다(S307). 여기서, 데이터 변환부(106)에 의해 어레이 변환된 잠재적 RGB 값들 중 어느 하나의 잠재적 RGB 값은 R, G, B 각 변수에 해당하는 8비트(Bit)로 표현될 수 있다.
한편, 팽진색 및 원피부색이 검출된 후에는 팽진 영역을 검출할 수 있다.
보다 구체적으로, 개구부(210)는 알레르기 반응 시 팽진되는 반려동물의 피부가 노출되고 실질적으로 분석되는 영역이며, 도 6에 도시된 바와 같이 임의로 바둑판 형태의 복수의 서브 블록(SB)들로 분할된다. 서브 블록(SB)은 도 7의 (i)과 같이, 팽진색이 일부 영역에만 발현된 유효 영역(CA), 원피부색과 팽진색의 중간단계로 발현된 중간 영역(MA) 및 원피부색이 남아있고 팽진되지 않은 무효 영역(UCA)으로 구분될 수 있다.
이 경우, 무효 영역(UCA)은 참조 패치(202)를 이용하여 도출한 반려동물의 원피부색과의 비교를 통하여 도출할 수 있다. 한편, 참조 패치(202)에서 검출한 피부색 얼룩 등이 발생할 수 있다. 이 경우, 색상의 발생 빈도를 고려하여 반려동물의 원피부색을 결정할 수 있다. 한편, 바람직하게는 반려동물의 피부 중, 얼룩이 없는 부분을 촬영하는 것이 바람직하므로, 도 9과 같이 반려동물의 피부 중, 얼룩이 최소화되는 부분을 추천하여 그 부분에 패치를 부착할 수 있도록 가이드 할 수 있다.
개구부(210)를 도 7의 (ii)와 같이 분할할 경우, 25개의 복수의 서브 블록(H1, H2, ..., H25)이 생성될 수 있다. 이 경우, 참조 패드(202)에 대응하는 개구부 이미지를 통하여 연산된 원피부색과의 차이를 통하여, (ii)와 같이 표시한다. 이 경우, 서브 블록(SB)의 색과 원피부색과의 차이가 큰 경우에는 유효 영역으로 구분하고, 색이 칠해지지 않거나 연하게 칠해진 경우에는 색이 발현되지 않은 무효 영역으로 구분할 수 있다. 즉, 유효 영역은 H1, H2, H4, H5, H6, H10, H16, H20, H21, H22, H24, H25는 무효 영역으로, H8, H12, H13, H14, H18은 유효영역으로 구분할 수 있다. 또한, 색 발현은 되었으나, 그 차이가 크지 않은 부분인 H3, H7, H9, H11, H15, H19, H23는 중간 영역으로 설정할 수 있다. 한편, 도 7의 (ii)에서는 가로와 세로를 5개씩 분할하였지만, 그 이상으로 분할할 경우 유효 영역을 보다 정확하게 구분할 수 있다. 즉, 본 발명에서는 복수 개의 유효 영역을 구분하여 분석의 정확도를 향상시킬 수 있다.
한편, 팽진색 추출부(105)는 크로마틱 어댑테이션 비색표(204) 및 반응 비색표(203)의 셀 중앙부에서 RGB 값을 추출한다. 그리고, 팽진색 추출부(105)는 개구부(210)에서 상술한 방법에 의해 구분된 유효, 중간, 무효 영역에서 합성곱(Convolution)을 사용하여 추출할 수 있다.
구체적으로, 도 6을 참조하면, 마이크로 니들 패치(200)에 포함된 복수의 비색표(203, 204)의 중앙 지점에는 컬러 추출 포인트(710)가 위치한다. 복수의 개구부(210)의 서브 블록의 중앙부 및 비색표(203, 204)의 중앙 지점에 'O' 표시된 컬러 추출 포인트(710)는 비색표(203, 204)와 개구부(210)의 중심 위치의 RGB 값을 획득하기 위한 포인트인 것을 특징으로 한다.
이 경우, 개구부(210) 및 참조 패드(202)의 검출 영역에서는 각각 유/무효 영역 및 중간 영역에 대하여 컨볼루션을 수행하여 하나의 개구부에 해당하는 검출 영역에서 하나의 대표 RGB값를 도출한다. 즉, 예컨대, 12x3=36 개의 RGB 값이 산출된다. 한편, 비색표(203, 204)의 중앙에서 7 x 3개의 RGB 값이 산출된다.
이에 따라, 따라서, 총 19 x 3개의 RGB 값이 산출된다. 이 RGB 값들은 array[19][3]에 저장할 수 있다. 본 발명에서는 설명의 편의를 위하여 예시적으로 3채널 환경을 사용하였기 때문에 19*3 array를 사용하였으나, 색공간의 차원(dimension)이 변화하거나, 비색표의 개수가 달라지는 경우에는 array의 행/열의 개수는 변경될 수 있다.
팽진 영역 및 깊이 검출(S306)
팽진값/원피부색이 검출된 후에는 팽진 영역 및 팽진 깊이 검출이 수행될 수도 있다.
팽진 영역은, 예컨대, 도 7의 (ii)에 도시된 바와 같이 팽진된 유효 영역(CA), 무효 영역(UCA) 및 중간 영역(MA)이 검출된 경우에 해당 영역의 픽셀 개수를 측정하여 결정된다.
한편 팽진 깊이는 깊이 연산부(106)에 의해 다음의 방법으로 결정된다.
도 12 및 도 13를 참조하면, 카메라가 좌측에서 촬영할 경우(CL_view)에, 패치 좌측에서 최상단 및 최하단에 위치한 마커(각각 M1_L, M3_L)와 패치 우측의 중앙에 위치한 마커(M2_R)가 이루는 삼각형에서 M1_L이 이루는 각도(즉, 각 M3_L M1_L M2_R이 이루는 각도)가 기준 각도(예컨대, 49ㅀ≤ 기준각도 ≤51ㅀ)의 범위 내인 경우에 좌측 영상을 촬영한다(도 12(a) 참조). 그리고, 정 반대의 경우, 즉, 패치 우측에서 최상단 및 최하단에 위치한 마커(각각 M1_R, M3_R)와 패치 좌측의 중앙에 위치한 마커(M2_L)가 이루는 삼각형에서 M1_R이 이루는 각도(즉, 각 M3_R M1_R M2_L이 이루는 각도)가 기준 각도(예컨대, 49ㅀ≤ 기준각도 ≤51ㅀ)의 범위 내인 경우에 우측 영상을 촬영한다. 이 때, 도 13를 참조하면, 촬영된 좌측 영상(Image_A) 및 촬영된 우측 영상(Image_B)의 차를 구하여 팽진 깊이를 구할 수 있다.
한편, 또 다른 실시예에서는, 도 7(ii)의 유효 영역과 무효 영역의 색상차를 연산하고 앞에서 구한 카메라 좌/우측 영상을 통하여 획득한 팽진 깊이 값을 기계 학습 시킨 후, 유효 영역과 무효 영역의 색상차를 이용하여 팽진 깊이를 구할 수도 있다. 카메라의 좌/우측 영상을 촬영하는 것은 사용자의 입장에서 불편함을 유발할 수 있으며, 색상차에 의한 깊이만을 구하는 경우에는 정확도가 떨어질 수 있다. 따라서, 색상차에 따른 팽진 깊이를 예컨대, 뉴럴 네트워크 등의 방식으로 기계학습 시켜서, 불편함과 정확도를 동시에 해결하는 방법도 가능하다.
알레르기 분석 서버의 색공간 변환 및 색공간 분석(S308,S309)
알레르기 분석 서버(900)에 포함된 두 개의 엔진은 사용자 단말(100)로부터 수신한 적어도 하나의 잠재적 RGB 값을 복수의 색공간을 이용하여 변환하고 분석한 후(S308, S309) 분석 결과 피드백을 사용자 단말(100)로 전달한다(S311). 알레르기 분석 서버(900)는 RGB 색공간에서의 잠재적 색상을 다른 색공간의 색상값으로 변환한 후, 변환된 색상값에 기초하여 다른 색공간에서 상기 복수의 패드 셀 중 어느 하나와 상기 복수의 비색표 셀 중 가장 가까운 색상을 가지는 비색표 셀을 선택한다.
반응 비색표의 색상은 표준 피부색을 대표하는 구성으로 다음 수식표를 따르며, 랜덤 노드 트리 알고리즘을 통해, 크로마틱 어댑테이션이 적용된 영상으로 부터 얻은 피부색과 가장 유사한 색을 획득 할 수 있다. 피부색은 크게 60가지로 구분된 샘플을 사용하였으며, 60가지 피부색은 어두워 질수록 X, Y, Z좌표 상에서 0으로 수렴하는 형태로 표현이 된다. 이는 이차 다항식으로 표현이 가능하다. 먼저, 60가지 피부색을 RGB 색좌표에서 XYZ 색좌표로 변환하는 단계, 각 X, Y, Z 색좌표와 피부색 변화량을 표현하는 단계, 여기에서 획득된 변화량과 X, Y, Z 좌표의 계수 추정 방식을 거쳐, X, Y, Z 값 변화량 (피부색 변화량)을 2차 다항식으로 표현된 수학식 9로 표현될 수 있다. 비색표의 표준 피부색은 수학식 9를 사용하여 7가지 표준 피부색 (s = 0, 1, 2, 3, 4, 5, 6)을 XYZ 색으로 추출하고, 수학식 4의 역행렬을 적용하여 RGB 색좌표로 변환하는 단계를 거친다.
(수학식 9)
Figure 112022068051288-pat00026
(이 때, 예컨대, reference skin color 수식은 s를 미지수로 가지는 2차 다항식으로 표현될 수 있으며, 행렬변환식으로 표현되는 3개의 2차 다항식은 XYZ 색좌표 상의 X,Y,Z 값을 나타낸다. s는 0부터 6까지의 정수로 표현되는 미지수)
이 경우, reference skin color 수식의 행렬 값은 예를 들어, 60개의 피부 샘플의 R,G,B 값을 7개의 값으로 정리하여 생성된 수식이며, 이 경우, R, G, B 값은 거의 비슷하여 동일한 값을 사용하였다.
구체적으로, 알레르기 분석 서버(900)에 포함된 두 개의 엔진은 도 2에 도시된 바와 같이, 색공간 변환 엔진 및 색공간 분석 엔진을 포함한다. 색공간 변환 엔진은 수신한 잠재적 RGB 값을 다른 다양한 색공간의 색상값으로 변환할 수 있다. 예컨대, R, G, B를
Figure 112022068051288-pat00027
Figure 112022068051288-pat00028
Figure 112022068051288-pat00029
로 변환하는 경우 하기 수학식 9를 이용하여
Figure 112022068051288-pat00030
,
Figure 112022068051288-pat00031
,
Figure 112022068051288-pat00032
를 산출할 수 있다.
(수학식 10)
Figure 112022068051288-pat00033
이와 같이, 다양한 색공간으로부터 검출 및 분류된 값을 추출하여 개구부(210)의 각 영역에 발현된 색과 가장 일치하는 색을 검출한다. 이때, 가장 일치하는 색이란 발현된 색의 좌표 값과 거리가 가장 가까운 색공간의 색 좌표 값을 갖는 색을 의미하는 것으로 이해되는 것이 바람직하다. 예컨대, 발현된 색의 좌표 값이 (3,1,5)라고 가정했을 때 제1 색공간의 좌표 값은 (3,1,3)이고 제2 색공간의 좌표 값은 (3,1,2)인 경우, 발현된 색은 제2 색공간의 (3,1,2) 좌표가 갖는 색인 것으로 판단할 수 있다.
팽진색의 변화량은 팽진 비교색과 다음 수식과 부합하는 기준으로 상세 분류할 수 있으며, 상세 분류된 step으로 알레르기 반응 정도를 수치화 할 수 있다.
팽진 비교색 기준으로 색채 항상성(Color Constancy)이 조정(adjustment)된 영상을 그레이스케일 (Grayscale Image = 0.3*R + 0.59*G + 0.11*B)로 변경하고, 다음의 수식으로 팽진색 변화량을 분류한다.
(수학식 11)
Figure 112022068051288-pat00034
여기서 Gray Threshold는 팽진색 레벨에 따른 팽진색 변화량의 판단 기준을 의미한다.
이어서, 사용자 단말(100)은 반려동물의 팽진색 및 팽진 영역에 대한 분석 결과를 디스플레이 모듈(111)을 통해 출력한다(S312).
이하에서는, 도 10 및 도 11a 및 도 11b을 참조하여 동적 랜덤 노드 트리(Dynamic Random Node Tree)의 구조 및 과정을 상세히 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른 랜덤 노드 트리 알고리즘을 나타내기 위한 순서도이다. 도 11a 및 도11b는 본 발명의 일 실시예에 따른 랜덤 노드 트리 알고리즘 중 참조 색공간 검색을 설명하기 위한 도면이다.
동적 랜덤 노드 트리는, 색공간 분석 엔진에 의해 수행되며, 랜덤한 개수의 복수의 색공간을 선택한 뒤, 선택된 복수의 색공간 중 반응 비색표의 색상과 팽진색의 차이가 가장 작아지는 색공간을 찾는 색공간 검색 동작을 정해진 회수 만큼 반복하여 참조 색공간 검색한다. 그리고, 참조 색공간 검색 동작을 수차례 반복(예컨대, 1000회 이상)하여 가장 많이 검색된 참조 색공간을 찾는다. 마지막으로, 색공간 변환 엔진은 최초 획득한 이미지의 색좌표를 최초 색공간(예: RGB)에서 가장 많이 검색된 참조 색공간의 색좌표로 변환하는 과정을 의미한다.
도 10을 참조하면, 팽진색 추출부에 의해 추출된 잠재적 팽진색의 RGB 값(예컨대, c(r, g, b))를 입력받는다(S801).
이어서, N개의 색공간(SN)을 생성한다(S802). 여기서, N은 동적 랜덤 노드 트리에 사용되는 색공간의 총 개수를 의미한다.
이어서, 전체 색공간이 랜덤하게 배열되는 n개의 레이어(Layer)를 설정한다(S803). 이때, 레이어의 개수는 동적 랜덤 노드 트리 내에서 고정되며, 1층부터 시작되는 것을 기본으로 한다. 예를 들면, 도 11a에 도시된 바와 같이, n=3으로 모든 색공간의 레이어가 설정될 수 있다. (n은 위의 참조 색공간 검색시의 정해진 회수)
이어서,
Figure 112022068051288-pat00035
개의 색공간들을 추출한다(S804). 여기서,
Figure 112022068051288-pat00036
은 색공간을 의미하며, 하나의 레이어 내에는 적어도 2개의 색공간이 포함되는 것을 특징으로 한다. 특히, 하나의 레이어에 포함된
Figure 112022068051288-pat00037
개의 색공간은 서로 상이한 종류인 것을 특징으로 한다. 다만, 서로 상이한 레이어에 포함된 색공간끼리는 서로 상이한 종류일 수도 있고 동일한 종류일 수도 있다. (
Figure 112022068051288-pat00038
은 위의 색공간 검색시의 랜덤한 개수의 색공간)
또한, 각각의 레이어에는 레이어별로 서로 상이한 개수의 색공간이 포함될 수도 있다. 예컨대, 도 7b에 도시된 바와 같이, n=1인 레이어에는
Figure 112022068051288-pat00039
=3, 즉, 3개의 색공간(t1, t2, t3)가 포함될 수 있고, n=2인 레이어에는
Figure 112022068051288-pat00040
=6, 즉, 6개의 색공간(t4, t5, t6, t7, t8, t9)가 포함될 수 있고, n=3인 레이어에는
Figure 112022068051288-pat00041
=5, 즉, 5개의 색공간(t10, t11, t12, t13, t14)가 포함될 수 있다.
이어서, 추출된 색공간들 중 레이어에 배열할 색공간을 랜덤하게 추출한다(S805). 본 발명에서는 랜덤하게 추출된 색공간을
Figure 112022068051288-pat00042
로 정의한다.
이어서, 잠재적 RGB 값인 데이터(Data)를 랜덤하게 추출된 색공간(
Figure 112022068051288-pat00043
)을 이용하여 변환한다(S806). 본 발명에서는 랜덤하게 추출된 색공간에 의해 컨버팅된(Converted) 색공간을
Figure 112022068051288-pat00044
로 정의한다.
이어서, 각 레이어별로 랜덤하게 선택된 색공간 중에서 입력된 데이터(Data)와 가장 가까운 거리 값을 갖는 색공간(tn)을 선택한다(S807). 이어서, 복수의 레이어 중 하나의 레이어에 랜덤하게 선택된 색공간의 순번을 하나씩 증가(t=t+1) 시키면서(S809), 상술한 S805 단계에서 S807 단계를 반복한다. 이때, 색공간의 순번은 해당 색공간이 위치한 레이어에 포함된 색공간의 개수(
Figure 112022068051288-pat00045
)만큼 증가시킨다(Repeat until t=
Figure 112022068051288-pat00046
).
여기서, 하나의 레이어 내에서 S809 단계의 과정이 완료된 후에는 다음 레이어로 순번을 하나씩 증가(n=n+1) 시키면서(S809), S804 단계에서 S808 단계를 반복한다. 이때, 레이어의 순번은 미리 설정된 레이어의 개수에 도달할 때까지 증가시킨다(Repeat n meats the defined layer depth).
이에 따라, 랜덤하게 추출된 색공간을 이용하여 가장 가까운 거리 값을 갖는 예측 값을 투표하고(S810), 최초에 입력된 데이터와 가장 가까운 거리 값을 갖는 예측 값(혹은 '결과 인덱스(Result Index)'라고 함)을 찾는 과정을 반복(Iteration)함으로서, 가장 많이 투표된 예측 값(RI)을 최종 예측 값(혹은 '최종 인덱스(FI)으로 추출할 수 있다(S811). (최종 인덱스는 가장 많이 선택된 참조 색공간)
이때, 최종 예측 값(FI, 가장 많이 선택된 참조 색공간에 대한 인덱스)을 추출하기 위해 예측 값(RI, 참조 색공간에 대한 인덱스)을 투표하는 과정은 도 11b에 도시된 바와 같이, 반복될 수 있다(Repeat). 구체적으로, 도 11b를 참조하면, S801 단계 내지 S811 단계를 반복함에 따라, 예측 값(RI)으로 0, 1, 2 가 예측되고, 이 중에서도 0이 가장 많이 투표된 것을 알 수 있다. 따라서, 최종 예측 값(FI)으로는 0이 추출될 수 있다.
따라서, 본 발명의 일 실시예에 따른 알레르기 진단 시스템은 검사 패드의 영역을 분할하고 합성곱으로 R, G, B를 추출함으로써 반려동물들의 원피부색들이 일정하지 않은 경우(예컨대, 얼룩 등) 나, 또는 주변 환경에 의하여 스마트폰 촬영에 의한 색상들이 그림자 등의 장애에 의하여 고르지 않는 경우에도 정확한 결과를 도출할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 알레르기 진단 시스템은 크로마틱 어댑테이션 알고리즘을 적용함으로써 주변 환경과 무관하게 일정한 결과 값을 도출할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 알레르기 진단 시스템은 동적 랜덤 노드 트리를 이용하여 반복적으로 결과 인덱스를 예측하고 예측된 복수의 결과 값 중 추출 빈도를 기초로 최종 인덱스를 출력함으로써 주변 환경과 무관하게 신뢰성 높은 결과를 도출할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 알레르기 진단 시스템은 최소화된 리소스로 신뢰성 높은 실시간 검사를 수행함에 따라 시장 경쟁력을 효과적으로 향상시킬 수 있는 효과가 있다.
도 14는 본 발명의 또 다른 실시예에 따라 로컬 환경에서 알레르기 진단이 작동되는 절차를 나타낸 절차이다.
본 발명의 알레르기 진단 시스템은 다른 실시예에 따라, 사용자 단말(100)에서 모든 프로세서가 작동되는 것을 특징으로 한다. 기본적으로는 도 2의 알레르기 검진 시스템과 동일한 경우이므로 동일한 내용에 대해서는 설명을 생략한다. 다만, 도 14의 경우에는 색공간 변환 엔진(910), 데이터 베이스(930) 및 색공간 분석 엔진(920)이 모두 사용자 단말(100) 내에 포함되어 로컬에서 모든 시스템이 구현될 수도 있다.
따라서, 본 발명의 다른 실시예에 따른 알레르기 진단 시스템은 사용자 단말(100)에서 모든 프로세스가 동작됨에 따라 이미지 또는 영상을 송수신하기 힘든 네트워크 환경에서도 안정적인 결과를 도출할 수 있는 효과가 있다.
또한, 본 발명의 다른 실시예에 따른 알레르기 진단 시스템은 로컬에서 모든 프로세스가 처리되도록 함에 따라 불필요한 데이터 전송 과정을 생략할 수 있고, 이에 따라 작업 속도를 향상시킬 수 있는 효과가 있다.
본 개시에 따른 컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독 가능 매체가 될 수 있고, 이러한 컴퓨터 판독 가능 매체는 휘발성 및 비휘발성 매체, 일시적 및 비일시적 매체, 이동식 및 비이동식 매체를 포함할 수 있다. 이에 제한되는 것은 아니며, 컴퓨터 판독가능 기록매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다.
컴퓨터 판독가능 기록매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(Digital-Video-Disk) 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
컴퓨터 판독가능 기록매체는 통상적으로 반송파(Carrier wave) 또는 기타 전송 메커니즘(Transformer mechanism)과 같은 피변조 데이터 신호(Modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(Direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.
본 발명에 제시된 다양한 실시예들은 방법, 장치 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터 판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어 또는 매체(Media)들을 포함한다. 예를 들어, 컴퓨터 판독가능 저장 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립 등), 광학 디스크(예를 들면, CD, DVD 등), 스마트 카드, 및 플래시 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브 등)를 포함하지만, 이들로 제한되는 것은 아니다.
제시된 프로세서들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 알레르기 진단 시스템 101: 이미지 획득부
102: 카메라 모듈 103: 화이트 밸런싱부
104: 검출 영역 분할부 105: 팽진색 추출부
106: 데이터 변환부 108: 통신부
109: 출력부 110: 디스플레이 모듈
111: 데이터 베이스 112: 제어부
100: 사용자 단말 200: 마이크로 니들 패치
230: 마이크로 니들 어레이 210: 개구부 (검진 영역)
900: 알레르기 분석 서버 900-1: 분석부

Claims (6)

  1. 알레르기 항원을 포함하는 물질을 니들 형태로 성형한 니들 구조물을 포함하는 마이크로 니들 패치;
    상기 마이크로 니들 패치에 의하여 팽진된 반려동물의 피부 이미지를 획득하는 이미지 획득부;
    위치 추적용 마커의 이미지를 포함하며, 상기 위치 추적용 마커의 이미지에 기초하여 상기 마이크로 니들 패치 중 검색 영역을 추출하는 검색 영역 추출부;
    상기 검색 영역에서 상기 반려동물의 원피부색 및 팽진된 피부 부분의 팽진색을 추출하는 추출부;
    상기 팽진색에 기초하여 반려동물의 알레르기 여부를 분석하는 분석부를 포함하며,
    상기 마이크로 니들 패치는 상기 이미지 획득부가 이미지를 획득하기 위하여 카메라에 의하여 촬영할 때에 제거 가능한 상부필름; 및 팽진 비교색을 포함하는 반응 비색표를 포함하는 하부필름을 포함하며,
    반려동물 알레르기 진단 시스템은 상기 상부필름이 제거된 후 상기 팽진색을 상기 하부필름의 팽진 비교색과 비교하는,
    반려동물 알레르기 진단 시스템.
  2. 제1항에 있어서,
    상기 마이크로 니들 패치는 피부의 굴곡을 연산하여 관심 영역을 찾는 복수의 위치 추적용 마커를 더 포함하며, 상기 검색 영역 추출부는 상기 마이크로 니들 패치의 3차원 위치를 2차원 평면 좌표로 변환하고, 상기 복수의 위치 추적용 마커 중 하나의 기준 마커를 중심으로 생성한 복수의 삼각형 집합 중 삼각형 면적을 최소화하는 기준 마커를 연산하는,
    반려동물 알레르기 진단 시스템.
  3. 제1항에 있어서,
    상기 반려동물 알레르기 진단 시스템은 아래의 수학식 4 내지 수학식 7에 기초하여 색좌표의 변환을 수행하는 크로마틱 어댑테이션부를 더 포함하는
    반려동물 알레르기 진단 시스템.
    (수학식 4)
    Figure 112022068051288-pat00047

    (이 때, Xo, Yo, Zo은 XYZ 색좌표 상에서의 값, R,G,B는 RGB 색좌표에서의 값, [MRGB→XYZ]는 RGB 색좌표를 XYZ 색좌표로 변환하는, 예컨대, 3x3 변환 행렬)
    (수학식 5)
    Figure 112022068051288-pat00048

    (이 때, XF, YF, ZF는 XYZ좌표 상에서 갖는 이상적인 흰색 값,
    Figure 112022068051288-pat00049
    는 레퍼런스 흰색을 이상적인 흰색 값으로 변환하는 예컨대, 3x3 변환 행렬. Xo, Yo, Zo은 XYZ좌표 상에서 갖는 레퍼런스 흰색 값)
    (수학식 6)
    Figure 112022068051288-pat00050

    (여기서,
    Figure 112022068051288-pat00051
    는 레퍼런스 흰색을 이상적인 흰색 값으로 변환하는 예컨대, 3x3 변환 행렬, [MXYZ→LMS]는 XYZ 좌표에서 LMS 좌표로 변환하는 3x3 변환 행렬, [MXYZ→LMS]-1는 [MXYZ→LMS]의 역변환 행렬)
    (수학식 7)
    Figure 112022068051288-pat00052

    (여기서, LO, MO, SO은 LMS 색좌표 상에서의 값, LF, MF, SF는 LMS좌표 상에서 갖는 이상적인 흰색 값)
  4. 삭제
  5. 제1 항에 있어서,
    상기 알레르기 항원은 쇠고기, 닭고기, 옥수수, 밀 및 콩 중 적어도 하나의 식품 재료의 단백질로부터 추출한 물질을 포함하는,
    반려동물 알레르기 진단 시스템.
  6. 제1 항에 있어서,
    상기 니들 구조물은 쇠고기, 닭고기, 옥수수, 밀 및 콩 중 적어도 하나의 식품 재료의 단백질로부터 추출한 알레르기 항원과, 상기 추출한 알레르기 항원과 다른 물질을 결합하여 50um 내지 800 um의 니들 형태로 성형되는,
    반려동물 알레르기 진단 시스템.
KR1020220079818A 2020-06-12 2022-06-29 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법 KR102550665B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220079818A KR102550665B1 (ko) 2020-06-12 2022-06-29 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200071284A KR102416839B1 (ko) 2020-06-12 2020-06-12 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법
KR1020220079818A KR102550665B1 (ko) 2020-06-12 2022-06-29 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071284A Division KR102416839B1 (ko) 2020-06-12 2020-06-12 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220097375A KR20220097375A (ko) 2022-07-07
KR102550665B1 true KR102550665B1 (ko) 2023-07-03

Family

ID=79165390

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200071284A KR102416839B1 (ko) 2020-06-12 2020-06-12 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법
KR1020220079818A KR102550665B1 (ko) 2020-06-12 2022-06-29 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200071284A KR102416839B1 (ko) 2020-06-12 2020-06-12 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법

Country Status (1)

Country Link
KR (2) KR102416839B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489445B1 (ko) 2022-09-29 2023-01-18 김응호 웨어러블 기기를 이용한 알레르기 성분 검사 방법, 장치 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094780B1 (ko) * 2019-11-22 2020-03-30 주식회사 핏펫 색공간 변환을 이용한 생화학 정보 측정 방법 및 시스템
KR102112466B1 (ko) * 2020-01-23 2020-05-19 한혜현 동물의 식이 알레르기 진단용 피부반응시험 패치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878414B1 (ko) * 2016-08-12 2018-07-13 연세대학교 산학협력단 마이크로니들 패치, 이의 제조방법 및 이를 이용한 알레르기 질환 진단방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094780B1 (ko) * 2019-11-22 2020-03-30 주식회사 핏펫 색공간 변환을 이용한 생화학 정보 측정 방법 및 시스템
KR102112466B1 (ko) * 2020-01-23 2020-05-19 한혜현 동물의 식이 알레르기 진단용 피부반응시험 패치

Also Published As

Publication number Publication date
KR20220097375A (ko) 2022-07-07
KR20210154352A (ko) 2021-12-21
KR102416839B1 (ko) 2022-07-05

Similar Documents

Publication Publication Date Title
KR102094780B1 (ko) 색공간 변환을 이용한 생화학 정보 측정 방법 및 시스템
US9230187B2 (en) System and method for robust estimation of color dependent measurements
JP6110992B2 (ja) 画像適応的な生理学的に妥当な色分離
US8655009B2 (en) Method and apparatus for performing color-based reaction testing of biological materials
US8379962B2 (en) Image classifier training
CA2864135A1 (en) Method and system for analyzing a colorimetric assay
CN109416313A (zh) 图像地图集系统和方法
WO2009006696A1 (en) Pathology method
KR102550665B1 (ko) 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법
JP2023547169A (ja) 多重化免疫蛍光画像における自己蛍光アーチファクトの識別
Cugmas et al. Accuracy of an affordable smartphone-based teledermoscopy system for color measurements in canine skin
US20240112341A1 (en) Digital synthesis of histological stains using multiplexed immunofluorescence imaging
CN106018292A (zh) 蛋清中蛋白质构象的无损检测装置及其方法
Kibria et al. Smartphone-based point-of-care urinalysis assessment
Li et al. Development of a target-to-sensor mode multispectral imaging device for high-throughput and high-precision touch-based leaf-scale soybean phenotyping
AU2021403021A1 (en) Systems and methods for identifying cancer in pets
JPWO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN117274236B (zh) 基于高光谱图像的尿液成分异常检测方法及系统
US20240046670A1 (en) Method and system for analysing pathology image
Holvast Taxonomic predictions of seabird identity using 3D bone shape: a thesis presented in partial fulfilment of the requirements for the degree of Master of Science in Zoology at Massey University, Albany, New Zealand
CN116649909A (zh) 基于神经网络算法的色素性皮肤病皮损面积量化诊断系统
Zhao Image data collection, processing, storage, and their application in smartphone food analysis
Bintoro et al. Portable Image Analyzer for Indicators with OpenCV
CN118097093A (zh) 基于病理大模型在数字病理切片数据集上的以图搜图系统
CN117095393A (zh) 基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant