KR20190041818A - 이미지 기반 황달 진단 방법 및 장치 - Google Patents

이미지 기반 황달 진단 방법 및 장치 Download PDF

Info

Publication number
KR20190041818A
KR20190041818A KR1020170133524A KR20170133524A KR20190041818A KR 20190041818 A KR20190041818 A KR 20190041818A KR 1020170133524 A KR1020170133524 A KR 1020170133524A KR 20170133524 A KR20170133524 A KR 20170133524A KR 20190041818 A KR20190041818 A KR 20190041818A
Authority
KR
South Korea
Prior art keywords
jaundice
image
user
diagnosis
diagnostic
Prior art date
Application number
KR1020170133524A
Other languages
English (en)
Other versions
KR101998595B1 (ko
Inventor
선우명훈
이정원
김진홍
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020170133524A priority Critical patent/KR101998595B1/ko
Priority to US15/855,504 priority patent/US10945637B2/en
Priority to US16/115,821 priority patent/US11051716B2/en
Publication of KR20190041818A publication Critical patent/KR20190041818A/ko
Application granted granted Critical
Publication of KR101998595B1 publication Critical patent/KR101998595B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • A61B5/1034Determining colour for diagnostic purposes by means of colour cards
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Abstract

이미지 기반 황달 진단 방법 및 장치를 개시한다. 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 방법은 사용자가 현재 위치한 장소에서 상기 사용자의 특정 신체 부위와 기준 물체를 함께 촬영한 황달 진단용 이미지를 수신하는 단계; 상기 황달 진단용 이미지에 포함된 상기 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하는 단계; 상기 색상 왜곡 정보에 기초하여 상기 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성하는 단계; 및 상기 황달 진단용 보정 이미지를 이용하여 상기 사용자에 대한 황달 증상을 진단하는 단계를 포함한다.

Description

이미지 기반 황달 진단 방법 및 장치{Method and Apparatus for jaundice diagnosis based on an image}
본 발명은 황달 진단에 관한 것으로, 특히 이미지 기반 황달 진단 방법 및 장치에 관한 것이다.
황달은 혈색소(헤모글로빈)와 같이 철분을 포함하고 있는 특수 단백질이 체내에서 분해되는 과정에서 생성되는 황색의 담즙색소(빌리루빈)가 몸에 필요 이상으로 과다하게 쌓여 눈의 횐자위(공막)나 피부, 점막 등에 노랗게 착색되는 것을 말한다.
황달을 이학적 소견(Scientific View)이나 혈청학적 검사를 기반으로 진단하는 기존 진단법의 경우 몇 가지 문제점이 있다. 황달을 맨눈으로 진단하는 이학적 검사인 시진(視診)을 통하여 황달을 진단하는 경우에는 주관적이며 객관적인 진단을 하지 못한다는 문제가 있다. 따라서 황달의 확진을 위해서는 환자의 혈액을 채취하여 혈중 빌리루빈치를 측정해야 하며, 황달 의심환자가 이를 측정할 수 있는 기기를 갖춘 의료기관을 방문하여야만 확진이 가능하고 채혈 후 검사결과치를 얻기까지 시간이 지체된다.
또한, 황달환자는 치료기간 동안 병세를 확인하기 위해 주기적으로 병원을 재방문하여야 하며. 환자가 의료기관과 멀리 거주하거나 환자의 상태가 의료기관을 주기적으로 방문하기 힘든 경우에는 의료서비스에 대한 접근성을 떨어뜨리는 문제가 있었다.
또한, 스마트폰과 같은 외부 디바이스로 병변 영상데이터를 획득하는 경우 조명과 같은 다양한 외부 환경으로 인해 병변 부위의 색상이 왜곡될 수 있으며, 촬영자의 손 떨림과 같은 외부 요인으로 정확한 초점의 영상 데이터를 획득하는데 어려움이 있었다.
한국공개특허공보 10-2014-0108649(발명의 명칭: 망막질환을 모니터하는 비디오 게임, 공개일: 2014.09.12)
본 발명의 목적은 원격으로 사용자의 황달을 진단하기 위한 이미지 기반 황달 진단 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 이미지 획득 과정에서 발생할 수 있는 손 떨림과 같은 외부 요인을 방지하고, 다양한 조명 환경으로 인한 병변 부위의 색상 왜곡을 보정할 수 있는 이미지 기반 황달 진단 방법 및 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 황달 진단 방법은, 황달 진단 장치가 이미지 기반으로 황달을 진단하는 방법에 있어서, 사용자의 특정 신체 부위와 기준 물체를 함께 촬영한 황달 진단용 이미지를 수신하는 단계; 상기 황달 진단용 이미지에 포함된 상기 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하는 단계; 상기 색상 왜곡 정보에 기초하여 상기 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성하는 단계; 및 상기 황달 진단용 보정 이미지를 이용하여 상기 사용자에 대한 황달 증상을 진단하는 단계를 포함하되, 상기 기준 물체는 부착형 패치인 것을 특징으로 한다.
바람직하게는, 상기 부착형 패치는 흰색과 적어도 하나의 다른 색상을 가지는 복수의 영역으로 구성될 수 있다.
바람직하게는, 상기 부착형 패치는 동일한 색상의 제1 영역 및 제2 영역이 흰색 영역을 사이에 두고 교차 배치된 패턴이 형성될 수 있다.
바람직하게는, 상기 부착형 패치는 상기 사용자의 눈으로부터 일정 거리내의 얼굴에 부착 또는 눈 공막의 범위를 넓히기 위해 도구를 사용한 경우 눈으로부터 일정 거리내의 도구 또는 얼굴에 부착할 수 있다.
바람직하게는, 상기 황달 진단용 이미지를 수신하는 단계 이전에, 상기 황달 진단 장치에 구비된 촬영부를 통해 표시되는 이미지를 실시간으로 분석하여 상기 기준 물체가 검출된 시점의 이미지를 자동으로 촬영하는 단계를 더 포함하고, 상기 촬영된 이미지는 황달 진단용 이미지일 수 있다.
본 발명의 일실시예에 따르면 원격으로 사용자의 황달을 진단함으로써 황달 증상이 없는 사용자가 병원에 내방할 경우에 발생하는 시간적, 경제적 낭비를 줄여줄 수 있고, 의사가 황달 증상이 없는 사용자를 불필요하게 진료할 필요가 없어 의사의 근무 시간을 줄여주는 효과가 있다.
또한, 본 발명의 다른 실시예에 따르면 황달 진단용 이미지, 사용자에 대한 병력 정보, 황달 증상이 있는 타인에 대한 진료정보 등에 기초하여 자동으로 산출되는 황달 증상에 대한 진단 결과를 의사가 보조 자료로서 제공받아, 황달의 진단 및 처방을 할 수 있게 되어 의사의 진료 부담이 줄어드는 장점이 있다.
본 발명의 또 다른 실시예에 따르면 사용자가 수시로 황달 증상 여부를 진단받을 수 있어 질병의 조기 진단을 가능하게 해주는 장점이 있다.
본 발명의 또 다른 실시예에 따르면 이미지 촬영의 보조 도구로 사용되는 패치는 자동 초점인식의 보조수단으로 사용됨과 동시에 다양한 조명 환경에서 촬영된 병변 부위의 색상 왜곡을 보정함으로써, 의사의 진료 진단에 활용하는 영상 데이터의 품질을 높일 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 방법을 설명하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 황달 진단용 이미지를 획득하는 방법을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스를 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 황달 진단용 이미지를 획득하는 방법을 설명하는 도면이다.
도 5는 도 4에 도시된 패치를 설명하는 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 이미지 기반 황달 진단 방법을 설명하는 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 이미지 기반 황달 진단 방법을 설명하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 장치를 설명하는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 이미지 기반 황달 진단 장치를 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따라 휘도분포함수를 이용하여 황달 진단용 보정 이미지를 생성하는 방법을 설명하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 보조 장치를 설명하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 방법을 설명하는 흐름도이다.
단계 110에서, 황달 진단 장치는 사용자의 특정 신체 부위와 기준 물체를 함께 촬영한 황달 진단용 이미지를 수신한다.
이때, 황달 진단용 이미지는 사용자가 현재 위치한 장소에서 촬영된 이미지일 수 있고, 사용자의 특정 신체 부위는 사용자의 얼굴, 안구 등일 수 있고, 사용자의 피부를 확인할 수 있는 손목 등의 신체부위일 수도 있다.
또한, 기준 물체는 사용자의 얼굴 피부 및 안구 등의 색상을 보정하기 위한 기준이 되는 물체로서 흰색 종이, 흰색 포스트잇, 흰색 천, 흰색 플락스틱 모형, 흰색 모자, 흰색 밴드, 흰색 안경 등의 흰색 물체일 수 있고, 복수의 색상으로 구성된 색띠, 색표, 패치 등일 수도 있다.
또한, 황달 진단용 이미지는 기준 물체를 사용자가 손에 들고 촬영하거나, 사용자 신체 부위 근처의 위치에 배치한 후 촬영하는 방식으로 획득될 수도 있고, 사용자의 특정 신체 부위에 착용 또는 부착한 채로 촬영하는 방식으로 획득될 수도 있다.
예컨대, 기준 물체는 흰색을 가지는 단일 영역으로 구성되거나, 각각 상이한 색상을 가지는 복수의 영역으로 구성되는 안대일 수 있는데, 이에 대해서는 도 2를 참조하여 후술한다. 또한, 기준 물체는 흰색과 적어도 하나의 다른 색상을 가지는 복수의 영역으로 구성되는 패치(patch)일 수 있는데, 이에 대해서는 도 4 내지 도 5를 참조하여 후술한다.
한편, 이와 같이 사용자의 특정 신체 부위와 기준 물체를 함께 촬영하여 황달 진단용 이미지를 생성하는 이유는 사용자 신체 부위를 촬영한 장소의 환경(특히, 조명 환경)에 따라 사용자 신체 부위의 색상이 왜곡될 수 있기 때문이다.
예컨대, 황당 증상을 가진 사용자가 병원의 진료실에 내방했을 때 형광등 아래에서 사용자의 안구를 촬영한 경우와 이후에 사용자가 자신의 가정집에서 백열등을 켜놓고 사용자 안구를 촬영한 경우에는 실제로 사용자 안구의 색상이 변함이 없는 경우라고 할지라도 백열등에서 촬영한 이미지에서 사용자의 안구가 더 노란색을 띄게 된다. 따라서, 이와 같은 색상 왜곡을 보정해야할 필요성이 있어 기준 물체를 함께 촬영한 황달 진단용 이미지를 생성하는 것이다.
다른 실시예에서는, 사용자가 황달 진단용 이미지를 촬영할 때 황달 진단 장치에서 제공하는 황달 진단용 이미지를 촬영하기 위한 사용자 인터페이스를 이용할 수도 있는데, 이에 대해서는 도 3을 참조하여 후술한다.
단계 120에서, 황달 진단 장치는 황달 진단용 이미지에 포함된 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성한다.
이때, 색상 왜곡 정보는 황달 진단용 이미지가 촬영된 환경의 조도, 황달 진단용 이미지를 촬영한 사용자 디바이스의 촬영 관련 설정 값(조리개 값, 셔터 스피드, ISO 등), 사용자 디바이스에 탑재된 렌즈에 대한 렌즈 수차 등에 기초하여 생성될 수 있다.
여기서, 사용자 디바이스는 사용자의 스마트폰, 휴대폰, 노트북, 데스크탑 컴퓨터 등 사용자의 이미지를 촬영할 수 있는 촬영 기능과 황달 진단용 이미지를 외부에 전송할 수 있는 통신 기능을 가진 모든 디바이스를 포함하며, 황달 진단 장치는 사용자 디바이스이거나 사용자 디바이스에 탑재된 장치일 수 있다.
이때, 색상 왜곡 정보는 색온도를 기반으로 하는 정보일 수 있다.
보다 구체적으로는, 황달 진단 장치는 미리 저장된 기준 광원 하에서 기준 물체(또는 기준 물체와 사용자의 특정 신체 부위)를 촬영한 참조 이미지에서의 기준 물체의 색온도인 제1 색온도와 황달 진단용 이미지에 포함된 기준 물체의 색온도인 제2 색온도간의 차이 값인 색온도 차이 정보를 색상 왜곡 정보로서 생성할 수 있다.
여기서, 기준 광원은 특정 색온도(5600K 또는 3200K)를 기준으로 하는 가상의 광원일 수도 있고, 사용자가 기존에 내원했던 병원 진료실의 실제 광원일 수도 있다.
예컨대, 기준 물체가 흰색 A4 용지라면 특정 색온도를 기준으로 하는 광원하에서 흰색 A4 용지를 촬영한 참조 이미지에서의 그 흰색 A4 용지에 대한 색온도인 제1 색온도 값을 이미 알고 있기 때문에, 황달 진단 장치는 그 제1 색온도 값과 황달 진단용 이미지에 포함된 기준 물체의 색온도인 제2 색온도간의 차이 값인 색온도 차이 정보를 생성함으로써 색상 왜곡 정보를 생성할 수 있다. 이 경우에, 황달 진단 장치는 참조 이미지를 미리 저장해두는 대신 그 흰색 A4 용지에 대한 제1 색온도 값만을 미리 저장해둘 수도 있다.
또한, 황달 증상이 있는 사용자가 병원에 내원했을 때 해당 병원의 진료실에서 기준 물체를 촬영하거나 기준 물체와 사용자를 함께 촬영하여 생성된 참조 이미지의 경우에는 기준 광원은 그 병원의 진료실에 설치된 광원이 되고, 그 참조 이미지에서의 기준 물체의 색온도가 제1 색온도가 된다.
다른 실시예에서는, 색상 왜곡 정보는 휘도(Y)를 기반으로 하는 정보일 수 있다.
예컨대, 참조 이미지가 YCbCr 포맷이고 황달 진단용 이미지가 RGB 포맷일 때, 황달 진단 장치는 RGB 포맷의 황달 진단용 이미지를 YCbCr 포맷으로 변환하여 황달 진단용 변환 이미지를 생성한 후, 그 황달 진단용 변환 이미지에 속하는 전체 화소의 휘도 값(Y)에 대한 누적확률밀도함수인 제1 휘도분포함수를 산출하여 색상 왜곡 정보로서 생성할 수 있다.
단계 130에서, 황달 진단 장치는 색상 왜곡 정보에 기초하여 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성한다.
이때, 색상 왜곡 정보가 색온도 차이 정보인 경우라면 황달 진단 장치는 색온도 차이 정보에 기초하여 황달 진단용 이미지의 기본 물체의 색온도가 제1 색온도와 동일하게 되도록 황달 진단용 이미지의 색온도를 보정함으로써 황달 진단용 보정 이미지를 생성한다.
또한, 색상 왜곡 정보가 제1 휘도분포함수라면 황달 진단 장치는 YCbCr 포맷의 참조 이미지에 속하는 전체 화소의 휘도 값(Y)에 대한 누적확률밀도함수인 제2 휘도분포함수를 산출하고, 제1 휘도분포함수에 대응되는 황달 진단용 이미지가 제2 휘도분포함수를 가지도록 보정함으로써 황달 진단용 보정 이미지를 생성한다
이에 대해서는 도 10을 참조하여 설명한다.
도 10은 본 발명의 일 실시예에 따라 휘도분포함수를 이용하여 황달 진단용 보정 이미지를 생성하는 방법을 설명하기 위하여 도시한 도면이다.
도 10을 참조하면, 빨간색 그래프가 보정이 필요한 황달 진단용 이미지에 대응되는 제1 휘도분포함수를 나타내고, 파란색 그래프가 참조 이미지에 대응되는 제2 휘도분포함수를 나타내며, 가로축은 휘도 값을 나타내고 세로축은 누적확률밀도값을 나타낸다.
도 10에서 제1 휘도분포함수가 제2 휘도분포함수와 일치하도록 보정하는 과정은 제1 휘도분포함수(빨간 그래프)에서의 화소의 휘도 값을 동일한 누적확률밀도값을 가지는 제2 휘도분포함수(파란 그래프)에서의 화소의 휘도 값으로 변환하는 과정이다.
예컨대, 제1 휘도분포함수(빨간 그래프)에서의 화소 x1의 휘도 값을 보정하려고 하는 경우라면 화소 x1의 누적확률밀도값인 0.3과 동일한 누적확률밀도값을 가지는 화소인 화소 x2를 제2 휘도분포함수(파란 그래프)에서 찾게 되고, 화소 x1의 휘도 값을 화소 x2의 휘도값으로 변환하게 된다.
단계 140에서, 황달 진단 장치는 황달 진단용 보정 이미지를 이용하여 사용자에 대한 황달 증상을 진단한다.
바람직하게는, 황달 진단 장치는 사용자에 대한 황달 증상을 진단할 때 황달 진단용 보정 이미지를 포함하며 사용자에 대한 황달 진단을 요청하는 황달 진단 요청을 진단 서버(예컨대, 병원에 구비된 서버)에게 전송하고, 진단 서버로부터 황달 진단 요청에 대한 진단 결과인 황달 진단 결과를 수신함으로써 진단을 수행할 수도 있다.
다른 실시예에서는, 황달 진단 장치가 황달 진단용 보정 이미지를 진단 서버에 전송하지 않고, 직접 분석하여 황달 진단을 수행할 수도 있다.
한편, 진단 서버는 황달 진단용 보정 이미지에 대한 이미지 분석 결과에 기초하여 황달 진단 결과를 결정할 수 있다.
또 다른 실시예에서, 진단 서버는 이미지 분석 결과뿐만 아니라, 사용자에 대한 병력(medical history) 정보, 황달 증상이 있는 타인에 대한 진료 정보 등에 더 기초하여 황달 진단 결과를 결정할 수도 있다.
이때, 진단 서버는 사용자에 대한 병력 정보 및 타인에 대한 진료 정보 중 적어도 하나에 기초하여 사용자의 질병을 추정하고, 그 추정된 사용자의 질병과 이미지 분석 결과간의 상호 관계를 기반으로 사용자의 황달 증상이 건강에 위험한 수준인지 여부를 나타내는 건강 위험도 정보를 포함하는 황달 진단 결과를 생성할 수도 있다. 예컨대, 사용자가 A 질병을 앓고 있을 때의 황달 증상의 건강 위험도가 B 질병을 앓고 있을 때의 황달 증상의 건강 위험도보다 높을 수 있다. 따라서, 똑같은 심도의 황달 증상을 앓고 있는 사용자라도 A 질병을 앓고 있는 경우에는 건강 위험도가 높은 것으로 판단될 수 있고, B 질병을 앓고 있는 경우에는 건강 위험도가 높지 않은 것으로 판단될 수 있다.
이 경우에, 황달 진단 장치는 A 질병을 앓고 있는 사용자에게 건강 위험도가 높으니 빨리 병원에 내방할 것을 요청하는 메시지를 출력할 수 있다.
한편, 사용자가 앓고 있는 질병은 사용자에 대한 병력 정보, 타인에 대한 진료 정보 등에 기초한 기계학습에 의해 자동으로 추정될 수도 있으나, 의사가 직접 결정할 수도 있다.
또한, 황달 진단 결과는 전술한 바와 같이 이미지 분석과 각종 데이터 분석을 통해 자동으로 결정될 수도 있으나, 이미지 분석과 각종 데이터 분석 결과를 보조 자료로 하여 의사가 결정할 수도 있다. 이때, 의사는 사용자에 대한 병력 정보까지 함께 고려하여 황달 증상에 대한 진단 및 처방을 하게 되므로 환자 맞춤형 진단 및 처방을 제공할 수 있게 된다.
이와 같이, 도 1의 실시예에 따르면 사용자가 사전에 병원에 내원하지 않거나, 기준 물체와 사용자의 특정 신체 부위 촬영을 위해 병원에 최초 1회만 방문한 이후에는 자신의 황달 증상을 진단받기 위해 병원에 매번 내원할 필요 없이, 원격으로 황달 증상을 진단받을 수 있게 되는 장점이 있다.
본 발명에 따르면, 빅데이터 기반의 딥 러닝을 사용하여 환자의 의료 접근성을 높이고 병원과 의사가 제공하는 의료서비스의 질을 높일 수 있다.
도 2는 본 발명의 일 실시예에 따른 황달 진단용 이미지를 획득하는 방법을 설명하는 도면이다.
도 2를 참조하면, 사용자가 자신의 안구(210)에 상이한 색상을 가지는 복수의 영역으로 구성되는 안대(220)를 착용하고 황달 진단용 이미지를 촬영하는 장면을 도시하고 있다. 이때, 안대(220)는 상이한 색상을 가지는 복수의 영역으로 구성될 수도 있으나, 흰색을 가지는 단일 영역으로 구성될 수도 있다.
이와 같이 기준 물체가 안대(220)인 경우에는 사용자가 손쉽게 착용하고 이미지를 촬영할 수 있는 장점이 있다. 한편, 황달 진단 장치는 도 2에서와 같이 촬영된 황달 진단용 이미지를 수신하면, 안대(220)에 포함된 복수의 영역에 해당하는 색상들에 기초하여 황달 진단용 이미지를 보정하여 황달 진단용 보정 이미지를 생성한다.
예컨대, 황달 진단 장치는 황달 진단용 이미지에 포함된 색상들 각각에 대한 RGB 화소 값에서 기준 광원하의 색상들 각각에 대한 RGB 화소 값을 차감하여 RGB 화소 차이 값을 산출한 후, 그 산출된 RGB 화소 차이 값을 황달 진단용 이미지에 포함된 화소들 각각의 RGB 화소 값에 가산하는 방식으로 황달 진단용 보정 이미지를 생성할 수 있다.
다음으로, 황달 진단 장치는 황달 진단용 보정 이미지를 진단 서버에게 전송한다.
다음으로, 진단 서버는 사용자의 안구 또는 얼굴 피부에 대응되는 화소들을 전부 또는 일부를 추출하여, 그 추출된 화소들의 화소 값이 황달에 해당하는 RGB 화소 값 구간에 속하는 황달 화소들을 선별한다.
마지막으로, 황달 진단 장치는 사용자의 안구 또는 얼굴 피부에서 추출된 화소들 중에서 황달 화소들의 비율을 적어도 하나의 임계치와 비교하여 사용자가 황달 증상을 가지고 있는지 여부와 황달의 심도를 진단할 수 있다.
예컨대, 황달 화소 비율이 50% 이상이면 황달 증상이 있는 것이고, 황달 화소 비율이 80% 이상이면 황달이 심한 것으로 진단할 수 있다. 황달 진단 장치의 사용자는 필요에 따라서 이러한 임계치를 변경할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스를 설명하는 도면이다.
도 3을 참조하면, 사용자 디바이스(230)에 황달 진단용 이미지를 촬영하기 위한 사용자 인터페이스(232, 234, 236)가 출력되어 있는데, 사용자는 자신의 안구(210)를 사용자 디바이스(230)의 좌측 상단의 원형으로 표시된 안구 영역(232)에 맞추고, 사용자의 안대(220)는 사용자 디바이스(230)의 우측 상단의 안대 영역(234)에 맞춘 후에, 하단의 촬영 버튼(236)을 클릭하여 황달 진단 이미지를 촬영하게 된다.
이때, 사용자는 사용자 인터페이스(232, 234, 236)에서 실시간으로 제공하는 촬영 가이드 라인에 따라 황달 진단용 이미지를 촬영하게 된다.
예컨대, 사용자 인터페이스(232, 234, 236)는 사용자가 사용자 디바이스에 너무 가까이 있으면 조금 뒤로 물러나라는 메시지를 표시할 수 있고, 사용자의 안구(210)가 작아 식별이 힘들면 눈을 크게 뜨라는 메시지를 표시할 수도 있다.
또한, 촬영 버튼(236)을 이용하여 촬영 대상에 대한 초점을 조절하거나 사용자 인터페이스(232, 234, 236) 상의 안구 영역(232)과 안대 영역(234)의 크기를 조절할 수도 있다.
도 4는 본 발명의 다른 실시예에 따른 황달 진단용 이미지를 획득하는 방법을 설명하는 도면, 도 5는 도 4에 도시된 패치를 설명하는 예시도이다.
도 4의 (a)는 사용자가 자신의 얼굴에 흰색과 적어도 하나의 다른 색상을 가지는 색 영역으로 구성되는 패치(300)를 부착하고, 황달 진단용 이미지를 촬영하는 장면을 도시하고 있다. 여기서는 패치(300)를 눈 밑에 부착한 것을 도시하였으나, 패치(300)는 그외에도 다른 신체 부위에 부착할 수 있다.
도 4의 (b)는 사용자가 안구의 공막 부분이 많이 보이도록 하기 위해 손가락으로 눈 밑을 당긴 경우, 눈 밑을 당긴 손가락의 손톱 위에 패치(300)를 부착하고, 황달 진단용 이미지를 촬영하는 장면을 도시하고 있다. 여기서는 안구 공막의 범위를 넓히기 위해 손가락을 사용하였으나, 손가락 이외에 안구 공막의 범위를 넓힐 수 있는 도구라면 사용 가능하고, 도구를 사용한 경우 눈으로부터 일정 거리내에 패치(300)를 부착할 수 있다. 이때, 도구는 손가락을 포함할 수 있다.
한편, 황달 진단을 위해 부착하는 패치(300)는 개인마다 다른 카메라의 성능차이와 주위환경에 의해 생기는 촬영 이미지의 색상 왜곡을 보정하고, 초점이 맞는 이미지를 촬영하기 위한 보조 도구로 사용되는 것으로, 흰색과 적어도 하나의 다른 색상을 가지는 복수의 영역으로 구성되며, 부착형일 수 있다. 따라서, 패치(300)는 흰색과 적어도 하나의 다른 색상을 가지는 색 영역이 전면에 배치되고, 배면에 탈부착이 가능하도록 하는 접착영역이 형성된 구성일 수 있다. 전면에 배치되는 색 영역에서 흰색 영역은 황달 진단 이미지의 색상을 보정하기 위한 기준으로 이용되고, 나머지 색상 영역은 초점이 맞는 이미지 획득을 위한 기준으로 이용될 수 있다. 예컨대, 패치(300)는 동일한 색상의 제1 영역 및 제2 영역이 흰색 영역을 사이에 두고 교차 배치된 패턴이 전면에 형성될 수 있다. 또한, 패치(300)는 사용자의 신체(예컨대, 얼굴), 도구 등에 탈부착 가능해야 하고, 사용자의 특정 신체 부위와 함께 촬영되어야 하므로, 사용자의 신체 부위(예컨대, 얼굴), 도구 등에 부착하기에 적합한 임의의 크기일 수 있다. 예컨대, 패치(300)는 10원 동전 크기, 눈동자 크기 등일 수 있다. 또한, 패치는 사각형, 원형, 타원형 등 다양한 형상일 수 있다.
패치(300)에 대해 도 5를 참조하면, (a)는 사각형의 패치, (b)는 원형의 패치를 도시하고 있다. 패치(300)는 제1 검정 영역(310)과 제2 검정 영역(320) 사이에 흰색 영역(330)이 배치되는 형태일 수 있다. 여기서, 제1 및 제2 검정 영역(310, 320)은 초점이 맞는 이미지를 획득하기 위해 이용되고, 흰색 영역(330)은 황달 진단 이미지의 색상을 보정하기 위한 기준으로 이용될 수 있다. 도 5에서는 패치(300)와 다른 신체부위(예컨대, 안구)의 식별이 용이하도록, 제1 검정영역(310)과 제2 검정영역(320)이 흰색 영역(330)을 사이에 두고 교차 배치된 색 영역을 가지는 패치(300)를 예시하였으나, 패치(300)의 색 영역은 다양한 형태로 구성될 수 있다.
이하, 도 5와 같은 패치(300)를 사용자가 자신의 특정 신체 부위에 부착한 경우 황달을 진단하는 방법에 대해 설명하기로 한다. 촬영부가 구비된 황달 진단 장치(230)(또는 사용자 디바이스)는 황달 진단을 위해 촬영부가 구동되면, 이미지 촬영 전에 촬영부를 통해 표시되는 이미지를 실시간으로 분석하여 패치(300)를 검출하고, 패치(300)가 검출된 시점의 이미지를 초점이 맞는 이미지로 판단하여 자동으로 촬영한다. 이때, 촬영된 이미지가 황달 진단용 이미지일 수 있다.
즉, 황달 진단 장치(230)는 이미지 촬영 전에 촬영부를 통해 표시되는 이미지를 실시간으로 분석하고, 에지 검출 알고리즘을 이용하여 제1 검정 영역(310)과 제2 검정 영역(320)의 에지를 검출한다. 이때, 에지 검출 알고리즘은 캐니 에지 검출(canny edge detector) 알고리즘, 로버츠(Roberts) 에지 검출 알고리즘, 소벨(Sobel) 에지 검출 알고리즘, 프리윗(Prewitt) 에지 검출 알고리즘 등 다양한 알고리즘이 사용되는 것이 가능하다.
제1 검정 영역(310)과 제2 검정 영역(320)의 에지가 검출되면, 황달 진단 장치는 초점이 맞는 이미지라고 판단하여, 그 시점의 이미지를 자동으로 촬영할 수 있다. 또한, 황달 진단 장치(350)는 제1 검정 영역(310)과 제2 검정 영역(320)의 에지가 검출되면, 검출된 에지가 이미지의 일정 범위 내에 존재하는지 판단하여, 일정 범위 내에 존재하는 경우 초점이 맞는 이미지라고 판단하고, 그 시점의 이미지를 자동으로 촬영할 수도 있다. 여기서, 일정 범위는 예컨대, 이미지의 중심을 기준으로 한 범위일 수 있다.
이때, 황달 진단 장치(230)는 사용자 인터페이스 또는 음성을 통해 촬영 가이드 라인을 제공하여, 초점이 맞춰진 이미지를 촬영할 수 있도록 할 수도 있다. 예컨대, 황달 진단 장치(230)는 사용자가 너무 가까이 있으면 조금 뒤로 물러나라는 메시지를 출력할 수 있고, 사용자의 안구(210)가 작아 식별이 힘들면 눈을 크게 뜨라는 메시지를 출력할 수도 있다. 또한, 황달 진단 장치는(230) 제1 검정 영역(310)의 일부분이 잘린 상태로 검출되면, 제1 검정영역(310) 및 제2 검정영역(320)의 에지가 모두 검출될 수 있는 방향으로 움직이라는 메시지를 출력할 수도 있다. 또한, 황달 진단 장치(230)는 검출된 제1 검정영역(310) 및 제2 검정영역(320)의 에지가 이미지의 일정 범위내에 존재하지 않는 경우 일정 범위내에 위치하도록 움직이라는 메시지를 출력할 수도 있다.
이와 같이 기준 물체가 패치(300)인 경우에는 사용자가 손쉽게 부착할 수 있고, 황달 진단 장치(230)(또는 사용자 디바이스)가 자동으로 황달 진단용 이미지를 촬영함으로써, 사용자는 황달 진단용 이미지를 촬영하기 위해 촬영 버튼을 누르는 동작을 할 필요가 없다.
황달 진단 장치(230)는 황달 진단용 이미지가 촬영되면, 황달 진단용 이미지의 패치(300)에 포함된 흰색에 기초하여 황달 진단용 이미지를 보정하여 황달 진단용 보정 이미지를 생성한다. 즉, 황달 진단 장치(300)는 흰색 영역의 화소 값에서 기준 광원하의 흰색에 대한 화소 값을 차감하여 화소 차이 값을 산출한 후, 그 산출된 화소 차이 값을 황달 진단용 이미지에 포함된 화소들 각각의 RGB 화소 값에 가산하는 방식으로 황달 진단용 보정 이미지를 생성할 수 있다.
황달 진단 장치(300)는 황달 진단용 보정 이미지를 진단 서버로 전송한다.
그러면, 진단 서버는 사용자의 안구 또는 얼굴 피부에 대응되는 화소들을 전부 또는 일부를 추출하여, 그 추출된 화소들의 화소 값이 황달에 해당하는 RGB 화소 값 구간에 속하는 황달 화소들을 선별한다. 이때, 진단 서버는 패치의 위치를 기준으로 기 설정된 일정 범위를 검색하여 황달 진단을 위한 관심 영역의 위치를 결정하고, 관심 영역의 화소들을 추출할 수 있다. 또한, 관심 영역은 미리 설정되어 있을 수 있고, 진단 서버는 기 설정된 관심영역의 화소들을 추출할 수도 있다. 예컨대, 눈 영역이 관심영역으로 설정되어 있을 수 있다. 또한, 사용자가 황달 진단용 이미지에서 관심 영역을 직접 선택하면, 진단 서버는 선택된 관심 영역의 화소를 추출할 수도 있다.
마지막으로, 황달 진단 장치(300)는 사용자의 안구 또는 얼굴 피부에서 추출된 화소들 중에서 황달 화소들의 비율을 적어도 하나의 임계치와 비교하여 사용자가 황달 증상을 가지고 있는지 여부와 황달의 심도를 진단할 수 있다.
전술한 바와 같은 동작을 수행하는 황달 진단 장치(300)에는 황달 진단을 위한 애플리케이션이 설치된 상태일 수 있다. 따라서, 사용자가 황달 진단을 위한 애플리케이션을 실행시키면, 촬영 모드가 자동으로 구동되고, 패치가 검출되어야만 황달 진단용 이미지를 촬영하므로, 사용자가 이미지를 촬영하기 위해 촬영 버튼을 누를 필요가 없다.
도 6은 본 발명의 다른 실시예에 따른 이미지 기반 황달 진단 방법을 설명하는 흐름도이다.
단계 610에서, 황달 진단 장치는 사용자가 현재 위치한 장소에서 기준 물체를 촬영한 기준 이미지를 수신한다.
단계 620에서, 황달 진단 장치는 기준 이미지에 포함된 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성한다.
본 실시예에서는 사용자가 현재 위치한 장소에서 기준 물체를 촬영한 기준 이미지를 이용하여 색상 왜곡 정보를 생성한다는 점에서 도 1의 실시예와 차이점이 있다.
이때, 색상 왜곡 정보는 전술한 바와 같이 색온도 차이 정보를 기반으로 생성되거나 휘도분포함수를 이용하여 생성될 수 있다.
단계 630에서, 황달 진단 장치는 기준 이미지를 촬영한 조건과 동일한 조건에서 사용자의 특정 신체 부위를 촬영한 황달 진단용 이미지를 수신한다.
이때, 촬영 조건이 동일하다는 것은 동일한 광원, 동일한 주변 환경, 동일한 장소에서 촬영한다는 것을 의미한다.
단계 640에서, 황달 진단 장치는 색상 왜곡 정보에 기초하여 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성한다.
이때, 황달 진단용 이미지는 기준 이미지와 동일한 조건에서 촬영된 것이므로 기준 이미지를 이용하여 생성한 색상 왜곡 정보를 이용하여 황달 진단용 이미지의 색상 왜곡을 보정하더라도 효과적인 보정이 가능하다.
단계 650에서, 황달 진단 장치는 황달 진단용 보정 이미지를 이용하여 사용자에 대한 황달 증상을 진단한다.
도 7은 본 발명의 또 다른 실시예에 따른 이미지 기반 황달 진단 방법을 설명하는 흐름도이다.
단계 710에서, 황달 진단 장치는 촬영부의 이미지 촬영 모드가 구동되면, 단계 720에서 이미지 촬영 전에 촬영부를 통해 표시되는 이미지를 분석하여 기준 물체가 검출되는지 판단한다.
즉, 황달 진단 장치는 이미지 촬영 전에 촬영부를 통해 표시되는 이미지를 실시간으로 분석하여, 기 설정된 패치의 에지가 검출되는지 판단한다. 예컨대, 황달 진단 장치는 패치의 색 영역 중 흰색 영역을 제외한 나머지 영역의 에지를 검출한다.
단계 730에서, 황달 진단 장치는 기준 물체의 에지가 검출되면, 에지가 검출된 시점의 이미지는 초점이 맞춰진 이미지라고 판단하여, 그 시점의 이미지를 자동으로 촬영한다.
단계 740에서, 황달 진단 장치는 단계 730에서 촬영된 이미지를 황달 진단용 이미지로 결정한다. 황달 진단용 이미지는 사용자의 특정 신체 부위와 기준 물체를 포함할 수 있다.
단계 750에서, 황달 진단 장치는 황달 진단용 이미지에 포함된 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성한다. 이때, 색상 왜곡 정보는 전술한 바와 같이 색온도 차이 정보를 기반으로 생성되거나 휘도분포함수를 이용하여 생성될 수 있다.
예컨대, 기준 물체가 도 5와 같은 부착형 패치라면, 특정 색온도를 기준으로 하는 광원 하에서 패치를 촬영한 참조 이미지에서 패치의 흰색에 대한 색온도인 제1 색온도는 미리 알고 있기 때문에, 황달 진단 장치는 그 제1 색온도 값과 황달 진단용 이미지에 포함된 패치의 흰색에 대한 색도온인 제2 색온도간의 차이 값인 색온도 차이 정보를 생성함으로써 색상 왜곡 정보를 생성할 수 있다. 이 경우에, 황달 진단 장치는 참조 이미지를 미리 저장해두는 대신 흰색에 대한 제1 색온도 값만을 미리 저장해둘 수도 있다.
단계 760에서, 황달 진단 장치는 색상 왜곡 정보에 기초하여 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성한다.
단계 770에서, 황달 진단 장치는 황달 진단용 보정 이미지를 이용하여 사용자에 대한 황달 증상을 진단한다.
도 8은 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 장치를 설명하는 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 황달 진단 장치(800)는 수신부(810), 왜곡 정보 생성부(820), 이미지 보정부(830) 및 진단부(840)를 포함한다.
수신부(810)는 사용자가 현재 위치한 장소에서 사용자의 특정 신체 부위와 기준 물체를 함께 촬영한 황달 진단용 이미지를 수신한다.
왜곡 정보 생성부(820)는 황달 진단용 이미지에 포함된 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성한다.
이미지 보정부(830)는 색상 왜곡 정보에 기초하여 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성한다.
진단부(840)는 황달 진단용 보정 이미지를 이용하여 사용자에 대한 황달 증상을 진단한다.
이때, 진단부(840)는 전송부(미도시) 및 결과 처리부(미도시)를 포함할 수 있다.
전송부는 황달 진단용 보정 이미지를 포함하며 사용자에 대한 황달 진단을 요청하는 황달 진단 요청을 진단 서버(미도시)에게 전송한다.
다른 실시예에서는, 전송부가 황달 진단 요청을 진단 서버에게 전송하는 대신, 황달 진단용 보정 이미지를 의사의 디바이스로 직접 전송할 수도 있다.
이때, 의사의 디바이스는 의사의 스마트폰, 휴대폰, 노트북, 데스크탑 컴퓨터 등 황달 진단용 보정 이미지를 수신할 수 있는 통신 기능과 황달 진단용 보정 이미지를 출력할 수 있는 디스플레이 기능이 있는 모든 디바이스를 포함한다.
결과 처리부는 수신부(810)를 통해 진단 서버(미도시)로부터 황달 진단 요청에 대한 진단 결과인 황달 진단 결과가 수신되면, 황달 진단 결과를 이용하여 사용자에 대한 황달 진단을 수행한다. 바람직하게는, 본 발명의 일 실시예에 따른 황달 진단 장치(800)는 황달 진단용 이미지를 촬영하기 위한 사용자 인터페이스를 출력하는 사용자 인터페이스 관리부(미도시)를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 황달 진단 장치(800)는 다음과 같이 동작할 수 있다.
수신부(810)는 사용자가 현재 위치한 장소에서 기준 물체를 촬영한 기준 이미지를 수신한다.
왜곡 정보 생성부(820)는 기준 이미지에 포함된 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성한다.
이미지 보정부(830)는 수신부(810)를 통해 기준 이미지를 촬영한 조건과 동일한 조건에서 사용자의 특정 신체 부위를 촬영한 황달 진단용 이미지가 수신되면, 색상 왜곡 정보에 기초하여 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성한다.
진단부(840)는 황달 진단용 보정 이미지를 이용하여 사용자에 대한 황달 증상을 진단한다.
본 발명의 또 다른 실시예에 따른 황달 진단 장치(800)는 다음과 같이 동작할 수 있다.
수신부(810)는 촬영 조건이 알려진 제1 장소에서 사용자의 안구를 촬영한 기준 안구 이미지를 수신하고, 제1 장소 이외의 제2 장소에서 사용자의 안구를 촬영한 황달 진단용 이미지를 수신한다.
여기서, 제1 장소는 병원 진료실일 수 있고, 제2 장소는 사용자의 자택 등 병원 진료실이 아닌 다른 장소일 수 있다.
왜곡 정보 생성부(820)는 기준 안구 이미지에서의 홍채 색상과 황달 진단용 이미지에서의 홍채 색상을 비교하여 황달 진단용 이미지에서의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성한다.
이와 같이, 홍채 색상을 비교하여 색상 왜곡 정보를 생성하는 이유는 사용자가 황달 증상이 있더라도 홍채의 색상은 변경되지 않기 때문에, 기준 안구 이미지와 황달 진단용 이미지 각각에서의 홍채의 색상이 상이하다면 색상 왜곡이 발생했다고 볼 수 있고, 색상 왜곡의 정도도 알 수 있기 때문이다.
이미지 보정부(830)는 색상 왜곡 정보에 기초하여 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성한다.
진단부(840)는 황달 진단용 보정 이미지를 이용하여 사용자에 대한 황달 증상을 진단한다.
이때, 진단부(840)는 황달 진단용 보정 이미지에 포함된 사용자 안구의 흰자위(공막)의 색상이 황달에 해당하는지에 기초하여 황달 증상을 진단할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 이미지 기반 황달 진단 장치를 설명하는 도면이다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 황달 진단 장치(900)는 촬영부(910), 황달 진단용 이미지 획득 제어부(920), 수신부(930), 왜곡 정보 생성부(940), 이미지 보정부(950) 및 진단부(960)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 황달 진단 장치(900)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 황달 진단 장치(900)는 구현될 수 있다.
촬영부(910)는 사용자의 신체 특정 부위와 기준 물체를 함께 촬영한다. 촬영부(910)에는 미리 결정된 촬영 파라미터가 설정되어 있을 수 있다. 미리 결정된 촬영 파라미터는 예를들면, 조리개 값, 플래시 발광 여부, 화이트밸런스 조건 등을 포함할 수 있다.
이하에서는 설명의 편의를 위해 기준 물체를 패치로 한정하여 설명하기로 한다.
황달 진단용 이미지 획득 제어부(920)는 황달 진단을 위한 애플리케이션이 실행되면, 촬영부(910)를 자동으로 구동시키고, 이미지 촬영 전에 촬영부(910)를 통해 표시되는 이미지를 실시간으로 분석하여 패치를 검출하고, 패치가 검출된 시점의 이미지를 자동으로 촬영한다. 이때, 촬영된 이미지가 황달 진단용 이미지일 수 있다.
즉, 황달 진단용 이미지 획득 제어부(920)는 이미지 촬영 전에 촬영부(910)를 통해 표시되는 이미지를 실시간으로 분석하고, 에지 검출 알고리즘을 이용하여 패치의 각 색 영역에 대한 에지를 검출한다. 황달 진단용 이미지 획득 제어부(920)는 패치의 색 영역에 대한 에지가 검출되면, 초점이 맞는 이미지라고 판단하여, 그 시점의 이미지를 자동으로 촬영하도록 촬영부(910)를 제어한다. 또한, 황달 진단용 이미지 획득 제어부(920)는 패치의 색 영역에 대한 에지가 검출되면, 검출된 에지가 이미지의 일정 범위 내에 존재하는지 판단하여, 일정 범위 내에 존재하는 경우 초점이 맞는 이미지라고 판단하고, 그 시점의 이미지를 자동으로 촬영하도록 촬영부를 제어할 수도 있다.
이처럼, 황달 진단용 이미지 획득 제어부(920)는 초점이 맞춰진 상태에서 사용자의 특정 신체 부위와 패치를 함께 촬영하도록 제어한다.
본 실시예에 따르면, 황달 진단용 이미지를 촬영하기 위해, 사용자가 촬영 버튼을 눌러야 하는 등의 특별한 조작이 없어도, 황달 진단용 이미지를 촬영할 수 있다.
수신부(930)는 촬영부(910)에 의해 촬영된 사용자의 특정 신체 부위와 패치를 포함하는 황달 진단용 이미지를 수신한다.
왜곡 정보 생성부(940))는 황달 진단용 이미지에 포함된 패치의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성한다. 예컨대, 왜곡 정보 생성부(940)는 패치에 포함된 흰색의 화소값을 기준 색상의 화소값과 비교하고. 그 비교결과에 근거하여 색상 왜곡 정보를 생성한다.
이미지 보정부(950)는 색상 왜곡 정보에 기초하여 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성한다.
진단부(960)는 황달 진단용 보정 이미지를 이용하여 사용자에 대한 황달 증상을 진단한다.
한편, 본 발명에 따른 황달 진단 장치(900)는 황달 진단을 위한 애플리케이션이 저장된 저장부(미도시)를 더 포함할 수 있다. 또한, 저장부에는 왜곡 정보 생성부(940)가 색상 왜곡 정보를 생성하기 위한 기준인 기준 색상의 화소값이 저장되어 있다.
또한, 황달 진단 장치(900)는 황달 진단 장치(900)의 다양한 구성부들의 동작을 제어하는 제어부(미도시)를 더 포함할 수 있다. 제어부는 사용자가 황달을 진단할 수 있도록 하는 애플리케이션(또는 애플릿)을 저장부에 저장할 수 있으며, 이러한 애플리케이션을 구동시켜 황달을 진단할 수 있게 제어할 수 있다.
또한, 황달 진단 장치(900)는 황달 진단 장치(900)의 동작과 관련된 다양한 정보를 표시하기 위한 디스플레이부(미도시)를 더 포함할 수 있다. 특히, 디스플레이부는 촬영부(910)를 통해 획득되는 이미지, 진단부에 의한 진단결과 등의 다양한 정보를 표시할 수 있다. 이러한 디스플레이부는 LCD, LED 등을 포함하는 다양한 디스플레이 장치를 통해 구현될 수 있다.
또한, 황달 진단 장치(900)는 사용자로부터 정보를 입력받기 위한 입력부(미도시)를 더 포함할 수 있다. 한편, 입력부는, 키패드, 터치 패널 등의 입력 장치로 구현될 수 있으며, 이러한 입력 장치 이외에도 다양한 입력 장치로 구현될 수 있다. 또한, 입력부는 디스플레이부와 일체를 이루는 터치 스크린의 형태로도 구현될 수 있다.
도 11은 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 보조 장치를 설명하는 도면이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 황달 진단 보조 장치(1100)는 수신부(1110), 검색부(1120) 및 출력부(1130)를 포함한다.
이때, 황달 진단 보조 장치(1100)는 의사의 디바이스에 탑재되는 장치이거나 의사의 디바이스일 수 있다.
수신부(1110)는 사용자의 특정 신체 부위와 기준 물체를 함께 촬영한 이미지로서 색상 왜곡이 보정된 황달 진단용 보정 이미지를 수신한다.
이때, 수신부(1110)는 진단 서버 또는 사용자 디바이스로부터 황달 진단용 보정 이미지를 수신할 수 있다.
다른 실시예에서는, 수신부(1110)가 황달 진단용 보정 이미지를 포함하며, 사용자에 대한 황달 진단을 요청하는 황달 진단 요청을 수신할 수도 있다.
검색부(1120)는 다수의 황달 환자에 대한 병력 정보를 포함하는 환자 병력 DB로부터 사용자에 대한 병력 정보를 검색한다.
이때, 검색부(1110)는 황달 진단용 보정 이미지를 전송한 사용자 디바이스의 식별 정보(스마트폰의 전화 번호 등) 등을 이용하여 사용자를 식별하고, 식별된 사용자에 대한 병력 정보를 검색할 수 있다.
다른 실시예에서는, 수신부(1110)가 황달 진단 요청을 수신하는 경우 그 황달 진단 요청에 사용자를 식별하기 위한 사용자 식별 정보가 함께 포함될 수 있고, 검색부(1110)는 황달 진단 요청에 포함된 사용자 식별 정보에 기초하여 사용자에 대한 병력 정보를 검색할 수 있다.
출력부(1130)는 검색된 사용자에 대한 병력 정보 및 황달 진단용 보정 이미지를 출력한다.
본 실시예에 따르면 의사는 사용자에 대한 병력 정보를 직접 검색할 필요 없이, 황달 진단용 보정 이미지에 대응되는 사용자에 대한 병력 정보를 황달 진단용 보정 이미지와 함께 제공받으므로 진료시의 편의성이 향상된다.
바람직하게는, 본 발명의 일 실시예에 따른 이미지 기반 황달 진단 보조 장치(1100)는 황달 진단용 보정 이미지에 대한 이미지 분석을 수행하여 사용자가 황달 증상을 가지고 있는지 여부와 황달의 심도를 나타내는 이미지 분석 결과를 생성하는 분석부(미도시)를 더 포함할 수 있고, 이 경우 출력부는 사용자에 대한 병력 정보, 황달 진단용 보정 이미지뿐만 아니라 이미지 분석 결과도 함께 출력하게 된다. 또 다른 실시예에서는, 분석부는 건강 위험도 정보를 더 생성할 수 있고, 이 경우 출력부는 건강 위험도 정보를 출력함으로써 의사의 황달 진단을 보조할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (5)

  1. 황달 진단 장치가 이미지 기반으로 황달을 진단하는 방법에 있어서,
    사용자의 특정 신체 부위와 기준 물체를 함께 촬영한 황달 진단용 이미지를 수신하는 단계;
    상기 황달 진단용 이미지에 포함된 상기 기준 물체의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하는 단계;
    상기 색상 왜곡 정보에 기초하여 상기 황달 진단용 이미지의 색상 왜곡을 보정하여 황달 진단용 보정 이미지를 생성하는 단계; 및
    상기 황달 진단용 보정 이미지를 이용하여 상기 사용자에 대한 황달 증상을 진단하는 단계를 포함하되,
    상기 기준 물체는 부착형 패치(patch)인 것을 특징으로 하는 이미지 기반 황달 진단 방법.
  2. 제1항에 있어서,
    상기 부착형 패치는 흰색과 적어도 하나의 다른 색상을 가지는 복수의 영역으로 구성되는 이미지 기반 황달 진단 방법.
  3. 제2항에 있어서,
    상기 부착형 패치는
    동일한 색상의 제1 영역 및 제2 영역이 흰색 영역을 사이에 두고 교차 배치된 패턴이 형성되는 것을 특징으로 하는 이미지 기반 황달 진단 방법.
  4. 제1항에 있어서,
    상기 부착형 패치는
    상기 사용자의 눈으로부터 일정 거리내의 얼굴에 부착 또는 눈 공막의 범위를 넓히기 위해 도구를 사용한 경우 눈으로부터 일정 거리내의 도구 또는 얼굴에 부착하는 것을 특징으로 하는 이미지 기반 황달 진단 방법.
  5. 제1항에 있어서,
    상기 황달 진단용 이미지를 수신하는 단계 이전에,
    상기 황달 진단 장치에 구비된 촬영부를 통해 표시되는 이미지를 실시간으로 분석하여 상기 기준 물체가 검출된 시점의 이미지를 자동으로 촬영하는 단계를 더 포함하고,
    상기 촬영된 이미지는 황달 진단용 이미지인 것을 특징으로 하는 이미지 기반 황달 진단 방법.


KR1020170133524A 2016-12-28 2017-10-13 이미지 기반 황달 진단 방법 및 장치 KR101998595B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170133524A KR101998595B1 (ko) 2017-10-13 2017-10-13 이미지 기반 황달 진단 방법 및 장치
US15/855,504 US10945637B2 (en) 2016-12-28 2017-12-27 Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus
US16/115,821 US11051716B2 (en) 2017-10-13 2018-08-29 Method and apparatus for jaundice diagnosis based on an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170133524A KR101998595B1 (ko) 2017-10-13 2017-10-13 이미지 기반 황달 진단 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190041818A true KR20190041818A (ko) 2019-04-23
KR101998595B1 KR101998595B1 (ko) 2019-07-11

Family

ID=66097182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133524A KR101998595B1 (ko) 2016-12-28 2017-10-13 이미지 기반 황달 진단 방법 및 장치

Country Status (2)

Country Link
US (1) US11051716B2 (ko)
KR (1) KR101998595B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210045869A (ko) 2019-10-17 2021-04-27 아주대학교산학협력단 황달 진단 패치, 패치 인증 시스템 및 이를 이용한 황달 진단 방법
KR20210129778A (ko) * 2020-04-20 2021-10-29 서울대학교병원 의료 임상 사진의 화이트 밸런스 기준점을 위한 스티커 및 이를 이용한 의료 임상 사진 데이터 분석 방법 및 장치
KR20230161306A (ko) * 2022-05-18 2023-11-27 주식회사 디아비전 체외 진단 기기에 대한 촬영 가이드 및 진단 결과를 제공하기 위한 전자 장치 및 그 동작 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101998595B1 (ko) * 2017-10-13 2019-07-11 아주대학교산학협력단 이미지 기반 황달 진단 방법 및 장치
KR102631708B1 (ko) * 2018-06-19 2024-01-31 삼성전자주식회사 항산화 지수 측정 장치 및 방법
CN110796642A (zh) * 2019-10-09 2020-02-14 陈浩能 水果品质程度确定方法及相关产品
KR102342334B1 (ko) 2019-12-13 2021-12-22 아주대학교 산학협력단 개선된 황달 진단 방법 및 그 시스템
KR102554361B1 (ko) * 2020-11-18 2023-07-12 주식회사 고운세상코스메틱 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108649A (ko) 2011-11-21 2014-09-12 아이체크 헬스 커넥션, 인크. 망막질환을 모니터하는 비디오 게임
JP2015009140A (ja) * 2013-06-28 2015-01-19 信旭 周 黄疸測定プログラム、及び、それを用いる黄疸測定システム
JP2016516475A (ja) * 2013-03-12 2016-06-09 ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャリゼーション ビリルビンレベルを推定すること

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223193B2 (en) * 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
US10285624B2 (en) * 2013-03-12 2019-05-14 University Of Washington Systems, devices, and methods for estimating bilirubin levels
US20140268037A1 (en) * 2013-03-15 2014-09-18 Neuroptics, Inc. Intelligent headrest and ophthalmic examination and data management system
KR101998595B1 (ko) * 2017-10-13 2019-07-11 아주대학교산학협력단 이미지 기반 황달 진단 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108649A (ko) 2011-11-21 2014-09-12 아이체크 헬스 커넥션, 인크. 망막질환을 모니터하는 비디오 게임
JP2016516475A (ja) * 2013-03-12 2016-06-09 ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャリゼーション ビリルビンレベルを推定すること
JP2015009140A (ja) * 2013-06-28 2015-01-19 信旭 周 黄疸測定プログラム、及び、それを用いる黄疸測定システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210045869A (ko) 2019-10-17 2021-04-27 아주대학교산학협력단 황달 진단 패치, 패치 인증 시스템 및 이를 이용한 황달 진단 방법
KR20210129778A (ko) * 2020-04-20 2021-10-29 서울대학교병원 의료 임상 사진의 화이트 밸런스 기준점을 위한 스티커 및 이를 이용한 의료 임상 사진 데이터 분석 방법 및 장치
KR20230161306A (ko) * 2022-05-18 2023-11-27 주식회사 디아비전 체외 진단 기기에 대한 촬영 가이드 및 진단 결과를 제공하기 위한 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20190110716A1 (en) 2019-04-18
KR101998595B1 (ko) 2019-07-11
US11051716B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
US10945637B2 (en) Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus
US11583181B2 (en) Device and method for capturing, analyzing, and sending still and video images of the fundus during examination using an ophthalmoscope
US10376141B2 (en) Fundus imaging system
US11786117B2 (en) Mobile device application for ocular misalignment measurement
US20140285768A1 (en) System and Method for Identifying Eye Conditions
US10959611B2 (en) Visual field testing method, system, and testing apparatus based on head-mounted testing equipment
KR101789166B1 (ko) 이미지 기반 황달 진단 방법 및 장치, 이미지 기반 황달 진단 보조 장치
US20170161892A1 (en) A method for acquiring and processing images of an ocular fundus by means of a portable electronic device
US20170296049A1 (en) Image processing apparatus
Bolster et al. How the smartphone is driving the eye-health imaging revolution
JP2022000185A (ja) 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法
WO2015037316A1 (ja) 器官画像撮影装置および器官画像撮影方法
KR20180133091A (ko) 혀 및 문진을 통한 건강진단 시스템
CN111557639A (zh) 眼底检查系统
KR101887296B1 (ko) 홍채 진단 시스템 및 그 시스템의 스트레스 진단 방법
KR102189783B1 (ko) 이석증의 질병예측정보 표시방법
KR20230081189A (ko) 스마트폰을 이용한 동공반응 검사방법
WO2023249547A1 (en) Quality assurance in medical facial images with respect to ambient illumination quality assurance in body images
JP2021137236A (ja) 視覚検査装置、視覚検査プログラムおよび視覚検査方法
CN117425425A (zh) 显微手术期间的暖白光照明及数字图像的数字图像处理
Bolster et al. 9 figures–Figs 1-7 reproduced with permissions, others are original US ENGLISH

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right