KR20170099066A - 혀 이미지를 기반으로 한 설진 방법 및 시스템 - Google Patents

혀 이미지를 기반으로 한 설진 방법 및 시스템 Download PDF

Info

Publication number
KR20170099066A
KR20170099066A KR1020160020966A KR20160020966A KR20170099066A KR 20170099066 A KR20170099066 A KR 20170099066A KR 1020160020966 A KR1020160020966 A KR 1020160020966A KR 20160020966 A KR20160020966 A KR 20160020966A KR 20170099066 A KR20170099066 A KR 20170099066A
Authority
KR
South Korea
Prior art keywords
tongue
information
image
diagnosis
examinee
Prior art date
Application number
KR1020160020966A
Other languages
English (en)
Other versions
KR101809819B1 (ko
Inventor
정종율
이진수
Original Assignee
정종율
이진수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정종율, 이진수 filed Critical 정종율
Priority to KR1020160020966A priority Critical patent/KR101809819B1/ko
Publication of KR20170099066A publication Critical patent/KR20170099066A/ko
Application granted granted Critical
Publication of KR101809819B1 publication Critical patent/KR101809819B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4552Evaluating soft tissue within the mouth, e.g. gums or tongue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G06F17/30318
    • G06F19/321
    • G06F19/34
    • G06F19/3418
    • G06F19/3443
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Dentistry (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

혀 이미지를 기반으로 한 설진 방법 및 시스템이 개시된다. 혀 이미지를 기반으로 한 설진 방법은 혀 이미지 촬영 장치의 환자 접수부가 피 검진자의 기초 입력 항목 정보를 입력받는 단계, 혀 이미지 촬영 장치의 조명부가 피 검진자의 혀 이미지의 촬상을 위해 설정된 조명 값에 따른 조명을 생성하는 단계, 혀 이미지 촬영 장치의 카메라부가 혀 이미지를 촬상하는 단계, 혀 이미지 촬영 장치의 이미지 가공부가 혀 이미지를 보정하는 단계, 혀 이미지 촬영 장치의 데이터 전송부가 이미지 가공부에 의해 보정된 보정 혀 이미지 및 기초 입력 항목 정보를 빅 데이터 서버로 전송하는 단계와 혀 이미지 촬영 장치의 환자 내방 알림부가 검진자의 진단 보조 장치로 피검진자의 내방을 알리는 단계를 포함할 수 있다.

Description

혀 이미지를 기반으로 한 설진 방법 및 시스템{Method and system for tongue diagnosis based on image of tongue}
본 발명은 진단 방법 및 장치에 관한 것으로서, 보다 상세하게는 혀 이미지를 기반으로 한 설진 방법 및 시스템에 관한 것이다.
일반적으로 인체의 혀를 육안으로 관찰하여 피검진자의 병증을 진단하는 설진은 수천 년 이상 전해져 내려 온 한의학의 진단 방법으로 국내뿐만 아니라 동양/서양에서도 그 효능을 인정 받고 있다.
설진을 위해서 검진자가 육안으로 피검진자의 혀를 세심히 관찰하는 과정이 필요하다. 이러한 진단 과정을 위해 피검진자가 오랜 시간 입을 벌리고 혀를 내밀고 있어야 한다. 따라서, 피검진자와 검진자가 서로 불편한 점이 있었으며, 검진자가 과거 피검진자의 혀 상태를 정확하게 알 수 없다는 불편함이 있었다.
이러한 불편함을 해소하기 위해 최근에는 많은 검진자가 카메라로 피검진자의 혀 이미지를 촬영하고 촬영된 혀 이미지를 보면서 진단을 하는 방법을 사용하고 있다. 이러한 혀 이미지 기반의 진단 방법이 사용하는 이유는 피검진자의 혀를 좀 더 세밀히 관찰할 수 있으며, 향후 피검진자의 병증 진행에 있어 비교 자료로 사용할 수 있기 때문이다.
그러나 카메라로 혀를 촬영하는 방법은 촬영 환경(예를 들어, 빛과 조명 또는 촬영 거리)이 달라 촬영된 혀 이미지가 실제 육안으로 본 것과 색감이 현저히 차이를 보이는 경우가 많고, 포커스가 제대로 맞지 않는 경우가 많으며, 카메라로 혀 이미지를 촬영 후 촬영된 이미지를 진단에 사용하기 위해 검진자의 진단용 PC(personal computer)로 옮기는 번거로운 과정을 거쳐야 했다. 또한 검진자는 진단이 끝난 후 촬영된 혀 이미지를 향후 피검진자에 대한 재진 시점에 재사용할 수 있도록 관리하기 위해 번거로운 자료 정리 작업을 거쳐야 했다.
KR 10-2007-0039579
본 발명의 일 측면은 혀 이미지를 기반으로 한 설진 방법을 제공한다.
본 발명의 다른 측면은 혀 이미지를 기반으로 한 설진 시스템을 제공한다.
본 발명의 일 측면에 따른 혀 이미지를 기반으로 한 설진 방법은 혀 이미지 촬영 장치의 환자 접수부가 피 검진자의 기초 입력 항목 정보를 입력받는 단계, 상기 혀 이미지 촬영 장치의 조명부가 피 검진자의 혀 이미지의 촬상을 위해 설정된 조명 값에 따른 조명을 생성하는 단계, 상기 혀 이미지 촬영 장치의 카메라부가 상기 혀 이미지를 촬상하는 단계, 상기 혀 이미지 촬영 장치의 이미지 가공부가 상기 혀 이미지를 보정하는 단계, 상기 혀 이미지 촬영 장치가 상기 이미지 가공부에 의해 보정된 보정 혀 이미지 및 상기 기초 입력 항목 정보를 빅 데이터 서버로 전송하는 단계와 상기 혀 이미지 촬영 장치의 환자 내방 알림부가 검진자의 진단 보조 장치로 상기 피검진자의 내방을 알리는 단계를 포함할 수 있되, 상기 기초 입력 항목 정보는 상기 피검진자의 주호소 증상 정보, 가족력 정보, 바이탈 정보, 생활 습관 정보, 기왕력 정보를 포함할 수 있다.
한편, 상기 혀 이미지를 보정하는 단계는 상기 혀 이미지에서 혀에 대응되는 부분 이미지를 추출하는 단계, 상기 부분 이미지의 RGB(red green blue) 색채 정보 및 RGB 밝기 정보를 추출하는 단계, 상기 부분 이미지의 상기 RGB 색채 정보 및 상기 RGB 밝기 정보를 기반으로 색채 조정값 및 밝기 조정값을 결정하는 단계, 상기 색채 조정값 및 상기 밝기 조정값을 기반으로 상기 부분 이미지의 색채 및 밝기를 조정하여 상기 보정 혀 이미지를 생성하는 단계를 포함할 수 있다.
또한, 혀 이미지를 기반으로 한 설진 방법은 상기 빅 데이터 서버가 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 상기 진단 보조 장치로 전송하는 단계와 상기 진단 보조 장치가 상기 보정된 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 상기 피검진자에 대한 진료 정보를 상기 빅 데이터 서버로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 진료 정보는 설진 병증 분류 정보를 포함하고, 상기 설진 병증 분류 정보는 주요 병증을 뇌(brain), 척추(spine), 소화기관(digestive), 심장(heart), 폐(pulmonary), 갑상선(thyroid), 소변(urin), 전립선(prostate), 자궁(uterine), 신장(adrenal), 근골격, 신경(neuro)으로 세분화하여 진료한 정보이고, 상기 빅 데이터 서버의 진단 정보 데이터베이스는 상기 기초 입력 항목 정보 및 상기 설진 병증 분류 정보를 기반으로 구성될 수 있다.
또한, 혀 이미지를 기반으로 한 설진 방법은 상기 진단 보조 장치가 상기 빅 데이터 서버로 유사 진단 사례를 요청하는 단계, 상기 빅데이터 서버가 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보 각각을 기반으로 유사 진단 사례를 탐색하는 단계와 상기 진단 보조 장치가 상기 빅데이터 서버로부터 상기 유사 진단 사례를 수신하는 단계를 더 포함할 수 있다.
또한, 혀 이미지를 기반으로 한 설진 방법은 상기 진단 보조 장치가 원격 진단 서버로 원격 진료를 요청하는 단계, 상기 원격 진단 서버가 상기 원격 진료를 위해 상기 진단 보조 장치와 진단 지원 장치를 연결하는 단계, 상기 진단 보조 장치가 상기 진단 지원 장치로 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 전송하는 단계와 상기 진단 보조 장치가 상기 진단 지원 장치로부터 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 진료 정보를 수신하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 측면에 따른 혀 이미지를 기반으로 한 설진 시스템은 혀 이미지 촬영 장치를 포함하고, 상기 혀 이미지 촬영 장치는 피 검진자의 기초 입력 항목 정보를 입력받도록 구현되는 환자 접수부, 피 검진자의 혀 이미지의 촬상을 위해 설정된 조명 값에 따른 조명을 생성하도록 구현되는 조명부, 상기 혀 이미지를 촬상하도록 구현되는 카메라부, 상기 혀 이미지를 보정하도록 구현되는 이미지 가공부, 상기 이미지 가공부에 의해 보정된 보정 혀 이미지 및 상기 기초 입력 항목 정보를 빅 데이터 서버로 전송하도록 구현되는 데이터 전송부, 검진자의 진단 보조 장치로 상기 피검진자의 내방을 알리도록 구현되는 환자 내방 알림부를 포함할 수 있되, 상기 기초 입력 항목 정보는 상기 피검진자의 주호소 증상 정보, 가족력 정보, 바이탈 정보, 생활 습관 정보, 기왕력 정보를 포함할 수 있다.
한편, 상기 이미지 가공부는 기 혀 이미지에서 혀에 대응되는 부분 이미지를 추출하고, 상기 부분 이미지의 RGB(red green blue) 색채 정보 및 RGB 밝기 정보를 추출하고, 상기 부분 이미지의 상기 RGB 색채 정보 및 상기 RGB 밝기 정보를 기반으로 색채 조정값 및 밝기 조정값을 결정하고, 상기 색채 조정값 및 상기 밝기 조정값을 기반으로 상기 부분 이미지의 색채 및 밝기를 조정하여 상기 보정 혀 이미지를 생성하도록 구현될 수 있다.
또한, 상기 설진 시스템은 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 상기 진단 보조 장치로 전송하도록 구현되는 상기 빅 데이터 서버와 상기 보정된 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 상기 피검진자에 대한 진료 정보를 상기 빅 데이터 서버로 전송하도록 구현되는 상기 진단 보조 장치를 더 포함할 수 있다.
또한, 상기 진료 정보는 설진 병증 분류 정보를 포함하고, 상기 설진 병증 분류 정보는 주요 병증을 뇌(brain), 척추(spine), 소화기관(digestive), 심장(heart), 폐(pulmonary), 갑상선(thyroid), 소변(urin), 전립선(prostate), 자궁(uterine), 신장(adrenal), 근골격, 신경(neuro)으로 세분화하여 진료한 정보이고, 상기 빅 데이터 서버의 진단 정보 데이터베이스는 상기 기초 입력 항목 정보 및 상기 설진 병증 분류 정보를 기반으로 구성될 수 있다.
또한, 상기 진단 보조 장치가 상기 빅 데이터 서버로 유사 진단 사례를 요청하고 상기 유사 진단 사례를 수신하도록 구현될 수 있되, 상기 유사 진단 사례는 상기 빅데이터 서버에 의해 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보 각각을 기반으로 탐색될 수 있다.
또한, 상기 진단 보조 장치는 원격 진단 서버로 원격 진료를 요청하고, 상기 원격 진단 서버에 의해 상기 원격 진료를 위해 연결된 진단 지원 장치로 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 전송하고, 상기 진단 지원 장치로부터 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 진료 정보를 수신하도록 구현될 수 있다.
본 발명의 실시예에 따른 혀 이미지를 기반으로 한 설진 방법 및 시스템은 피검진자와 검진자에게 매우 편리한 혀 영상 촬영 환경을 제공할 수 있다. 또한, 검진자의 최적의 혀 이미지를 획득하고 획득된 혀 이미지를 기반으로 진단을 수행함에 있어서 빅 데이터 서버에 저장된 혀 이미지 및 혀 이미지에 따른 진단 정보가 활용될 수 있다. 또한, 설진에 미숙한 검진자는 빅 데이터 서버를 이용한 설진 사례 검색 및 설진 전문가의 설진 진단 지원 방법을 통해 정확한 진단을 내릴 수 있다. 또한, 설진 진단 사례를 체계적으로 누적한 빅 데이터 서버의 데이터베이스를 통해 설진 진단에 미숙한 검진자에게 진단 사례가 제공되어 진단에 대한 가이드 라인이 제시될 수 있다. 따라서, 설진 진단 장치의 사용 기간이 늘어갈수록 검진자는 혀 이미지를 기반으로 보다 정확한 진단을 내릴 수 있다.
도 1은 본 발명의 실시예에 따른 설진 시스템을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 혀 이미지 촬영 장치를 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 진단 보조 장치를 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 설진 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 설진을 위한 카메라부의 동작을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 설진을 위한 카메라의 동작을 나타낸 순서도이다.
도 7은 본 발명의 실시예에 따른 설진을 위한 이미지 가공부의 동작을 나타낸 순서도이다.
도 8은 본 발명의 실시에에 따른 혀 이미지를 기반으로 한 진단 방법을 나타낸 개념도이다.
도 9은 본 발명의 실시예에 따른 원격 진단 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 혀 이미지 촬영 장치를 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 설진 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 빅 데이터 서버의 진단 정보 데이터베이스를 활용한 검진 방법이 개시된다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
본 발명의 실시예에 따른 혀 이미지를 기반으로 한 설진 방법 및 장치에서는 혀 영상 촬영 장치를 사용하여 피검진자의 혀를 고화질 정밀 촬영 후 육안으로 보기에 가장 적합한 혀 이미지로 변환하여 검진자에게 제공할 수 있다.
본 발명의 실시예에 따른 혀의 이미지를 기반으로 한 설진 방법 및 장치가 사용되는 경우, 검사자가 육안을 통해 검진하는데 있어 최적의 혀 이미지를 제공받을 수 있다. 촬상된 혀 이미지와 혀 이미지에 따른 진단 결과는 빅 데이터 서버로 전송될 수 있고, 빅 데이터 서버는 촬상된 혀 이미지와 혀 이미지에 따른 진단 결과를 분류하여 이후 설진에 활용할 수 있도록 검진자에게 제공할 수 있다. 빅 데이터 서버에 수집된 혀 이미지와 혀 이미지에 따른 진단 결과는 검사자의 설진 사례 분석 및 설진 진단 연구와 학습에 활용할 수 있다.
이하, 구체적인 혀 이미지를 기반으로 한 설진 방법 및 장치가 개시된다.
도 1은 본 발명의 실시예에 따른 설진 시스템을 나타낸 개념도이다.
도 1을 참조하면, 설진 시스템은 혀 이미지 촬영 장치(100), 진단 보조 장치(110), 빅 데이터 서버(120), 원격 진단 서버(130), 진단 지원 장치(140)를 포함할 수 있다.
혀 이미지 촬영 장치(100)는 피검사자의 혀 이미지에 대한 촬영을 위해 구현될 수 있다. 혀 이미지 촬영 장치는 피검사자의 안면을 안착 후, 광원을 조사하여 피검사자의 혀 이미지를 촬상한 후 촬상된 혀 이미지를 가공하기 위해 구현될 수 있다. 혀 이미지 촬영 장치(100)는 환자 관련 정보를 수신하기 위한 입력부 및 촬상된 혀 이미지를 출력하기 위한 디스플레이를 더 포함할 수 있다. 혀 이미지 촬영 장치(100)는 혀 이미지에 대한 정보, 피검진자의 접수 정보를 빅 데이터 서버로 전송할 수 있다.
진단 보조 장치(110)는 빅 데이터 서버(120)와의 통신을 통해 피검사자의 혀에 대한 이전 촬상 영상, 이전 진단 결과를 열람하기 위해 구현될 수 있다. 또한, 진단 보조 장치(110)는 혀 이미지 촬영 장치에 의해 촬상된 혀 이미지 및 촬상된 혀 이미지에 따른 진단 결과에 대한 정보를 빅 데이터 서버(120)로 제공할 수도 있다. 또한, 진단 보조 장치(110)는 검진자의 검색 키워드를 입력받고, 검색 키워드를 기반으로 빅 데이터 서버(120)를 검색한 검색 결과를 검진자에게 제공하기 위해 구현될 수 있다.
빅 데이터 서버(120)는 복수의 진단 보조 장치로부터 수신한 혀 이미지 및 혀 이미지에 따른 진단 결과에 대한 정보를 수집하고, 검진자의 요청에 따른 혀 이미지 정보 및 진단 결과 정보를 검진자에게 제공하기 위해 구현될 수 있다. 빅 데이터 서버(120)는 수집된 혀 이미지 및 혀 이미지에 따른 진단 결과를 별도의 진단 정보 데이터베이스에 저장할 수 있다.
빅 데이터 서버(100)의 진단 정보 데이터베이스는 설진 진단에 최적화되고 체계화된 모델링된 데이터베이스를 검진자에게 제공하기 위해 설진 피검사자 기초 입력 항목 정보와 설진 병증 분류 정보를 기반으로 구현될 수 있다. 이러한 진단 정보 데이터베이스를 통해 빅 데이터가 수집되어 검진자에게 제공될 수 있다.
원격 진단 서버(130)는 검진자/피검진자의 요청이 있는 경우, 다른 검진자에 의한 원격 검진 결과를 제공하기 위해 구현될 수 있다. 원격 진단 서버(130)는 원격 진단을 지원할 수 있는 복수의 다른 검진자의 진단 지원 장치(또는 진단 보조 장치)(140)와 연계되어 동작할 수 있다. 예를 들어, 혀 이미지 촬영 장치에 의해 촬상된 혀 이미지는 원격 진단 서버를 통해 다른 검진자의 진단 지원 장치(140)로 전송될 수 있다. 다른 검진자는 혀 이미지에 따른 원격 검진 결과를 생성하여 원격 진단 서버(130)를 통해 검진자의 진단 보조 장치(110)로 전송할 수 있다. 검진자는 다른 검진자에 의한 원격 검진 결과를 참조하여 혀 이미지에 따른 검진 결과를 생성할 수 있다. 마찬가지로 다른 검진자의 진단 지원 장치(140)도 진단을 위한 참조 자료로 활용하기 위해 빅 데이터 서버(120)와 연계되어 빅 데이터 서버(120)에 저장된 혀 이미지 및 혀 이미지에 따른 진단 결과를 수신할 수 있다.
잔단 지원 장치(140)는 원격 진단 서버(130)와 연결되고 진단 보조 장치(110)로부터 원격 진료 요청이 있는 경우 원격 진료를 수행하기 위해 구현될 수 있다.
이하, 각 구성부의 구체적인 구성 및 동작이 개시된다.
도 2는 본 발명의 실시예에 따른 혀 이미지 촬영 장치를 나타낸 개념도이다.
도 2를 참조하면, 혀 이미지 촬영 장치는 안면 안착부(200), 조명부(210), 카메라부(230), 모듈 제어부(220), 이미지 가공부(240), 데이터 전송부(250), 환자 내방 알림부(260), 영상 표시부(270), 환자 접수부(280), 사용자 인터페이스부(290) 및 제어부(295)를 포함할 수 있다.
안면 안착부(200)는 피검진자가 얼굴을 대고 입을 벌려 혀 이미지를 촬영할 수 있도록 구현될 수 있다.
조명부(210)는 혀 이미지의 촬영을 위한 광원을 제공하기 위해 구현될 수 있다.
카메라부(230)는 고화질(예를 들어, 2040만 화소 이상) 이미지에 대한 촬영 기능을 갖추고 혀 이미지를 촬영하기 위해 구현될 수 있다.
모듈 제어부(220)는 제어부의 제어를 기반으로 조명부 및 카메라부의 동작을 제어하기 위해 구현될 수 있다.
환자 접수부(280)는 피검진자의 설진 진단을 위해 피검진자의 기본 정보를 입력받기 위해 구현될 수 있다.
사용자 인터페이스(290)는 환자 접수부(280)로 피검진자 정보를 입력하고, 카메라부(230)에 의해 촬상된 혀 이미지의 빅 데이터 서버로의 전송을 위한 입력 신호의 입력을 위해 구현될 수 있다.
영상 표시부(270)는 카메라부(230)에 의해 촬상된 피검진자의 혀 이미지를 피검진자 또한, 볼 수 있도록 출력하기 위해 구현될 수 있다.
이미지 가공부(240)는 카메라부(230)에 의해 촬상된 피검진자의 혀 이미지를 보정하여 검진자가 설진하기 위한 최적의 이미지로 가공하기 위해 구현될 수 있다. 이미지 가공부(240)는 설진 진단에 가장 적합하도록 혀 이미지의 크기, 색채, 밝기 등을 가공(조정)할 수 있다.
데이터 전송부(250)는 이미지 가공부(240)에서 획득된 혀 이미지와 피검진자에 대한 접수 정보를 빅 데이터 서버로 전송하기 위해 구현될 수 있다.
환자 내방 알림부(260)는 피검진자의 접수와 혀 영상 촬영의 종료 후 촬영된 영상에 대한 검진자의 진단(진료)가 기다리고 있음을 알리기 위해 구현될 수 있다.
제어부(295)는 각 구성부의 동작을 제어하기 위해 구현될 수 있다.
구체적으로 피검진자가 혀 영상 촬영을 대기하면, 피검진자의 혀 이미지를 촬상하는 촬영자는 환자 접수부(280)를 통해 피검진자에 대한 설진에 필요한 기본 정보를 기록 후 피검진자의 혀 이미지를 촬상할 수 있다. 피검진자가 안면 안착부(200)에 얼굴을 안착시켜 혀를 촬영할 수 있는 준비를 완료하면, 피검진자의 혀 이미지를 촬영하는 촬영자는 제어부(295)를 통해 카메라부(230)에서 영상 표시부(270)로 표시되는 라이브 뷰(실시간 영상)를 통해 피검진자의 혀 이미지가 정확하게 촬영될 수 있는지 여부를 판단할 수 있다.
이때, 카메라부(230)는 유선 또는 무선의 방법을 통하여 제어부(295)에 의해 제어되고 촬영자가 사용자 인터페이스부(290)를 통해 피검진자의 혀 영상을 촬영하게 되면, 제어부(295)에 의해 조명부(210)의 전원이 온(on) 상태로 전환되고 곧이어 일정한 조도 환경(조도 11.0kLux~ 11.7kLux)에서 카메라부(230)가 피검진자의 혀 이미지를 획득할 수 있다. 촬영된 피검진자의 혀 이미지가 정상적으로 촬영되었다고 판단되는 경우, 사용자 인터페이스부(290)를 통해 촬상된 이미지가 이미지 가공부(240)로 전달될 수 있다.
이미지 가공부(240)로 전달된 혀 이미지는 검진자가 육안으로 보기에 가장 적합한 형태가 되도록 잘리고, RGB(red/green/blue) 색채와 RGB 색상 별 밝기 값이 조정될 수 있다. 이렇게 가공된 피검진자의 혀 이미지와 진단에 필요한 기본 정보는 데이터전송부(250)에 의해 빅 데이터 서버로 전달되어 빅 데이터 서버의 진단 정보 데이터베이스부에 저장될 수 있다.
도 3은 본 발명의 실시예에 따른 진단 보조 장치를 나타낸 개념도이다.
도 3을 참조하면, 진단 보조 장치는 진단 기록 열람 및 진단부(300), 이미지 뷰어부(320), 진단 사례 검색부(340)를 포함할 수 있다.
진단 기록 열람 및 진단부(300)는 검진자가 빅 데이터 서버에 저장된 피검진자의 혀 이미지와 피검진자에 대한 진단 정보를 얻어와 열람하고 진단을 내린 후 진단 결과를 빅 데이터 서버로 다시 전송하여 저장하기 위해 구현될 수 있다.
이미지 뷰어부(320)는 빅 데이터 서버로부터 가져온 피검진자의 혀 이미지들을 검진자가 확대하고 혀 이미지 간의 비교 등의 방법으로 세밀히 관찰할 수 있도록 하기 위한 기능을 제공하기 위해 구현될 수 있다.
진단 사례 검색부(340)는 검진자가 특정 병증이나 진단 사례를 기준으로 빅 데이터 서버에서 진단 기록 및 혀 이미지를 검색하면 그 검색 결과를 출력하여 보여 주기 위한 기능을 제공하기 위해 구현될 수 있다.
도 4는 본 발명의 실시예에 따른 설진 방법을 나타낸 순서도이다.
도 4에서는 혀 이미지 촬영 장치의 혀 이미지 촬영 후 혀 이미지를 기반으로 한 진단 동작이 개시된다.
도 4를 참조하면, 혀 이미지 촬영 장치는 환자 기본 정보의 입력 여부를 판단할 수 있다(단계 S400).
혀 이미지 촬영 장치에 환자 기본 정보가 입력되는 경우, 촬영이 가능한 상황인지 여부가 판단될 수 있다(단계 S410).
촬영이 가능한 상황으로 판단되는 경우, 조명부가 on 상태로 전환될 수 있다(단계 S420).
조명부를 on 상태로 전환 후, 카메라부가 피검진자의 혀 이미지를 촬상할 수 있다(단계S430).
혀 이미지에 대한 촬상 후 혀 이미지가 정상적으로 촬상되었는지 여부가 판단될 수 있다(단계 S440).
혀 이미지가 정상적으로 촬상되지 않은 경우, 다시 혀 이미지에 대한 촬상이 수행될 수 있다.
반대로 혀 이미지가 정상적으로 촬상된 경우, 혀 이미지 촬영 장치는 촬상된 혀 이미지를 오려낼 수 있다(단계 S450).
혀 이미지만을 분석하기 위해 혀 이미지 촬영 장치는 촬상된 영상에 포함된 혀 이미지에 대한 분석을 통해 혀 이미지만을 오려낼 수 있다.
혀 이미지의 색상을 변환할 수 있다(단계 S460).
혀 이미지 촬영 장치는 검진자의 보다 정확한 혀 진단을 위해 잘라내진 혀 이미지의 색상을 변환할 수 있다.
검진자는 혀 이미지를 기반으로 피검진자에 대한 진단 결과를 생성할 수 있다.
혀 이미지 촬영 장치는 직접 또는 진단 보조 장치를 통해 혀 이미지, 피 검진자의 접수 정보를 빅 데이터 서버로 전송할 수 있다(단계 S470).
혀 이미지 촬영 장치는 진단 보조 장치로 접수된 신규 환자의 존재를 알릴 수 있다(S480). 검진자는 진단 보조 장치를 통해 신규 환자의 혀 이미지, 피 검진자의 접수 정보를 빅 데이터 서버로부터 수신할 수 있다.
도 5는 본 발명의 실시예에 따른 설진을 위한 카메라부의 동작을 나타낸 순서도이다.
도 5에서는 설진을 위한 카메라부의 제어 동작이 개시된다.
도 5를 참조하면, 제어부는 모듈 제어부를 제어하여 카메라부의 전원을 ON 상태로 전환할 수 있다(단계 S500).
카메라부의 전원을 ON 상태로 전환 후, 카메라부가 촬영 모드로 설정될 수 있다(단계 S510).
제어부와 카메라부 간의 네트워크가 설정될 수 있다(단계 S520).
유선 또는 무선의 방법을 통해 데이터 통신에 대한 연결을 요청하면 제어부와 카메라부가 연결될 수 있다.
제어부가 카메라부로 라이브뷰를 요청할 수 있다(단계 S530).
제어부는 카메라부에 의해 촬상된 영상에 대한 실시간 전송을 요청하기 위해 라이브 뷰를 요청할 수 있다.
라이브 뷰를 재생하고 촬영을 대기한다(단계 S540).
제어부는 카메라부가 보내온 라이브 뷰를 영상 표시부에 계속 표시해 주어 촬영자가 피검진자의 혀 영상이 정상적으로 촬영될 수 있는지 여부를 가늠하게 할 수 있다. 또한, 동시에 촬영자가 혀 영상을 촬영할 때까지 카메라부가 동작을 대기하도록 할 수 있다.
도 6은 본 발명의 실시예에 따른 설진을 위한 카메라의 동작을 나타낸 순서도이다.
도 6에서는 설진을 위한 카메라부의 제어 동작이 개시된다. 특히, 라이브 뷰의 재생 및 촬영의 대기 이후(단계 S600)의 동작이 개시된다.
도 6을 참조하면, 라이브뷰를 기반으로 혀 이미지에 대한 촬영이 가능한 상황인지 여부가 판단될 수 있다(단계 S610).
촬영자가 영상 표시부에 표시되는 라이브뷰를 보면서 피검진자의 혀 이미지에 대한 정상 촬영이 가능하다는 판단이 서면, 촬영자는 사용자 인터페이스부를 통해 카메라부의 피검진자의 혀 이미지에 대한 촬영을 제어부로 지시할 수 있다. 혀 이미지에 대한 촬영이 지시된 경우, 제어부는 카메라부를 제어하여 카메라부가 피검사자의 혀 이미지를 촬영하여(단계 S620) 혀 이미지를 획득할 수 있다(단계 S630).
촬영자는 획득된 영상 표시부를 통해 출력되는 혀 이미지를 기반으로 혀 이미지에 대한 촬영을 종료할지 여부에 대해 판단할 수 있다(단계 S640).
검진을 위해 충분한 혀 이미지가 촬상되었는지 여부에 대한 판단을 기반으로 혀 이미지에 대한 촬영의 종료 여부를 판단할 수 있다. 구체적으로 제어부는 카메라부를 제어하여 카메라부에 의해 촬영된 피검사자의 혀 이미지를 영상 표시부를 통해 출력하고, 촬영자는 영상 표시부에 출력된 촬영된 혀 이미지가 정상적일 때까지 반복하여 피검진자의 혀 이미지에 대한 촬영을 수행할 수 있다. 촬영자는 영상 표시부에 의해 제공하는 사각형 테두리 형태 안에 피검사자의 혀 영상이 모두 들어갔을 경우, 혀 이미지가 적합한 혀 이미지라고 결정할 수 있다.
촬영이 종료되는 경우, 라이브 뷰의 재생 및 촬영의 대기 동작이 다시 수행될 수 있다(단계 S650).
촬영이 종료되지 않는 경우, 단계 S600부터 다시 수행되어 피검진자의 혀 이미지에 대한 촬상이 수행될 수 있다.
도 7은 본 발명의 실시예에 따른 설진을 위한 이미지 가공부의 동작을 나타낸 순서도이다.
도 7에서는 설진을 위해 이미지 가공부가 혀 이미지를 가공하는 방법이 개시된다. 이미지 가공부로 전달된 혀 이미지를 검진자가 육안으로 보기에 가장 적합한 형태가 되도록 가공하는 과정이 개시된다.
도 7을 참조하면, 이미지 가공부는 카메라에 의해 촬상된 혀 이미지를 획득할 수 있다(단계 S700).
촬상된 혀 이미지에서 혀에 해당하는 부분만을 자를 수 있다(단계 S710).
예를 들어, 영상 표시부에 의해 제공되는 사각형 테두리 사이즈를 기반으로 획득된 혀 이미지에서 혀 이미지 외에 불필요한 외곽의 영상을 잘라낼 수 있다. 본 발명의 실시예에 따르면 잘라낸 혀 이미지의 가로 세로 크기를 3384픽셀(가로), 3388픽셀(세로)가 되도록 혀 이미지를 가공할 수 있다.
혀 이미지에서 RGB의 색채 정보를 분리할 수 있다(단계 S720).
잘라낸 혀 이미지에 대한 분석을 기반으로 R(레드), G(그린), B(블루) 색채 별로 값을 분리 후 분리한 색채 별 영상을 메모리(예를 들어, RAM)에 각각 저장할 수 있다. 분리된 색채 값은 100을 기준 수치로 표현될 수 있다.
혀 이미지에서 RGB의 밝기 정보를 분리할 수 있다(단계 S730).
잘라낸 혀 이미지에 대한 분석을 기반으로 R(레드), R(그린), B(블루) 계열 밝기로 분리한 후 분리된 밝기 별 영상을 메모리(예를 들어, RAM)에 각각 저장할 수 있다. 분리된 밝기 값은 100을 기준 수치로 표현될 수 있다.
색채 및 밝기 조정 값을 결정할 수 있다(단계 S740).
색체 및 밝기에 대한 조정 값은 기준 수치에 대비한 보정 수치의 값으로 조정될 수 있다. 아래의 표 1은 예시적인 결정된 색채 및 밝기에 대한 조정 값일 수 있다.
[표 1]
Figure pat00001
이미지 가공부는 제어부에 의해 설정되어 있는 색채 조정 값 및 밝기 조정 값을 가져올 수 있다. 본 발명의 실시예에서는 조도 범위 11.0kLux~11.7kLux 로 피검진자의 혀 이미지에 대한 촬상이 진행되는 경우, 설진 진단에 최적화된 영상으로 만들기 위한 RGB의 채도 및 밝기에 대한 조정 값이 개시된다.
혀 이미지를 색채 조정 값을 기반으로 조정한다(단계 S750).
단계S740을 기반으로 설정된 색채 조정 값을 기반으로 혀 이미지의 색체에 대한 조정이 수행될 수 있다.
혀 이미지를 밝기 조정 값을 기반으로 조정한다(단계 S760).
단계S750을 기반으로 설정된 밝기 조정 값을 기반으로 혀 이미지의 밝기에 대한 조정이 수행될 수 있다.
혀 이미지에 대한 저장을 진행한다(단계 S770).
도 8은 본 발명의 실시에에 따른 혀 이미지를 기반으로 한 진단 방법을 나타낸 개념도이다.
혀 영상 촬영 장치는 피검진자의 혀 이미지에 대한 촬영의 종료 후 제어부는 피검사자의 설진 검진을 위한 기초 자료와 혀 이미지를 빅 데이터 서버(800)로 송신할 수 있다. 빅 데이터 서버(800)는 혀 영상 촬영 장치로부터 수신한 데이터를 진단 정보 데이터베이스(820)의 데이터로 저장할 수 있다.
진단 정보 데이터베이스(820)는 설진 진단에 최적화되고 체계화된 모델링된 데이터베이스를 검사자에게 제공하기 위해 설계된 데이터 구조를 가질 수 있다. 진단 정보 데이터베이스(820)로 전송된 데이터는 설진 피검사자 기초 입력 항목에 맞게 저장될 수 있다.
진단 보조 장치(860)는 검진자의 사용자 장치(예를 들어, PC(personal computer), 스마트 폰, 스마트 패드 등)일 수 있다.
피검진자의 혀 이미지에 대한 촬영 과정이 종료된 경우, 진단 보조 장치(860)는 혀 이미지 촬영 장치(840)로부터 기반으로“신규 환자 내방 알림 메시지”를 수신할 수 있다. 검진자가 진단 보조 장치(860)를 통해 신규 환자 내방 알림 메시지를 수신하면, 진단 보조 장치(860)는 빅 데이터 서버(800)로부터 해당 신규 피검진자(환자)를 진단할 수 있는 주요 정보 및 혀 이미지를 빅 데이터 서버(800)로부터 수신할 수 있다.
진단 보조 장치(860)는 수신한 피검진자의 기초 정보와 진단 정보 데이터를 진단 기록 열람 및 진단부를 통해 표시하고, 동시에 이미지 뷰어를 통해 수신한 피검진자의 혀 이미지를 출력하여 검진자가 피검진자에 대한 상담이 가능하도록 구현될 수 있다.
검진자가 피검진자에 대한 진단을 종료한 경우, 진단 기록 열람 및 진단부를 통해 피검진자에 대한 진단 내용을 편집한 후 진단 기록 저장을 하게 되면, 피검잔자에 대한 진단 내용은 진단 보조부(860)를 통해 빅 데이터 서버로 전송될 수 있다.
빅 데이터 서버(800)는 수신한 피검진자의 진단 내용을 진단 정보 데이터베이스(820)에 설진 병증 분류 정보를 기반으로 체계적으로 저장할 수 있다.
진단 기록 열람 및 진단부를 통해 출력되는 피검진자의 진단 정보는 설진 병증 분류 정보를 기반으로 화면에 출력될 수 있다. 검진자는 설진 진단에 있어 최적화되고 체계화된 설진 병증 분류 정보를 기반으로 한 진단 정보를 열람 및 편집할 수 있다.
또한, 검진자는 진단 보조 장치(860)의 진단 사례 검색부를 이용하여 피검진자의 연령, 성별, 음주 습관 등 기초적인 검색 조건뿐만 아니라 다양한 병증 및 진단 결과를 검색 조건으로 하여 진단 사례를 검색할 수 있으며, 다양한 검색 조건 조합을 통해 진단 사례를 검색할 수도 있다.
검진자가 진단 사례 검색부를 통해 진단 사례를 검색하는 경우, 빅 데이터 서버(800)는 검진자의 검색 조건에 맞는 진단 사례를 진단 보조 장치(860)로 송신할 수 있으며, 송신된 진단 사례에는 검색 조건에 맞는 피검진자(들)의 검진 결과 및 혀 이미지가 포함될 수 있다. 빅 데이터 서버(800)의 진단 정보 데이터베이스(820)는 설진 진단에 최적화되고 체계화된 모델링된 데이터베이스를 검진자에게 제공하기 위해 설계된 데이터 구조로서 설진 피검진자 기초 입력 항목과 설진 병증 분류 정보를 기반으로 구성될 수 있다.
설진 피검진자 기초 입력 항목은 피검진자의 습관 및 현재 상태에 대한 항목으로 설진을 좀 더 효과적으로 수행하기 위해 필요한 필수 항목으로 구성될 수 있다. 설진 피검사자 기초 입력 항목은 크게 주 호소 증상, 가족력, 기왕력, VITAL, 현재 복용 중인 약물, 음주 및 흡연 습관, 전신, 국소로 구분될 수 있다.
아래의 표 2는 피검진자의 기초 입력 항목을 개시한다.
[표 2]
Figure pat00002
아래의 표 3에 개시된 설진 병증 분류 정보는 설진 진단에서 내릴 수 있는 병증을 분류한 것으로, 설진에 있어 파악할 수 있는 주요 병증을 12가지 형태로 크게 나누고 다시 세분화한 것이다. 구체적으로 설진 병증 분류 정보는 주요 병증을 뇌(brain), 척추(spine), 소화기관(digestive), 심장(heart), 폐(pulmonary), 갑상선(thyroid), 소변(urin), 전립선(prostate), 자궁(uterine), 신장(adrenal), 근골격, 신경(neuro)으로 세분화하여 진료한 정보일 수 있다.
[표 3-1]
Figure pat00003
[표 3-2]
Figure pat00004
도 9은 본 발명의 실시예에 따른 원격 진단 방법을 나타낸 개념도이다.
도 9에서는 검진자가 설진에 미숙한 경우, 원격 진단을 통해 진단을 수행하는 방법이 개시된다.
도 9를 참조하면, 검진자가 원격 진단을 요청하는 경우, 진단 보조 장치(920)는 원격 진단 서버(940)와 연결되고 원격 검진자는 설진을 수행할 수 있다.
검진자가 실시간 원격 진단을 요청하는 경우, 원격 검진자는 진단 보조 장치(920)로부터 수신한 혀 이미지 및 진단 기록을 열고, 실시간 상담을 진행하거나 진단 결과를 진단 보조 장치로 전송할 수 있다.
검진자가 진단 보조 장치(920)를 통해 실시간 원격 진단을 요청하는 경우, 원격 진단 서버(940)는 유선 또는 무선으로 연결된 다른 검진자의 진단 지원 장치로 원격 진단의 요청을 알릴 수 있다. 원격 진단 서버(940)는 복수의 진단 지원 장치(960) 중 하나의 진단 지원 장치를 랜덤하게 선택하여 원격 진단을 요청한 검진자의 진단 보조 장치(920)와의 연결을 설정할 수 있다.
또한, 검진자가 진단 보조 장치(920)를 통해 원격 진단 서버(940)에 연결된 복수의 진단 지원 장치(960) 중 원격 진단을 받기 원하는 하나의 진단 지원 장치를 선택할 수도 있다.
또는 원격 진단 서버(940)는 검진자의 진단 보조 장치(920)를 복수의 진단 지원 장치(예를 들어, 3개의 진단 지원 장치)(960)를 연결하여 검진자가 복수의 진단 지원 장치(960)를 통해 원격 진단 서비스를 받도록 할 수도 있다. 또한, 커뮤니티 형태로 제작된 네트워크 상의 일종의 게시판 구조를 통하여도 원격 진단 서비스가 제공될 수도 있다.
도 10은 본 발명의 실시예에 따른 혀 이미지 촬영 장치를 나타낸 개념도이다.
도 10를 참조하면, 메인 조명부, 카메라부, 안면안착부, 보조 조명부, 전원 케이블, 디스플레이부를 포함하는 혀 이미지 촬영 장치가 개시된다.
각 구성부는 도 2에서 전술한 동작을 수행할 수 있다.
도 11은 본 발명의 실시예에 따른 설진 방법을 나타낸 개념도이다.
도 11에서는 촬영 설정에 따른 혀 이미지 촬영 장치의 카메라부의 촬영 방법이 개시된다.
도 11을 참조하면, 카메라부가 설정에 따라 피 검진자의 혀를 부분적으로 추가 촬상할 수 있다.
예를 들어, 제어부는 카메라부에 의해 촬상된 피검진자의 혀 이미지를 분석하여 특징적인 증상이 있는 부분에 대한 촬영을 수행할 수 있다. 피검진자의 혀의 A 부위에서 설형, 설반이 발생한 경우, 혀의 전제 이미지에 대한 촬상 이후, A 부위에 대한 촬상 동작을 수행할 수 있다. 혀 이미지 촬영 장치의 제어부는 혀 이미지를 수신한 후 혀 이미지에 대한 분석을 통해 추가 촬영이 필요한 부분을 결정할 수 있다(단계 S1100).
혀 이미지는 복수의 부분으로 분할될 수 있고, 제어부는 복수의 부분 중 추가 촬영이 필요한 부분에 대한 추가 촬영을 명령할 수 있다(단계 S1110).
혀 이미지 촬영 장치는 해당 부분에 초점을 맞추어 추가 촬영을 수행한 후, 촬영된 혀의 부분에 대한 인덱스를 이미지 파일에 추가할 수 있다. 이러한 방법을 통해 검진자가 피검진자의 혀 중 어떠한 부분에 대한 추가 이미지인지 여부에 대해 확인할 수 있다.
위와 같은 추가 촬영을 위한 이미지 분석을 위해 제어부는 사용자의 혀의 설질/설형/설열/설태/설반 등과 같은 특징적인 증상에 대한 템플릿 이미지 사용하여 사용자의 혀의 발생한 이상 증상에 대해 판단하고 추가 촬영을 명령할 수 있다.
또한, 환자의 이전 검진 기록이 있는 경우, 환자의 이전 검진 기록 상에서 추가 촬영되었던 혀의 부분에 대한 기록을 기반으로 추가 촬영되었던 혀의 부분에 대한 추가 촬영을 수행할 수 있다. 이러한 방법을 통해 검진자가 환자의 혀의 변화에 대해 보다 명확하게 알 수 있다.
또한, 진단 보조 장치는 환자의 이전 혀 이미지와 환자의 현재 혀 이미지를 중첩하여 결정된 혀 이미지의 변화에 대한 정보를 검진자에게 전송할 수 있다.
진단 보조 장치는 환자의 이전 혀 이미지에 포함되는 특징점(예를 들어, 혀끝과 혀의 에지 부분)과 환자의 현재 혀 이미지에 포함되는 특징점을 기반으로 두 개의 혀 이미지를 중첩할 수 있다. 이후, 환자의 혀에서 변화된 부분에 대한 판단을 수행할 수 있다.
변화된 부분에 대한 판단을 위해 진단 보조 장치는 혀 이미지 내에 설질/설형/설열/설태/설반이 존재하는지 여부를 판단하고, 환자의 혀의 이미지를 복수의 부분 혀 이미지로 분할하고 복수의 부분 혀 이미지 각각에서 변화된 이미지 정보가 존재하는지 여부를 판단할 수 있다. 부분 혀 이미지를 병렬 처리를 통해 빠른 이미지 분석이 수행될 수 있다. 진단 보조 장치는 혀 이미지 내에 설질/설형/설열/설태/설반의 존재 정도를 고려하여 분할될 부분 혀 이미지의 개수를 결정할 수 있다. 예를 들어, 설질/설형/설열/설태/설반 중 적어도 두 개 이상의 증상이 존재하는 것으로 판단되는 경우, 정밀 분석을 위해 혀의 이미지를 분할하여 10개의 부분 혀 이미지를 생성하고, 설질/설형/설열/설태/설반 중 두 개 미만의 증상이 존재하는 것으로 판단되는 경우, 혀의 이미지를 분할하여 4개의 부분 혀 이미지를 생성할 수 있다. 즉, 정밀 판단이 필요한 경우, 보다 많은 개수의 부분 혀 이미지를 생성하여 혀 이미지의 변환에 대한 분석을 수행할 수 있다.
진단 보조 장치는 부분 혀 이미지 내에 설질/설형/설열/설태/설반가 존재하는 경우, 해당 증상이 커져있는지 줄어들었는지 여부에 대한 이미지 상의 분석을 수행할 수 있다. 진단 보조 장치에 의해 분석된 결과 정보는 검진자에게 제공될 수 있고, 검진자는 분석 결과 정보를 기반으로 피검진자의 혀의 변화에 대해 보다 정확하게 판단할 수 있다.
도 12는 본 발명의 실시예에 따른 빅 데이터 서버의 진단 정보 데이터베이스를 활용한 검진 방법이 개시된다.
도 12에서는 빅 데이터 서버의 진단 정보 데이터베이스를 기반으로 한 진단 방법이 개시된다.
도 12를 참조하면, 진단 보조 장치가 빅 데이터 서버로 유사 진단 사례를 요청할 수 있고, 빅 데이터 서버는 진단 보조 장치로 유사 진단 사례를 전송할 수 있다.
진단 보조 장치는 피검진자의 기초 입력 항목 정보 및 환자의 혀 이미지에 대한 정보를 전송하면서 빅 데이터 서버로 유사 진단 사례를 요청할 수 있다.
우선 빅 데이터 서버는 검진자의 혀 이미지와 유사한 혀 이미지에 대한 탐색을 수행할 수 있다(단계 S1200).
빅 데이터 서버는 진단 정보 데이터베이스에 저장된 혀 이미지와 검진자의 혀 이미지간의 비교 분석을 통해 유사도가 높은 혀 이미지를 탐색할 수 있다.
빅 데이터 서버는 설질/설형/설열/설태/설반 등에 대한 템플릿 이미지를 기반으로 진단 정보 데이터베이스에 설질/설형/설열/설태/설반 등과 같은 특징적인 증상에 따라 혀 이미지를 분류하여 저장할 수 있다.
빅 데이터 서버는 수신한 검진자의 혀 이미지와 설질/설형/설열/설태/설반 등에 대한 템플릿 이미지를 비교하여 검진자의 혀 이미지를 분류한 후 진단 정보 데이터베이스에서 검진자의 혀 이미지와 유사한 이미지를 탐색할 수 있다. 만약, 검진자의 혀 이미지가 설질/설열을 가진 것으로 분류되는 경우, 설질/설열에 해당하는 기존에 저장된 혀 이미지에 대한 탐색을 수행할 수 있다.
빅 데이터 서버는 설질/설열에 해당하는 기존에 저장된 혀 이미지가 임계 개수 이상인 경우, 가장 유사한 이미지를 찾기 위해 설질/설열이 발생한 부위에 대해서도 구체적으로 판단하여 해당 증상이 발생한 위치도 유사한 혀 이미지를 최종적으로 유사 혀 이미지로 결정할 수 있다.
빅데이터 서버는 유사 혀 이미지에 대응되는 다른 피검진자의 기초 입력 항목 정보와 피검진자의 기초 입력 항목 정보를 비교하여 유사도가 일정 임계값 이상인 최종 유사 혀 이미지를 결정하고(단계 S1210), 최종 유사 혀 이미지에 대한 진단 사례를 유사 진단 사례로서 검진자에게 제공할 수 있다(단계 S1220).
예를 들어, 빅 데이터 서버는 진단 정보 데이터베이스에서 피검진자와 가족력, 신체 정보, 생활 습관이 유사한 유사 혀 이미지에 대응되는 다른 피검진자의 기록을 탐색할 수 있다. 유사도는 전술한 기초 입력 항목 정보 각각의 유사 여부를 기반으로 산출될 수 있다.
유사도가 임계값 이상인 유사 혀 이미지에 대응되는 다른 피검진자가 탐색되지 않는 경우, 진단 보조 장치로 유사도 값의 재설정을 요청하여 상대적으로 낮은 유사도를 가지는 유사 혀 이미지에 대응되는 피검진자에 대한 탐색을 수행할지 여부를 결정할 수 있다.
유사도가 임계값 이상인 유사 혀 이미지에 대응되는 다른 피검진자가 탐색되는 경우, 유사도가 임계값 이상인 유사 혀 이미지에 대응되는 다른 피검진자의 진료 기록을 유사 진단 사례로서 검진자에게 제공할 수 있다.
이와 같은 혀 이미지를 기반으로 한 설진 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

  1. 혀 이미지를 기반으로 한 설진 방법은,
    혀 이미지 촬영 장치의 환자 접수부가 피 검진자의 기초 입력 항목 정보를 입력받는 단계;
    상기 혀 이미지 촬영 장치의 조명부가 피 검진자의 혀 이미지의 촬상을 위해 설정된 조명 값에 따른 조명을 생성하는 단계;
    상기 혀 이미지 촬영 장치의 카메라부가 상기 혀 이미지를 촬상하는 단계;
    상기 혀 이미지 촬영 장치의 이미지 가공부가 상기 혀 이미지를 보정하는 단계;
    상기 혀 이미지 촬영 장치의 데이터 전송부가 상기 이미지 가공부에 의해 보정된 보정 혀 이미지 및 상기 기초 입력 항목 정보를 빅 데이터 서버로 전송하는 단계; 및
    상기 혀 이미지 촬영 장치의 환자 내방 알림부가 검진자의 진단 보조 장치로 상기 피검진자의 내방을 알리는 단계를 포함하되,
    상기 기초 입력 항목 정보는 상기 피검진자의 주호소 증상 정보, 가족력 정보, 바이탈 정보, 생활 습관 정보, 기왕력 정보를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 혀 이미지를 보정하는 단계는,
    상기 혀 이미지에서 혀에 대응되는 부분 이미지를 추출하는 단계;
    상기 부분 이미지의 RGB(red green blue) 색채 정보 및 RGB 밝기 정보를 추출하는 단계;
    상기 부분 이미지의 상기 RGB 색채 정보 및 상기 RGB 밝기 정보를 기반으로 색채 조정값 및 밝기 조정값을 결정하는 단계; 및
    상기 색채 조정값 및 상기 밝기 조정값을 기반으로 상기 부분 이미지의 색채 및 밝기를 조정하여 상기 보정 혀 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 빅 데이터 서버가 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 상기 진단 보조 장치로 전송하는 단계; 및
    상기 진단 보조 장치가 상기 보정된 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 상기 피검진자에 대한 진료 정보를 상기 빅 데이터 서버로 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 진료 정보는 설진 병증 분류 정보를 포함하고,
    상기 설진 병증 분류 정보는 주요 병증을 뇌(brain), 척추(spine), 소화기관(digestive), 심장(heart), 폐(pulmonary), 갑상선(thyroid), 소변(urin), 전립선(prostate), 자궁(uterine), 신장(adrenal), 근골격, 신경(neuro)으로 세분화하여 진료한 정보이고,
    상기 빅 데이터 서버의 진단 정보 데이터베이스는 상기 기초 입력 항목 정보 및 상기 설진 병증 분류 정보를 기반으로 구성되는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 진단 보조 장치가 상기 빅 데이터 서버로 유사 진단 사례를 요청하는 단계;
    상기 빅데이터 서버가 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보 각각을 기반으로 유사 진단 사례를 탐색하는 단계; 및
    상기 진단 보조 장치가 상기 빅데이터 서버로부터 상기 유사 진단 사례를 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제2항에 있어서,
    상기 진단 보조 장치가 원격 진단 서버로 원격 진료를 요청하는 단계;
    상기 원격 진단 서버가 상기 원격 진료를 위해 상기 진단 보조 장치와 진단 지원 장치를 연결하는 단계;
    상기 진단 보조 장치가 상기 진단 지원 장치로 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 전송하는 단계; 및
    상기 진단 보조 장치가 상기 진단 지원 장치로부터 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 진료 정보를 수신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 혀 이미지를 기반으로 한 설진 시스템에 있어서,
    상기 설진 시스템은 혀 이미지 촬영 장치를 포함하고,
    상기 혀 이미지 촬영 장치는,
    피 검진자의 기초 입력 항목 정보를 입력받도록 구현되는 환자 접수부;
    피 검진자의 혀 이미지의 촬상을 위해 설정된 조명 값에 따른 조명을 생성하도록 구현되는 조명부;
    상기 혀 이미지를 촬상하도록 구현되는 카메라부;
    상기 혀 이미지를 보정하도록 구현되는 이미지 가공부;
    상기 이미지 가공부에 의해 보정된 보정 혀 이미지 및 상기 기초 입력 항목 정보를 빅 데이터 서버로 전송하도록 구현되는 데이터 전송부; 및
    검진자의 진단 보조 장치로 상기 피검진자의 내방을 알리도록 구현되는 환자 내방 알림부를 포함하되,
    상기 기초 입력 항목 정보는 상기 피검진자의 주호소 증상 정보, 가족력 정보, 바이탈 정보, 생활 습관 정보, 기왕력 정보를 포함하는 것을 특징으로 하는 설진 시스템.
  8. 제7항에 있어서, 상기 이미지 가공부는,
    상기 혀 이미지에서 혀에 대응되는 부분 이미지를 추출하고,
    상기 부분 이미지의 RGB(red green blue) 색채 정보 및 RGB 밝기 정보를 추출하고,
    상기 부분 이미지의 상기 RGB 색채 정보 및 상기 RGB 밝기 정보를 기반으로 색채 조정값 및 밝기 조정값을 결정하고,
    상기 색채 조정값 및 상기 밝기 조정값을 기반으로 상기 부분 이미지의 색채 및 밝기를 조정하여 상기 보정 혀 이미지를 생성하도록 구현되는 것을 특징으로 하는 설진 시스템.
  9. 제2항에 있어서, 상기 설진 시스템은,
    상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 상기 진단 보조 장치로 전송하도록 구현되는 상기 빅 데이터 서버; 및
    상기 보정된 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 상기 피검진자에 대한 진료 정보를 상기 빅 데이터 서버로 전송하도록 구현되는 상기 진단 보조 장치를 더 포함하는 것을 특징으로 하는 설진 시스템.
  10. 제9항에 있어서,
    상기 진료 정보는 설진 병증 분류 정보를 포함하고,
    상기 설진 병증 분류 정보는 주요 병증을 뇌(brain), 척추(spine), 소화기관(digestive), 심장(heart), 폐(pulmonary), 갑상선(thyroid), 소변(urin), 전립선(prostate), 자궁(uterine), 신장(adrenal), 근골격, 신경(neuro)으로 세분화하여 진료한 정보이고,
    상기 빅 데이터 서버의 진단 정보 데이터베이스는 상기 기초 입력 항목 정보 및 상기 설진 병증 분류 정보를 기반으로 구성되는 것을 특징으로 하는 설진 시스템.
  11. 제10항에 있어서,
    상기 진단 보조 장치가 상기 빅 데이터 서버로 유사 진단 사례를 요청하고 상기 유사 진단 사례를 수신하도록 구현되되,
    상기 유사 진단 사례는 상기 빅데이터 서버에 의해 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보 각각을 기반으로 탐색되는 것을 특징으로 하는 설진 시스템.
  12. 제2항에 있어서,
    상기 진단 보조 장치는 원격 진단 서버로 원격 진료를 요청하고, 상기 원격 진단 서버에 의해 상기 원격 진료를 위해 연결된 진단 지원 장치로 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 전송하고, 상기 진단 지원 장치로부터 상기 보정 혀 이미지 및 상기 기초 입력 항목 정보를 기반으로 생성된 진료 정보를 수신하도록 구현되는 것을 특징으로 하는 설진 시스템.
KR1020160020966A 2016-02-23 2016-02-23 혀 이미지를 기반으로 한 설진 방법 및 시스템 KR101809819B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160020966A KR101809819B1 (ko) 2016-02-23 2016-02-23 혀 이미지를 기반으로 한 설진 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160020966A KR101809819B1 (ko) 2016-02-23 2016-02-23 혀 이미지를 기반으로 한 설진 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20170099066A true KR20170099066A (ko) 2017-08-31
KR101809819B1 KR101809819B1 (ko) 2017-12-18

Family

ID=59761313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160020966A KR101809819B1 (ko) 2016-02-23 2016-02-23 혀 이미지를 기반으로 한 설진 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101809819B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881140B1 (ko) * 2017-11-09 2018-07-23 주식회사 초위스컴퍼니 진단 시스템 및 진단 시스템의 동작 방법
KR20190053083A (ko) * 2017-11-09 2019-05-17 (주)초위스컴퍼니 진단 시스템 및 진단 시스템의 동작 방법
CN109907735A (zh) * 2019-04-25 2019-06-21 北京峰云视觉技术有限公司 一种多光谱舌象采集设备
CN110599463A (zh) * 2019-08-26 2019-12-20 依脉人工智能医疗科技(天津)有限公司 一种基于轻量级联神经网络的舌像检测及定位算法
KR20200094512A (ko) * 2019-01-30 2020-08-07 김연호 음양오행체질 분석장치 및 이를 이용한 체질별 건강정보 제공방법
CN112117001A (zh) * 2020-09-08 2020-12-22 深圳市智慧健康产业发展有限公司 全科医生智能影像辅助诊断系统
CN113576405A (zh) * 2021-07-08 2021-11-02 智美康民(珠海)健康科技有限公司 舌诊基础信息采集方法、系统、舌诊仪及存储介质
US11471095B2 (en) * 2018-01-03 2022-10-18 Beijing Boe Technology Development Co., Ltd. Tongue-image-based diagnostic system and diagnostic method
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530376B1 (ko) 2021-04-08 2023-05-10 에이아이닥터 주식회사 원격 판독 대상 이미지에 대한 원격 판독 수행 제어 방법 및 원격 판독 대상 이미지에 대한 원격 판독 수행 제어 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043130B1 (ko) * 2012-11-16 2019-11-11 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881140B1 (ko) * 2017-11-09 2018-07-23 주식회사 초위스컴퍼니 진단 시스템 및 진단 시스템의 동작 방법
KR20190053083A (ko) * 2017-11-09 2019-05-17 (주)초위스컴퍼니 진단 시스템 및 진단 시스템의 동작 방법
US11471095B2 (en) * 2018-01-03 2022-10-18 Beijing Boe Technology Development Co., Ltd. Tongue-image-based diagnostic system and diagnostic method
KR20200094512A (ko) * 2019-01-30 2020-08-07 김연호 음양오행체질 분석장치 및 이를 이용한 체질별 건강정보 제공방법
WO2020159087A3 (ko) * 2019-01-30 2020-10-15 김연호 음양오행체질 분석장치 및 이를 이용한 체질별 건강정보 제공방법
CN109907735A (zh) * 2019-04-25 2019-06-21 北京峰云视觉技术有限公司 一种多光谱舌象采集设备
CN109907735B (zh) * 2019-04-25 2022-06-21 北京峰云视觉技术有限公司 一种多光谱舌象采集设备
CN110599463A (zh) * 2019-08-26 2019-12-20 依脉人工智能医疗科技(天津)有限公司 一种基于轻量级联神经网络的舌像检测及定位算法
CN112117001A (zh) * 2020-09-08 2020-12-22 深圳市智慧健康产业发展有限公司 全科医生智能影像辅助诊断系统
CN113576405A (zh) * 2021-07-08 2021-11-02 智美康民(珠海)健康科技有限公司 舌诊基础信息采集方法、系统、舌诊仪及存储介质
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备
CN117094966B (zh) * 2023-08-21 2024-04-05 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Also Published As

Publication number Publication date
KR101809819B1 (ko) 2017-12-18

Similar Documents

Publication Publication Date Title
KR101809819B1 (ko) 혀 이미지를 기반으로 한 설진 방법 및 시스템
US10282517B2 (en) Apparatus, method, and non-transitory computer-readable medium for supporting viewing examination images
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
JP5364573B2 (ja) 不完全なデータからの評価指標
US20020171669A1 (en) System and method for annotation on a moving image
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
US11482318B2 (en) Medical information processing system
US11776692B2 (en) Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus
US20130229503A1 (en) Image management apparatus, image management method and computer-readable recording medium
WO2019064704A1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
CN104376193A (zh) 管理由便携式计算设备获取的牙科照片
JP2005086516A (ja) 撮像装置、印刷装置、画像処理装置およびプログラム
WO2019130924A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、及びプログラム
US20090023993A1 (en) System and method for combined display of medical devices
JP2007068620A (ja) 心理状態計測装置
US20140306992A1 (en) Image processing apparatus, image processing system and image processing method
JP2007105458A (ja) 画像データベースにおける画像の認識のためのシステム及び方法
US20070066875A1 (en) System and method for identification of images in an image database
KR100751160B1 (ko) 의료용 화상 기록 시스템
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
JP6425868B1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
JP2011081648A (ja) 病理診断支援装置および病理診断支援システム
KR102410545B1 (ko) 고해상화 피부 임상 영상의 관리 장치
CN112890764B (zh) 无人化低成本便携式眼底疾病检测系统
EP4272182A1 (en) Systems and methods for classifying and annotating images taken during a medical procedure

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant