KR102459723B1 - 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체 - Google Patents

이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체 Download PDF

Info

Publication number
KR102459723B1
KR102459723B1 KR1020220034726A KR20220034726A KR102459723B1 KR 102459723 B1 KR102459723 B1 KR 102459723B1 KR 1020220034726 A KR1020220034726 A KR 1020220034726A KR 20220034726 A KR20220034726 A KR 20220034726A KR 102459723 B1 KR102459723 B1 KR 102459723B1
Authority
KR
South Korea
Prior art keywords
image
variable
verification
diagnostic
shooting
Prior art date
Application number
KR1020220034726A
Other languages
English (en)
Inventor
신규보
Original Assignee
주식회사 타이로스코프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 타이로스코프 filed Critical 주식회사 타이로스코프
Priority to KR1020220034726A priority Critical patent/KR102459723B1/ko
Priority to KR1020220117744A priority patent/KR20230137221A/ko
Application granted granted Critical
Publication of KR102459723B1 publication Critical patent/KR102459723B1/ko
Priority to EP23714462.1A priority patent/EP4281980A1/en
Priority to JP2023540576A priority patent/JP2024514994A/ja
Priority to PCT/KR2023/003497 priority patent/WO2023182727A1/en
Priority to US18/130,464 priority patent/US11972603B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 출원의 일 실시예에 따르면, 이미지를 촬영하는 사용자 단말과 이미지에 기초하여 진단 보조 정보를 획득하는 서버를 포함하는 진단 시스템에 있어서, 상기 사용자 단말은, 이미지를 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득하고, 상기 제1 촬영 변수가 기저장된 조건을 만족하는지를 판단하여 촬영 이미지를 서버로 전송하고, 상기 서버는, 상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 제1 검증 변수를 획득하고, 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정하고, 사용이 결정된 경우 상기 수신된 이미지를 이용하여 진단 보조 정보를 획득하고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고, 상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위인, 진단 시스템이 제공될 수 있다.

Description

이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체{Method for verification of image, diagnostic system performing the same and computer-readable recording medium on which the method of performing the same}
실시예는 질병 진단에 이용되는 이미지의 검증 방법에 관한 것이다.
실시예는 질병 진단에 이용되는 이미지의 검증 방법을 수행하는 진단 시스템에 관한 것이다.
실시예는 질병 진단에 이용되는 이미지의 검증 방법이 기록된 컴퓨터로 판독가능한 기록매체에 관한 것이다.
이미지를 분석하여 암을 진단하거나, 이미지를 분석하여 특정 질병을 조기 진단하는 등의 소프트웨어가 활발히 개발됨에 따라, 의료 기기의 정의가 고전적인 수술 장치, 엑스레이 촬영 장치 등을 넘어서서 이미지를 분석하여 질병에 관한 정보를 획득하는 진단 장치로의 소프트웨어까지 확대되고 있는 실정이다.
소프트웨어일지라도 사람의 건강 정보를 분석하는 진단 장치에 해당하게되면, 소프트웨어의 출시 및 배포를 위해서는 각 국가별 규제에 따른 승인은 필수적이다. 이에, 해당 소프트웨어의 정확도와 결과의 일관성이 대체로 입증되어야 하는바, 소프트웨어 형태의 의료기기 시장에서의 정확도 향상은 상당한 의의를 가지는 것이다.
따라서, 이미지 분석을 통해 건강 정보를 제공하는 소프트웨어 분야에서 의료 기기의 정확도를 저해하는 않는 일관성 있는 이미지 획득 방법이 고안될 필요가 있다.
KR 10-2021-0110541 A KR 10-2020-0044209 A
실시예는 진단에 이용되는 진단 이미지를 획득하는 방법을 제공한다.
실시예는 이미지를 검증하여 적절한 이미지를 진단 이미지로 사용하도록 하는 이미지 검증 방법을 제공한다.
본 출원의 일 실시예에 따르면, 이미지를 촬영하는 사용자 단말과 이미지에 기초하여 진단 보조 정보를 획득하는 서버를 포함하는 진단 시스템에 있어서, 상기 사용자 단말은, 이미지를 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득하고, 상기 제1 촬영 변수가 기저장된 조건을 만족하는지를 판단하여 촬영 이미지를 서버로 전송하고, 상기 서버는, 상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 제1 검증 변수를 획득하고, 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정하고, 사용이 결정된 경우 상기 수신된 이미지를 이용하여 진단 보조 정보를 획득하고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고, 상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위인, 진단 시스템이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 이미지를 획득함; 획득된 이미지를 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득함; 상기 제1 촬영 변수가 기저장된 조건을 만족하는지 판단함; 상기 제1 촬영 변수가 기 저장된 조건을 만족하는지에 기초하여 촬영 이미지를 저장함; 상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 제1 검증 변수를 획득함; 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함;및 사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득함;을 포함하고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고, 상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위인, 진단 이미지 검증 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 이미지를 획득함; 획득된 이미지를 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득함; 상기 제1 촬영 변수가 기저장된 조건을 만족하는지 판단함; 상기 제1 촬영 변수가 기 저장된 조건을 만족하는지에 기초하여 촬영 이미지를 저장함; 상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 제1 검증 변수를 획득함; 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함;및 사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득함;을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공될 수 있고, 이 때, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고, 상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위일 수 있다.
실시예에 따라, 진단 장치의 정확도를 확보하여 제품의 승인 및 배포가 가능하도록, 진단 이미지를 획득하는 개선된 방법을 제공한다.
실시예에 따라, 실시간 촬영이 가능하도록 촬영 장치의 이미지 분석 방법의 연산량을 유지하면서도, 정확한 이미지를 획득할 수 있는 이미지 검증 방법을 제공한다.
본 출원의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 출원의 일 실시예에 따른 진단 시스템의 구성을 나타낸 도면이다.
도 2는 본 출원에서 설명하는 검진 오브젝트(DO)의 예시를 나타낸 도면이다.
도 3은 본 출원의 일 실시예에 따른 촬영 장치(1000) 및 서버(2000)의 구성을 나타낸 도면이다.
도 4는 본 출원의 일 실시예에 따른 사용자 단말(1000)의 촬영 이미지 획득 동작을 설명하기 위한 순서도이다.
도 5는 본 출원의 일 실시예에 따른 가이드 제공(S110) 동작에서의 사용자 단말(1000)의 제1 출력부(1700)를 설명하기 위한 도면이다.
도 6은 본 출원의 일 실시예에 따른 촬영 조건 만족 여부의 판단 방법(S130)을 구체적으로 설명하기 위한 도면이다.
도 7은 본 출원의 일 실시예에 따른 촬영 변수를 설명하기 위한 도면이다.
도 8 내지 10은 각 촬영 변수에 대응되는 조건의 만족 여부 판단 속도에 따른 평가 대상 이미지, 촬영 변수의 평가 빈도, 그리고, 저장되는 촬영 이미지를 구체적으로 설명하기 위한 도면이다.
도 11은 본 출원의 일 실시예에 따른 서버(2000)의 이미지 검증 동작을 설명하기 위한 순서도이다.
도 12는 본 출원의 일 실시예에 따른 진단 조건 만족 여부의 판단 방법(S220)을 구체적으로 설명하기 위한 도면이다.
도 13은 본 출원의 일 실시예에 따른 검증 변수를 설명하기 위한 도면이다.
도 14는 본 출원의 일 실시예에 따른 진단 이미지의 저장 및 그를 이용한 진단 보조 정보의 획득 동작을 설명하기 위한 도면이다.
도 15는 본 출원의 일 실시예에 따른 안질환에 관한 이미지 획득 방법을 설명하기 위한 도면이다.
도 16은 본 출원의 일 실시예에 따른 신체 균형 이상에 관한 이미지 획득 방법을 설명하기 위한 도면이다.
이하, 첨부도면을 참조하여 본 명세서의 실시예들에 대하여 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 당연히 본 명세서에 개시된 기술적 사상이 첨부된 도면이나 기재한 실시예로 제한되지 않으며, 본 출원의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로 이해될 수 있다.
어떤 실시예가 달리 구현 가능한 경우에 아래에서 설명한 방법은 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 동작이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수 있다.
본 출원의 일 실시예에 따르면, 이미지를 촬영하는 사용자 단말과 이미지에 기초하여 진단 보조 정보를 획득하는 서버를 포함하는 진단 시스템에 있어서, 상기 사용자 단말은, 이미지를 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득하고, 상기 제1 촬영 변수가 기저장된 조건을 만족하는지를 판단하여 촬영 이미지를 서버로 전송하고, 상기 서버는, 상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 제1 검증 변수를 획득하고, 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정하고, 사용이 결정된 경우 상기 수신된 이미지를 이용하여 진단 보조 정보를 획득하고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고, 상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위인, 진단 시스템이 제공될 수 있다.
상기 제1 촬영 변수는 대상 이미지에서의 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고, 상기 사용자 단말은 상기 제1 촬영 변수 및 기 저장된 검진 오브젝트 영역을 비교하여 상기 기저장된 조건을 만족하는지를 판단하는, 진단 시스템이 제공될 수 있다.
상기 제1 이미지 분석 알고리즘은 제1 랜드마크 검출 알고리즘이고, 상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 촬영 변수는 눈의 랜드마크인, 진단 시스템이 제공될 수 있다.
상기 제1 검증 변수는 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고, 상기 서버는 상기 제1 촬영 변수 및 상기 제1 검증 변수를 비교하여 진단 이미지로의 사용 여부를 결정하는, 진단 시스템이 제공될 수 있다.
상기 제2 이미지 분석 알고리즘은 제2 랜드마크 검출 알고리즘이고, 상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 눈의 랜드마크인, 진단 시스템이 제공될 수 있다.
상기 제2 이미지 분석 알고리즘은 영상 분할 알고리즘이고, 상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 홍채 영역인, 진단 시스템이 제공될 수 있다.
상기 사용자 단말은 기설정된 프레임 레이트에 따라 이미지를 획득하고, 상기 획득된 이미지의 적어도 일부를 상기 제1 이미지 분석 알고리즘으로 분석하며, 상기 획득된 이미지 중 하나의 이미지를 촬영 이미지로 저장하여 서버로 전송하는, 진단 시스템이 제공될 수 있다.
상기 사용자 단말은 제1 이미지가 획득되면 상기 제1 이미지를 상기 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득하고, 상기 제1 이미지의 상기 제1 촬영 변수가 기저장된 조건을 만족하지 않는 것으로 판단되면, 판단된 이후에 획득된 제2 이미지를 상기 1 이미지 분석 알고리즘으로 분석하는, 진단 시스템이 제공될 수 있다.
상기 사용자 단말은 제1 이미지가 획득되면 상기 제1 이미지를 상기 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득하고, 상기 제1 이미지의 상기 제1 촬영 변수가 기저장된 조건을 만족하는 것으로 판단되면, 판단된 이후에 획득된 제2 이미지를 서버로 전송하는, 진단 시스템이 제공될 수 있다.
상기 제1 이미지 분석 알고리즘은 실시간 처리에 유리하도록 상기 제2 이미지 분석 알고리즘에 비해 연산량이 적은 것을 특징으로 하는, 진단 시스템이 제공될 수 있다.
상기 사용자 단말은, 이미지에 대한 제2 촬영 변수를 획득하고, 상기 제1 및 제2 촬영 변수가 각 촬영 변수에 대하여 기저장된 조건을 만족하는지 판단하는, 진단 시스템이 제공될 수 있다.
상기 사용자 단말은, 상기 제1 촬영 변수를 획득하는 주기와 상기 제2 촬영 변수를 획득하는 주기가 상이한, 진단 시스템이 제공될 수 있다.
상기 사용자 단말은, 이미지에 대한 제2 내지 제N 촬영 변수를 획득하고, 상기 제1 내지 제N 촬영 변수가 기저장된 조건을 만족하는지 판단하는-여기서, 상기 N은 2이상의 자연수임-, 진단 시스템이 제공될 수 있다.
상기 서버는, 이미지에 대한 제2 내지 제M 검증 변수를 획득하고, 상기 제1 내지 제M 검증 변수에 기초하여 진단 이미지로의 사용 여부를 결정하는-여기서, 상기 M은 2이상의 자연수임-, 진단 시스템이 제공될 수 있다.
상기 서버는 상기 촬영 이미지 및 진단 모델을 이용하여 진단 보조 정보를 획득하고, 상기 진단 모델은, 상기 검진 오브젝트를 포함하는 이미지 및 상기 대상 질병의 발병 여부에 관한 정보를 이용하여 학습된, 진단 시스템이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 이미지를 획득함; 획득된 이미지를 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득함; 상기 제1 촬영 변수가 기저장된 조건을 만족하는지 판단함; 상기 제1 촬영 변수가 기 저장된 조건을 만족하는지에 기초하여 촬영 이미지를 저장함; 상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 제1 검증 변수를 획득함; 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함;및 사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득함;을 포함하고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고, 상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위인, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제1 촬영 변수는 대상 이미지에서의 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고, 상기 제1 촬영 변수가 기저장된 조건을 만족하는지 판단함은, 상기 제1 촬영 변수 및 기 저장된 검진 오브젝트 영역을 비교하여 기저장된 조건을 만족하는지 판단함을 포함하는, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제1 이미지 분석 알고리즘은 제1 랜드마크 검출 알고리즘이고, 상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 촬영 변수는 눈의 랜드마크인, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제1 검증 변수는 대상 이미지에서의 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고, 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함은, 상기 제1 촬영 변수 및 상기 제1 검증 변수를 비교하여 진단 이미지로의 사용 여부를 결정함을 포함하는, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제2 이미지 분석 알고리즘은 제2 랜드마크 검출 알고리즘이고, 상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 눈의 랜드마크인, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제2 이미지 분석 알고리즘은 영상 분할 알고리즘이고, 상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 홍채 영역인, 진단 이미지 검증 방법이 제공될 수 있다.
이미지를 획득함은, 상기 제1 촬영 변수가 기저장된 조건을 만족한 것으로 판단될때까지 기설정된 프레임 레이트에 따라 반복적으로 수행되는, 진단 이미지 검증 방법이 제공될 수 있다.
제1 이미지가 획득되면 상기 제1 이미지의 제1 촬영 변수가 기저장된 조건을 만족하는지 판단하고, 상기 제1 이미지의 상기 1 촬영 변수가 기저장된 조건을 만족하지 않는 것으로 판단되면, 판단된 이후 획득된 제2 이미지의 제1 촬영 변수가 기저장된 조건을 만족하는지 판단하는, 진단 이미지 검증 방법이 제공될 수 있다.
제1 이미지가 획득되면 상기 제1 이미지의 제1 촬영 변수가 기저장된 조건을 만족하는지 판단하고, 상기 제1 이미지의 상기 1 촬영 변수가 기저장된 조건을 만족하는 것으로 판단되면, 판단된 이후 획득된 제2 이미지를 저장하는, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제1 이미지 분석 알고리즘은 실시간 처리에 유리하도록 상기 제2 이미지 분석 알고리즘에 비해 연산량이 적은 것을 특징으로 하는, 진단 이미지 검증 방법이 제공될 수 있다.
상기 이미지를 획득함 이후에, 상기 이미지에 대한 제2 변수를 획득함;을 더 수행하고, 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함은, 상기 제1 촬영 변수 및 상기 제2 촬영 변수가 각 촬영 변수에 대하여 기저장된 조건을 만족하는지 판단함을 포함하는, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제1 촬영 변수를 획득하는 주기와 상기 제2 촬영 변수를 획득하는 주기가 상이한, 진단 이미지 검증 방법이 제공될 수 있다.
상기 제1 내지 제N 촬영 변수가 기 저장된 조건을 만족하는지에 기초하여 촬영 이미지를 저장함은-여기서, 상기N은 2이상의 자연수임-, 제1 촬영 변수 내지 상기 제N 변수가 각 촬영 변수에 대하여 기저장된 조건을 만족하는지 판단함을 포함하는, 진단 이미지 검증 방법이 제공될 수 있ㄷㅏ.
상기 촬영 대상 이미지에 대하여 제2 내지 제M 검증 변수를 획득함을 더 수행하고-여기서, 상기 M은 2이상의 자연수임-, 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함은, 상기 제1 내지 제M 검증 변수에 기초하여 진단 이미지로의 사용 여부를 결정함을 포함하는, 진단 이미지 검증 방법이 제공될 수 있다.
사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득함은, 상기 촬영 이미지 및 진단 모델을 이용하여 진단 보조 정보를 획득함을 포함하고, 상기 진단 모델은, 상기 검진 오브젝트를 포함하는 이미지 및 상기 대상 질병의 발병 여부에 관한 정보를 이용하여 학습된, 진단 이미지 검증 방법이 제공될 수 있다.
본 출원의 일 실시예에 따르면, 이미지를 획득함; 획득된 이미지를 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득함; 상기 제1 촬영 변수가 기저장된 조건을 만족하는지 판단함; 상기 제1 촬영 변수가 기 저장된 조건을 만족하는지에 기초하여 촬영 이미지를 저장함; 상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 제1 검증 변수를 획득함; 상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함;및 사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득함;을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공될 수 있고, 이 때, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고, 상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고, 상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위일 수 있다.
본 명세서에서는 이미지를 이용한 진단 장치(소프트웨어 포함) 또는 시스템의 구현에 있어서, 정확도 높은 진단 결과를 도출할 수 있는 제품을 제작하고, 해당 제품을 각 국가의 승인 절차를 밟는데에 필요한 임상 데이터를 확보하고, 및/또는, 승인된 제품을 소비자에게 제공하는데에 이용될 수 있는 진단 이미지 검증 방법, 그를 이용하는 서버 및 진단 시스템에 관하여 설명한다.
도 1은 본 출원의 일 실시예에 따른 진단 시스템의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 진단 시스템은 촬영 장치(1000) 및 서버(2000)를 포함하여 구현될 수 있고, 촬영 장치(1000)와 서버(2000)는 데이터 교환이 가능하도록 네트워크를 통해 연결될 수 있다.
촬영 장치(1000)는 이미지를 촬영하는 기능을 수행할 수 있다. 일 예로, 촬영 장치(1000)는 촬영 조건에 맞는 이미지인지 평가할 수 있다. 촬영 장치(1000)는 이미지를 획득하고, 획득된 이미지가 촬영 조건에 맞다고 판단되면 촬영 이미지를 저장할 수 있다. 촬영 장치(1000)가 이미지에 대하여 촬영 조건의 만족 여부를 판단하는 과정에 대해서는 추후 구체적으로 서술하도록 한다.
촬영 장치(1000)는 이미지를 촬영할 수 있는 전자 장치로, 휴대폰, 스마트폰, 태블릿 PC, 노트북(laptop), 통신 기능을 가진 휴대용 카메라, 및/또는 스탠드어론 방식의 카메라 등을 포함할 수 있으나, 이에 한정되지 않는다.
촬영 장치(1000)은 서버(2000)와 통신하며, 촬영된 이미지를 서버(2000)로 전송할 수 있다.
서버(2000)는 이미지를 검증하는 기능을 수행할 수 있다. 일 예로, 서버(2000)는 수신된 이미지가 검증 조건에 맞는 이미지인지 평가하여, 진단 이미지로 저장할 수 있다. 서버(2000)가 이미지에 대하여 검증 조건의 만족 여부를 판단하는 과정에 대해서는 추후 구체적으로 서술하도록 한다.
촬영 장치(1000)가 대상 이미지에 대하여 촬영 조건을 만족하였는지를 판단할 때에 적어도 하나의 촬영 변수의 조건 만족 여부를 평가할 수 있고, 이 중 적어도 하나의 촬영 변수는 검진 오브젝트(DO)와 관련되어 있을 수 있다.
서버(2000)가 촬영 이미지에 대하여 검증 조건을 만족하였는지를 판단할 때에 적어도 하나의 검증 변수의 조건 만족 여부를 평가할 수 있고, 이 중 적어도 하나의 검증 변수는 검진 오브젝트(DO)와 관련되어 있을 수 있다.
본 명세서에서 설명하는 검진 오브젝트(DO)는 진단하고자 하는 대상 질병(target object)과 연관된 오브젝트를 의미할 수 있다. 일 예로, 검진 오브젝트(DO)는 대상 질병과 연관된 신체 부위를 의미할 수 있다.
본 출원의 일 실시예에 따르면 검증 변수로 평가되는 검진 오브젝트(DO)와 촬영 변수로 평가되는 검진 오브젝트(DO)는 동일할 수 있고, 또는, 검증 변수로 평가되는 검진 오브젝트(DO)가 촬영 변수로 평가되는 검진 오브젝트(DO)에 포함될 수 있으며, 당연히 그 반대의 경우도 가능하다.
서버(2000)는 진단 이미지로 저장된 이미지를 이용하여 대상 질병에 관한 정보를 획득할 수 있다. 여기서, 대상 질병에 관한 정보는 질병 진단을 보조하기 위한 정보일 수 있다. 예를 들어, 대상 질병에 관한 정보는 이미지에 대한 피촬영자가 대상 질병이 있을 확률이거나, 대상 질병과 연관된 것으로 알려진 하나 이상의 타질병이 있을 확률일 수 있다.
도 2는 본 출원에서 설명하는 검진 오브젝트(DO)의 예시를 나타낸 도면이다.
일 실시예에 따르면, 얼굴 이미지를 분석하여 유전자 표현형 이상을 분석하는 진단 장치에서 이용되는 이미지는, 본 출원에서 설명하는 진단 이미지 검증 방법으로 검증될 수 있다. 유전자 표현형 이상의 검진 오브젝트(DO)는 '얼굴'이 될 수 있다(도 2(a) 참조).
다른 실시예에 따르면, 전신 이미지를 분석하여 신체 균형을 분석하는 진단장치에서 이용되는 이미지는, 본 출원에서 설명하는 진단 이미지 검증 방법으로 검증될 수 있다. 신체 균형 이상의 검진 오브젝트(DO)는 '전신'이 될 수 있다(도 2(b) 참조).
또 다른 실시예에 따르면, 눈 이미지를 분석하여 갑상선 눈병증을 분석하는 진단 장치에서 이용되는 이미지는, 본 출원에서 설명하는 진단 이미지 검증 방법으로 검증될 수 있다. 갑상선 눈병증의 검진 오브젝트(DO)는 '눈'이 될 수 있다(도 2(c)).
대상 질병과 연관된 검진 오브젝트(DO)는, 대상 질병을 검진하는데에 이용되는 것으로 널리 알려진 오브젝트(예를 들어, 검진의 대상이 되는 신체부위)를 의미할 수 있으나, 이에 한정되지 않고, 대상 질병을 검진하는데에 이용될 정보를 획득하기 위한 간접적으로 연관된 오브젝트를 의미할 수 있다.
구체적인 예를 들어, 대상 질병이 "뇌졸중"인 경우, 제1 검진 오브젝트(DO)는 "얼굴"일 수 일 수 있다. 이러한 기술은 가천대학교 산학협력단에서 출원한 한국 등록특허 제10-2274330호에도 개시되어 있다.
다른 예로, 대상 질병이 "갑상선 안병증"인 경우, 제1 검진 오브젝트(DO)는 "눈"일 수 있고, 제2 검진 오브젝트(DO)는 "눈꺼풀"일 수 있으며, 제3 검진 오브젝트(DO)는 "눈 및 눈 주변부를 포함하는 영역"일 수 있다. 이러한 기술은 당사(주식회사 타이로스코프)에서 출원한 한국 출원특허 제10-2021-0085542호에도 개시되어 있다.
상술한 검진 오브젝트(DO)의 예시는 본 명세서에서 설명하는 검진 오브젝트(DO)의 개념에 대한 정확한 이해를 돕기위해 서술한 것으로, 검진 오브젝트(DO)가 상술한 예시들에 검진 오브젝트(DO)가 한정되는 것은 아니며, 진단하고자 하는 대상 질병(target object)과 연관된 오브젝트(예, 신체 부위)는 검진 오브젝트(DO)로 해석될 수 있다.
이하, 본 출원에서 개시하는 몇몇 실시예를 설명함에 있어 촬영 장치(1000)가 이미지 촬영을 수행하고, 서버(2000)가 촬영된 이미지를 검증하는 경우를 들어 설명한다. 그러나, 이는 설명의 편의를 위해 일 실시예를 들어 구체적으로 설명하는 것으로, 본 출원에서 설명하는 기술적 사상은 서버(2000) 또는 촬영 장치(1000)가 단독으로 수행하는 경우, 그리고, 촬영 장치(1000), 서버(2000) 및 외부 장치가 나누어서 수행하는 경우에도 적용이 가능한 바, 본 발명 컨셉의 구현 형태가 이하 설명하는 실시예에 한정되지는 않는다고 할 것이다.
도 3은 본 출원의 일 실시예에 따른 촬영 장치(1000) 및 서버(2000)의 구성을 나타낸 도면이다.
촬영 장치(1000)는 이미지 획득부(1100), 판별부(1201, 1202,??,1299), 제1 저장부(1300), 제1 통신부(1400), 제1 제어부(1500), 제1 입력부(1600) 및 제1 출력부(1700)를 포함할 수 있다.
이미지 획득부(1100)는 이미지를 촬영하는 기능을 수행할 수 있다. 본 출원의 일 실시예에 따르면, 이미지 획득부(1100)는 기설정된 이미지 프레임에 따라 이미지(예, 프리뷰 이미지)를 획득할 수 있다. 이미지 획득부(1100)는 카메라와 같이 이미지 촬영에 적합한 별도의 모듈이거나 그와 유사한 기능을 수행하는 기능 모듈일 수 있다.
판별부(1201, 1202,??,1299)는 대상 이미지가 촬영 조건을 만족하였는지 판단하는 기능을 수행할 수 있다. 본 출원의 일 실시예에 따르면, 판별부(1201, 1202,??,1299)는 이미지 획득부(1100)를 통해 획득된 이미지가 촬영 조건을 만족하였는지 판단할 수 있다.
촬영 장치(1000)는 하나 이상의 판별부(1201, 1202,??,1299)를 포함할 수 있다. 본 출원의 일 실시예에 따르면, 제1 판별부(1201)를 통해 대상 이미지의 제1 촬영 변수가 제1 촬영 조건을 만족하였는지를 판단하고, 제2 판별부(1202)를 통해 대상 이미지의 제2 촬영 변수가 제2 촬영 조건을 만족하였는지를 판단하고, 제N 판별부를 통해 대상 이미지의 제N 촬영 변수가 제N 촬영 조건을 만족하였는지를 판단할 수 있다. 여기서, 상기 N은 2이상의 자연수일 수 있으나, 이는 촬영 변수로 평가되는 항목이 여러 개일 수 있음을 의미하는 것이고 촬영 변수로 평가되는 항목이 하나이거나 둘이면 안된다는 취지의 기재는 아니다.
본 출원의 일 실시예에 따르면, 제1 촬영 변수와 제2 촬영 변수는 다를 수 있다. 일 예로, 제1 촬영 변수는 검진 오브젝트(DO)와 관련되어 있고, 제2 촬영 변수는 사진의 밝기와 관련되어 있을 수 있다.
본 출원의 일 실시예에 따르면, 제1 촬영 변수와 제2 촬영 변수는 동일하고, 상기 제1 촬영 변수에 대응되는 제1 촬영 조건과 제2 촬영 변수에 대응되는 제2 촬영 조건이 상이할 수 있다. 일 예로, 제1 촬영 변수 및 제2 촬영 변수는 모두 검진 오브젝트(DO)와 관련되어 있고, 제1 촬영 조건은 검진 오브젝트(DO)의 위치에 관한 기준이고, 제2 촬영 조건은 검진 오브젝트(DO)의 검출 여부에 관한 기준일 수 있다.
촬영 장치(1000)에 포함된 하나 이상의 판별부(1201, 1202,??,1299)는 대상 이미지에 대해서 각각 대응되는 촬영 조건을 만족하였는지를 판단하고, 제1 제어부(1500)는 판별부(1201, 1202,??,1299)를 통해 대상 이미지가 기저장된 촬영 조건을 모두 만족한 것으로 판단되면 이미지 획득부(1100)를 이용하여 촬영 이미지를 저장할 수 있다.
제1 저장부(1300)는 촬영 장치(1000)가 동작하는 데 필요한 각종 데이터 및 프로그램을 저장하고 있을 수 있다. 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록, 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현될 수 있다. 본 출원의 일 실시예에 따르면, 제1 저장부(1300)는 촬영 변수를 구하기 위한 알고리즘, 촬영 변수에 대응되는 촬영 조건, 촬영 변수가 저장된 촬영 조건을 만족하였는지 판단하기 위한 프로그램, 및/또는 촬영된 이미지를 저장할 수 있다.
본 출원의 일 실시예에 따르면, 제1 저장부(1300)에는 검진 오브젝트(DO)를 검출하기 위한 이미지 분석 알고리즘이 저장되어 있을 수 있다. 다시 말해, 제1 저장부(1300)에는 검진 오브젝트(DO)와 관련된 촬영 변수를 검출하기 위한 이미지 분석 알고리즘 및 그 조건이 저장되어 있을 수 있다. 일 예로, 제1 이미지 분석 알고리즘은 랜드마크 이미지 분석 알고리즘일 수 있다. 다른 예로, 제1 이미지 분석 알고리즘은 포즈 추정 알고리즘일 수 있다. 또 다른 예로, 제1 이미지 분석 알고리즘은 색상 비교 알고리즘일 수 있다.
제1 통신부(1400)는 촬영 장치(1000)가 서버 등과 같은 외부장치와 양방향 통신이 가능하도록 데이터의 송수신을 수행할 수 있다. 제1 통신부(1400)는 기 설정된 통신 프로토콜(protocol)에 따라서, 유선/무선을 통한 광역/근거리 네트워크 또는 로컬 접속 방식으로 외부장치(예, 서버(2000))에 접속할 수 있다.
제1 통신부(1400)는 각 장치 별 접속 포트(port) 또는 접속 모듈(module)의 집합체에 의해 구현될 수 있는 바, 접속을 위한 프로토콜 또는 접속 대상이 되는 외부장치가 하나의 종류 또는 형식으로 한정되지 않는다. 제1 통신부(1400)는 촬영 장치(1000)에 내장된 형태일 수 있으며, 전체 또는 일부의 구성이 촬영 장치(1000)에 애드-온(add-on) 또는 동글(dongle) 형태로 추가 설치되는 형식도 가능하다.
제1 제어부(1500)는 촬영 장치(1000)의 전반적인 동작을 총괄하고 제어하는 기능을 수행할 수 있다. 제1 제어부(1500)는 각종 정보의 연산 및 처리를 수행하고 단말의 구성요소들의 동작을 제어할 수 있다.
제1 제어부(1500)는 하드웨어, 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제1 제어부(1500)는 전기적인 신호를 처리하여 제어 기능을 수행하는 CPU 칩 등의 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 제1 제어부(1500)를 구동시키는 프로그램 형태로 제공될 수 있다.
본 출원의 일 실시예에 따르면, 제1 제어부(1500)는 이미지 획득부(1100)를 통해 획득되는 이미지가 제1 저장부(1300)에 저장된 조건들을 만족하는지 판별부(1201, 1202,??,1299)를 통해 확인할 수 있다. 또한, 제1 제어부(1500)는 이미지가 기저장된 촬영 조건(들)을 만족하는 것으로 판단되면 촬영 이미지를 제1 저장부(1300)에 저장할 수 있고, 제1 통신부(1400)를 통해 서버(2000)로 전송할 수 있다.
본 출원의 일 실시예에 따른 촬영 장치(1000)는 제1 입력부(1600) 및/또는 제1 출력부(1700)를 포함할 수 있다.
제1 입력부(1600)는 사용자로부터 정보를 획득 받는 기능을 수행할 수 있다. 제1 입력부(1600)는 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력 및/또는 음성 입력이거나, 이에 한정되지 않고 다양한 형태로 이루어질 수 있다.
제1 입력부(1600)는 일반적으로 사용되는 사용자 입력 장치로 구현될 수 있다. 예시적으로, 사용자의 터치를 감지하는 터치 센서일 수 있으나, 이에 한정되지 않는다. 여기서, "터치 센서"는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 및/또는 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등을 의미할 수 있다.
제1 출력부(1700)는 사용자가 확인할 수 있도록 정보를 출력하는 기능을 수행할 수 있다. 제1 출력부(1700)는 사용자로부터 획득, 외부 장치로부터 획득 및/또는 가공된 정보를 출력할 수 있다. 정보의 출력은 시각적, 청각적 및/또는 촉각적 출력이거나, 이에 한정되지 않고 다양한 형태로 이루어질 수 있다.
제1 출력부(1700)는 일반적으로 사용되는 사용자 출력 장치로 구현될 수 있다. 예시적으로, 영상을 출력하는 디스플레이 및/또는 소리를 출력하는 스피커일 수 있으나, 이에 한정되지 않는다. 여기서, "디스플레이"는 액정 디스플레이(LCD: Liquid Crystal Display), 발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및/또는 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태를 모두 포함하는 광의의 영상 표시 장치를 의미할 수 있다.
제1 출력부(1700)는 제1 입력부(1600)와 일체된 형태일 수 있다. 일 예로, 제1 출력부(1700)가 디스플레이인 경우, 제1 출력부(1700)는 제1 입력부(1600)인 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수 있다.
서버(2000)는 제2 통신부(2100), 검증부(2201, 2202,??2299), 진단부(2300), 제2 제어부(2400), 제2 입력부(2500), 제2 출력부(2600) 및 제2 저장부(2700)를 포함할 수 있다.
제2 통신부(2100)는 전술한 제1 통신부(1400)와 유사하게, 외부 장치와 데이터 교환을 수행하는 기능을 수행할 수 있다. 일 예로, 제2 통신부(2100)는 제1 통신부(1400)를 통해 촬영 이미지를 수신할 수 있다. 구체적으로, 제2 통신부(2100)는 제1 통신부(1400)를 통해 촬영 이미지 및 촬영 이미지에서의 검진 오브젝트(DO)의 위치 정보를 수신할 수 있다.
검증부(2201, 2202,??2299)는 대상 이미지가 검증 조건을 만족하였는지 판단하는 기능을 수행할 수 있다. 본 출원의 일 실시예에 따르면, 검증부(2201, 2202,??2299)는 제2 통신부(2100)를 통해 수신된 촬영 이미지가 검증 조건을 만족하였는지 판단할 수 있다.
서버(2000)는 하나 이상의 검증부(2201, 2202,??2299)를 포함할 수 있다. 본 출원의 일 실시예에 따르면, 제1 검증부(2201)를 통해 촬영 이미지의 제1 검증 변수가 제1 검증 조건을 만족하였는지를 판단하고, 제2 검증부(2202)를 통해 제2 검증 변수가 제2 검증 조건을 만족하였는지를 판단하고, 제M 검증부(2299)를 통해 제N 검증 변수가 제M 검증 조건을 만족하였는지를 판단할 수 있다. 여기서, 상기 M은 2이상의 자연수일 수 있으나, 이는 검증 변수로 평가되는 항목이 여러 개일 수 있음을 의미하는 것이고, 검증 변수로 평가되는 항목이 하나이거나 둘이면 안된다는 취지의 기재는 아니다.
제1 검증 변수와 제2 검증 변수는 다를 수 있다. 일 예로, 제1 검증 변수는 검진 오브젝트(DO)와 관련되어 있고, 제2 검증 변수는 사진의 밝기와 관련되어 있을 수 있다.
제1 검증 변수와 제2 검증 변수는 동일하고, 상기 제1 검증 변수에 대응되는 제1 검증 조건과 제2 검증 변수에 대응되는 제2 검증 조건이 상이할 수 있다. 일 예로, 제1 검증 변수 및 제2 검증 변수는 모두 검진 오브젝트(DO)와 관련되어 있고, 제1 검증 조건은 검진 오브젝트(DO)의 위치에 관한 기준이고, 제2 검증 조건은 검진 오브젝트(DO)의 검출 여부에 관한 기준일 수 있다.
서버(2000)는 촬영 장치(1000)에서 평가되는 촬영 변수 및 촬영 조건과 대응되는 검증 변수 및 검증 조건을 평가할 수 있다. 구체적인 예를 들어, 제1 촬영 변수와 제1 검증 변수는 동일하고, 제1 촬영 변수에 대응되는 제1 촬영 조건과 제1 검증 변수에 대응되는 제1 검증 조건은 동일할 수 있다.
본 출원의 일 실시예에 따르면 촬영 장치(1000)에서 이미 판단받은 촬영 조건을 서버(2000)에서 검증 조건으로 한번 더 평가하여, 진단 이미지의 품질(또는 정확도) 부족으로 인해 진단 장치 자체의 진단 정확도가 저해되는 것을 차단할 수 있다.
서버(2000)는 촬영 장치(1000)에서 평가되는 촬영 변수 및 촬영 조건 중 일부를 검증 변수 및 검증 조건으로 평가하지 않을 수 있다. 구체적인 예를 들어, 제2 촬영 변수와 제2 검증 변수는 상이할 수 있다.
본 출원의 일 실시예에 따르면 검진 오브젝트(DO)에 관한 것이 아니라면 촬영 조건에서 이미 판단된 변수들에 대해서 검증 조건을 통한 검증이 필수적으로 수행될 필요는 없기 때문에, 제2 촬영 변수와 제2 검증 변수는 동일하지 않을 수 있다. 이 경우, 촬영 장치(1000)는 제1 내지 제N 촬영 변수에 대한 평가를 수행하고, 서버(2000)는 제1 내지 제M 검증 변수에 대한 평가를 수행할 때, N은 M에 비해 큰 수 일 수 있다.
서버(2000)에 포함된 하나 이상의 검증부(2201, 2202,..., 2299)는 대상 이미지에 대해서 각각 대응되는 검증 조건을 만족하였는지를 판단하고, 제2 제어부(2400)는 검증부(2201, 2202,??,2299)를 통해 촬영 이미지가 기저장된 검증 조건을 모두 만족한 것으로 판단되면, 촬영 이미지를 진단 이미지로 결정하고 진단부(2300)를 통해 진단 보조 정보를 획득하기 위한 동작을 수행하거나, 제2 저장부(2700)를 통해 진단 이미지를 저장할 수 있다.
진단부(2300)는 이미지를 이용하여 진단 보조 정보를 획득하는 기능을 수행할 수 있다. 진단부(2300)는 제2 저장부(2700)에 저장된 진단 알고리즘을 이용하여, 진단 이미지를 기초로 대상 질병에 관한 정보(예, 진단 보조 정보)를 획득하는 기능을 수행할 수 있다. 구체적인 예를 들어, 제2 저장부(2700)는 검진 오브젝트(DO)를 포함하는 이미지 및 상기 대상 질병의 발병 여부에 관한 정보를 이용하여 학습된 진단 모델을 저장하고 있을 수 있고, 진단부(2300)는 제2 제어부(2400)의 제어에 따라 진단 모델과 진단 이미지를 기초로 진단 보조 정보를 획득하는 기능을 수행할 수 있다. 진단 모델은 함수 및/또는 파라미터 등이 저장된 인공지능 모델을 의미할 수 있다.
본 출원의 다른 실시예에 따르면, 진단부(2300)는 별도의 서버에 포함될 수 있고, 서버(2000)는 진단 이미지를 제2 통신부(2100)를 통해 별도의 서버로 전송하여 진단 보조 정보를 획득할 수도 있다.
제2 제어부(2400)는 제1 제어부(1500)와 유사하게, 서버(2000)의 동작을 총괄하여 제어하는 기능을 수행할 수 있다. 제2 입력부(2500)는 제1 입력부(1600)와 유사하게, 사용자로부터 정보를 획득 받는 기능을 수행할 수 있다. 제2 출력부(2600)는 제1 출력부(1700)와 유사하게, 사용자가 확인할 수 있도록 정보를 출력하는 기능을 수행할 수 있다.
제2 저장부(2700)는 제1 저장부(1300)와 유사하게, 서버(2000)가 동작하는 데 필요한 각종 데이터 및 프로그램을 저장하고 있을 수 있다.
본 출원의 일 실시예에 따르면, 제2 저장부(2700)는 데이터베이스 형태일 수 있고, 데이터베이스는 키워드의 카테고리 별로 구조화(structured)되어 있으므로, 특정 키워드를 가지고 원하는 정보가 검색될 수 있다. 구조화된 데이터베이스는 데이터베이스의 설계 및 구측 방식에 따라서 다양한 방법으로 구현이 가능한 사항인 바, 이에 관한 자세한 설명은 생략한다.
본 출원의 일 실시예에 따르면, 제2 저장부(2700)에는 검진 오브젝트(DO)를 검출하기 위한 이미지 분석 알고리즘이 저장되어 있을 수 있다. 다시 말해, 제2 저장부(2700)에는 검진 오브젝트(DO)와 관련된 검증 변수를 검출하기 위한 이미지 분석 알고리즘 및 그 조건이 저장되어 있을 수 있다. 일 예로, 제2 이미지 분석 알고리즘은 랜드마크 이미지 분석 알고리즘일 수 있다. 다른 예로, 제2 이미지 분석 알고리즘은 포즈 추정 알고리즘일 수 있다. 또 다른 예로, 제2 이미지 분석 알고리즘은 색상 비교 알고리즘일 수 있다.
일 예에 따르면, 서버(2000)에 저장된 이미지 분석 알고리즘과 사용자 단말(1000)에 저장된 이미지 분석 알고리즘은 동일한 오브젝트를 검출하는 알고리즘일 수 있다. 다만, 서버(2000)에 저장된 이미지 분석 알고리즘과 사용자 단말(1000)에 저장된 이미지 분석 알고리즘의 연산량은 상이할 수 있다. 구체적인 예를 들어, 사진을 촬영하면서 실시간 연산을 수행해야하는 사용자 단말(1000)에서의 이미지 분석 알고리즘의 연산량은 서버(2000)에서의 이미지 분석 알고리즘의 연산량보다 적도록 두 이미지 분석 알고리즘이 선택될 수 있다.
제2 제어부(2400), 제2 입력부(2500), 제2 출력부(2600) 및 제2 저장부(2700)에 대한 중복되는 기능/모듈 등에 관한 설명은 생략하도록 한다.
본 출원의 일 실시예에 따른 서버(2000)는 물리적으로 하나인 단일 서버일 수 있고, 복수의 서버가 그 처리량이나 역할을 분산하는 분산형 서버일 수 있다.
이하에서 특별한 언급이 없는 경우에는, 촬영 장치(1000)의 동작은 제1제어부(1500)에 의해 수행되는 것으로 해석될 수 있고, 서버(2000)의 동작은 제2 제어부(2400)에 의해 수행되는 것으로 해석될 수 있다.
이하, 본 출원의 몇몇 실시예에 따른 촬영 장치(1000, 이하 사용자 단말로 칭함) 및/또는 서버(2000)의 동작에 대해서 구체적으로 설명한다.
도 4는 본 출원의 일 실시예에 따른 사용자 단말(1000)의 촬영 이미지 획득 동작을 설명하기 위한 순서도이다.
사용자 단말(1000)은 가이드를 제공함(S110), 프리뷰 이미지를 획득함(S120), 촬영 조건을 판단함(S130), 진단 후보 이미지를 저장함(S140) 및 진단 후보 이미지를 전송함(S150)을 수행할 수 있다.
사용자 단말(1000)의 제1 제어부(1500)는 제1 출력부(1700)를 이용하여 가이드가 제공되도록 제어(S110)할 수 있다.
여기서, 가이드라고 함은 이미지를 촬영을 보조하기 위한 기능을 하는 것으로, 일 예로, 가이드는 사용자 단말(1000)의 디스플레이에 출력되고 있는 프리뷰 이미지 상에 선이나 글자의 형태로 함께 출력되는 형태일 수 있고, 다른 예로, 사용자 단말(1000)의 스피커를 통해 촬영을 보조하는 음성이 출력되는 형태일 수 있으며, 이에 한정되지 않는다.
가이드는 촬영 조건으로 설정되어 있는 여러 촬영 변수 중 일부 촬영 변수를 보조하기 위해 제공될 수 있고, 또는, 촬영 조건으로 설정되어 있는 모든 촬영 변수를 보조하기 위해 제공될 수 있다. 가이드에 의해 보조되는 촬영 변수에는 검진 오브젝트(DO)에 관한 촬영 변수도 포함되어 있을 수 있다.
가이드는 촬영 변수에 대응되는 촬영 조건을 제시하는 형태로 제공될 수 있고, 또는 피촬영자의 현 상태를 시각화하는 형태로 제공할 수 있으며, 또는 촬영 조건과 현 상태를 모두 출력하는 형태로 제공될 수 있다. 구체적인 예를 들어, 사용자 단말에 제공되는 가이드는 눈의 적정 위치를 표시하기 위한 제1 가이드, 현재 눈의 위치를 표시하기 위한 제2 가이드를 포함할 수 있다.
도 5는 본 출원의 일 실시예에 따른 가이드 제공(S110) 동작에서의 사용자 단말(1000)의 제1 출력부(1700)를 설명하기 위한 도면이다.
사용자 단말(1000)에 출력되는 가이드는 제1 가이드(IG1), 제2 가이드(IG2) 및 제3 가이드(IG3)를 포함할 수 있다. 제1 가이드(IG1)는 사용자의 얼굴이 사용자 단말(1000)과 적정 거리를 유지하도록, 사용자의 얼굴이 내부에 위치되도록 가이드하기 위한 인디케이터일 수 있다. 제2 가이드(IG2)는 사용자의 눈이 정해진 위치에 있는 이미지를 획득하도록, 사용자의 눈의 위치와 가이드의 정합을 유도하기 위한 인디케이터일 수 있다. 제3 가이드(IG3)는 사용자의 얼굴의 좌우 각도(Yaw)가 기저장된 기준을 벗어나지 않도록, 사용자의 코선이 위치해야 하는 위치를 가이드하기 위한 인디케이터일 수 있다.
본 출원의 일실시예에 따라, 도 5에서 제공된 가이드가 갑상선 눈병증을 진단(예측)하기 위한 이미지 촬영에서 제공되는 것이면, 제2 가이드(IG2)는 검진 오브젝트(DO)와 연관된 가이드일 수 있다.
다시 도 4를 참조하면, 사용자 단말(1000)의 제1 제어부(1500)는 이미지 획득부(1100)를 이용하여 프리뷰 이미지를 획득하도록 제어(S120)할 수 있다.
여기서, 프리뷰 이미지라 함은, 이미지의 촬영 단계에서 정해진 프레임 레이트에 따라 획득되는 이미지를 의미할 수 있고, 구체적으로, 사용자의 입력에 따른 이미지 촬영 동작이나 기 저장된 조건을 만족함으로 인한 자동 촬영 동작이 개시되어 그에 따른 응답으로 촬영 이미지가 저장되기 전단계에서 캡쳐되는 이미지를 의미할 수 있다.
사용자 단말(1000)의 제1 제어부(1500)는 판별부(1201,1202,??,1299)를 이용하여 획득된 프리뷰 이미지에 대하여 촬영 조건 만족 여부를 판단할 수 있다.
사용자 단말(1000)의 제1 제어부(1500)는 대상 이미지(예, 판단 대상 프리뷰 이미지)가 촬영 조건을 만족하는 것으로 판단되면, 제1 저장부(1300)를 이용하여 촬영 이미지를 저장(S140)할 수 있고, 제1 통신부(1400)를 이용하여 촬영 이미지를 서버(2000)로 전송(S150)할 수 있다.
사용자 단말(1000)의 제1 제어부(1500)는 대상 이미지가 촬영 조건을 만족하지 않는 것으로 판단되면, S120단계에서 획득된 다른 이미지에 대해서, 판별부(1201,1202,??,1299)를 이용하여, 촬영 조건 만족 여부를 판단(130)할 수 있다.
도 6은 본 출원의 일 실시예에 따른 촬영 조건 만족 여부의 판단 방법(S130)을 구체적으로 설명하기 위한 도면이다.
제1 저장부(1300)에는 대상 이미지가 촬영 조건을 만족하는지 여부를 평가하기 위해 판단되어야 하는 하나 이상의 촬영 변수 및 그에 대응되는 조건이 저장되어 있을 수 있다. 촬영 조건을 만족하는지 판단(S130)할 때에 평가되는 촬영 변수는 검진 오브젝트(DO)와 관련된 하나의 촬영 변수 일 수 있고, 또는 적어도 일부의 변수가 검진 오브젝트(DO)와 관련되어 있는 복수의 촬영 변수일 수 있다.
본 출원의 일 실시예에 따르면, 검진 오브젝트(DO)와 관련된 촬영 조건은 검진 오브젝트(DO)가 온전히 검출되는것에 관한 것일 수 있다. 예를 들어, 검진 오브젝트(DO)가 '눈'인 경우, 제1 제어부(1500)는 프리뷰 이미지에서 눈이 온전히(즉, 전체로) 검출되는가를 평가할 수 있다. 다른 예를 들어, 제1 제어부(1500)는 검진 오브젝트(DO)가 '전신'인 경우, 프리뷰 이미지에서 정해진 관절이 모두 검출되는가를 평가할 수 있다.
본 출원의 일 실시예에 따르면, 검진 오브젝트(DO)와 관련된 촬영 조건은 검진 오브젝트(DO)와 기저장된 기준 영역을 비교하는 형태로 판단될 수 있다. 일 예로, 검진 오브젝트(DO)와 관련된 촬영 조건은 검진 오브젝트(DO)의 검출 영역이 목표 영역에 위치할 때 만족되는 것으로 설정될 수 있다. 구체적인 예를 들어, 검진 오브젝트(DO)가 '눈'인 경우, 제1 제어부(1500)는 검출된 눈의 외곽선이 눈의 위치로 저장된 영역과 중첩되는가를 평가할 수 있다.
도 7은 본 출원의 일 실시예에 따른 촬영 변수를 설명하기 위한 도면이다.
구체적인 예를 들어, 제1 촬영 변수(DP1)가 랜드마크 검출 알고리즘의 구동으로 획득되는 이미지 상의 눈의 랜드마크인 경우, 도 7에 도시된 바와 같이 프리뷰 이미지에서의 양 눈의 랜드마크가 제1 촬영 변수(DP1)로 획득될 수 있다. 제1 제어부(1500)는 제1 촬영 변수(DP1)와 제2 이미지 가이드(IG2)를 비교할 수 있다. 또는, 제1 제어부(1500)는 제1 촬영 변수(DP1)와 기 저장된 눈의 위치를 비교할 수 있다. 제1 제어부(1500)는 검출된 눈의 외곽선(즉, 제1 촬영 변수 DP1)이 눈의 위치로 저장된 영역과 중첩되는가를 평가하여, 제1 촬영 변수(DP1)가 제1 촬영 조건을 만족하는가를 판단할 수 있다.
다른 구체적인 예를들어, 검진 오브젝트(DO)가 '눈'인 경우, 제1 제어부(1500)는 검출된 눈의 외곽선의 중앙이 동공의 위치로 저장된 영역에 포함되는가를 평가할 수 있다.
본 출원의 일 실시예에 따르면, 촬영 조건을 만족하는지 판단(S130)할 때에 평가되는 촬영 변수는 촬영 품질등에 관한 일반적인 지표를 포함할 수 있다. 일 예로, 제1 제어부(1500)는 대상 이미지의 획득 시점의 주변 밝기가 기준치 이상인지를 평가할 수 있다. 다른 예로, 제1 제어부(1500)는 대상 이미지의 획득 시점의 사용자 단말의 가속도 센서값이 기준치 이상인지를 평가할 수 있다.
다시 도 6을 참조하면, 대상 이미지가 촬영 조건을 만족하는지 판단(S130)할 때에, 기 설정된 촬영 변수 들의 만족 여부가 각각 평가될 수 있다.
구체적인 예를 들어, 제1 제어부(1500)는 제1 판별부(1201)를 이용하여 프리뷰 이미지를 분석하고, 제1 촬영 변수를 획득하여, 제1 촬영 변수에 대응되는 제1 촬영 조건의 만족 여부를 평가(S131)할 수 있다.
제1 제어부(1500)는 제2 판별부(1202)를 이용하여 프리뷰 이미지를 분석하고, 제2 촬영 변수를 획득하여, 제2 촬영 변수에 대응되는 제2 촬영 조건의 만족 여부를 평가(S132)할 수 있다.
제1 제어부(1500)는 제N 판별부(1299)를 이용하여 프리뷰 이미지를 분석하고, 제N 촬영 변수를 획득하여, 제N 촬영 변수에 대응되는 제N 촬영 조건의 만족 여부를 평가(S133)할 수 있다.
제1 촬영 변수에 대응되는 제1 촬영 조건의 만족 여부(S131), 제2 촬영 변수에 대응되는 제2 촬영 조건의 만족 여부(S132), ?? 제N 촬영 변수에 대응되는 제N 촬영 조건의 만족 여부(S133)는 순차적으로 판단될 수 있고, 또는 병렬적으로 판단될 수 있다.
제1 촬영 변수 내지 제N 촬영 변수가 모두 만족한 것으로 판단되면, 제1 제어부 (1500)는 촬영 이미지가 저장될 수 있다.
본 출원의 일 실시예에 따르면, 제1 저장부(1300)에는 촬영 조건을 만족하는지 판단(S130)할 때에 평가되는 여러 촬영 변수들을 검출하기 위한 알고리즘이 저장되어 있을 수 있고, 각 촬영 변수들을 검출하기 위한 알고리즘의 연산량 및/또는 처리 속도는 상이할 수 있다.
도 8 내지 10은 각 촬영 변수에 대응되는 조건의 만족 여부 판단 속도에 따른 평가 대상 이미지, 촬영 변수의 평가 빈도, 그리고, 저장되는 촬영 이미지를 구체적으로 설명하기 위한 도면이다.
사용자 단말(1000)은 기설정된 프레임 레이트에 따라 프리뷰 이미지를 획득할 수 있다. 바람직하게는, 프리뷰 이미지가 획득된 후 다음차 프리뷰 이미지가 획득될 때까지의 여유 시간 내에 각 촬영 변수에 대응되는 조건의 만족 여부가 판단될 수 있다면 매 프리뷰 이미지 마다 촬영 변수에 대응되는 조건의 만족 여부가 평가될 수 있다.
다만, 프리뷰 이미지가 획득된 후 다음차 프리뷰 이미지가 획득될 때까지의 여유 시간 내 사용자 단말(1000)이 판단하는 여러 촬영 변수 중 적어도 하나의 촬영 변수에 대응되는 조건의 만족 여부가 판단될 수 없다면, 각 촬영 변수들의 촬영 조건에 대한 판단 주기 및 그들간의 연관관계의 기준을 설정할 필요가 있다.
본 출원의 일 실시예에 따르면, 촬영 변수 들의 판단 주기는 촬영 변수의 조건 만족 여부의 판단에 소요되는 시간이 가장 긴 촬영 변수를 기준으로 일체되어 있을 수 있다.
도 8을 참조하여 설명하면, 기설정된 프레임 레이트에 따라 제1 이미지 프레임(IF1), 제2 이미지 프레임(IF2), 제3 이미지 프레임(IF3),...,제10 이미지 프레임(IF10)이 획득될 수 있다.
제1 이미지 프레임(IF1)에 대한 제N 촬영 변수의 만족 여부의 평가(S133)하는 동작은 제1 이미지 프레임(IF1)이 얻어진 후, 제2 이미지 프레임(IF2)이 얻어지고, 제3 이미지 프레임(IF3)이 얻어지기 전에 완료된다고 할 때, 제1 촬영 변수 내지 제N 변수는 모두 3개의 이미지 프레임 당 한번씩 각 촬영 변수의 조건 만족 여부가 평가되도록 설계될 수 있다.
제1 이미지 프레임(IF1), 제4 이미지 프레임(IF4), 제7 이미지 프레임(IF7) 및 제10 이미지 프레임(IF10)에 대해서 각 촬영 변수들의 조건 만족 여부가 평가될 수 있고, 제2 이미지 프레임(IF2), 제3 이미지 프레임(IF3), 제5 이미지 프레임(IF5), 제6 이미지 프레임(IF6) 등에 대해서는 촬영 변수 들의 조건 만족 여부가 평가되지 않을 수 있다.
본 출원의 다른 실시예에 따르면, 촬영 변수 들은 각 촬영 변수마다 독립적으로 조건 만족 여부의 판단에 소요되는 시간을 가질 수 있고, 각 촬영 변수들의 조건 만족 여부는 병렬적으로 평가될 수 있다.
도 9를 참조하여 설명하면, 기설정된 프레임 레이트에 따라 제1 이미지 프레임(IF1), 제2 이미지 프레임(IF2), 제3 이미지 프레임(IF3),...,제10 이미지 프레임(IF10)이 획득될 수 있다.
제1 촬영 변수의 만족 여부를 평가(S131)하는 동작은 매 프레임마다 수행될 수 있다. 제2 촬영 변수의 만족 여부를 평가(S132)하는 동작은 매 프레임마다 수행될 수 있다. 제N 촬영 변수의 만족 여부를 평가(S133)하는 동작은 3개의 이미지 프레임당 한번 조건 만족 여부가 평가될 수 있다.
도 9에서 설명한 주기에 따라 개별 촬영 변수에 대응되는 조건 만족 여부가 평가되면, 도 10에 도시된 테이블과 같이 조건의 만족 여부에 대한 결과가 획득될 수 있다.
제1 내지 제N 촬영 변수를 만족하였는지 판단함(S134)에 있어서, 제1 촬영 변수 내지 제N 촬영 변수가 모두 대응되는 조건을 만족하였는가를 기준으로 판단될 수 있다.
본 출원의 일 실시예에 따르면, 도 10에 도시된 것과 같이, 제1 제어부(1500)는 촬영 이미지 저장 여부를 판단할 때에 가장 최근의 제1 촬영 변수 내지 제N 촬영 변수가 만족되었는지를 기준으로 촬영 이미지 저장 여부를 판단할 수 있다. 구체적인 예를 들어, 제9 이미지 프레임(IF9)의 S131 만족 여부, 제9 이미지 프레임(IF9)의 S132 만족 여부 및 제7 이미지 프레임(IF7)의 S133 만족 여부에 기초하여, 촬영 이미지 저장여부를 결정할 수 있다.
본 출원의 다른 실시예에 따르면, 제1 제어부(1500)는 가장 최근의 정해진 주기 이내에 한번이라도 제1 촬영 변수 내지 제N 촬영 변수가 만족되었는지를 기준으로 촬영 이미지 저장 여부를 판단할 수 있다. 구체적인 예를 들어, 제7 이미지 프레임(IF7), 제8 이미지 프레임(IF8) 및 9 이미지 프레임(IF9) 중 어느 하나의 프레임의 S131 만족 여부, 제7 이미지 프레임(IF7), 제8 이미지 프레임(IF8) 및 9 이미지 프레임(IF9) 중 어느 하나의 프레임의 S132 만족 여부 및 제7 이미지 프레임(IF7)의 S133 만족 여부에 기초하여, 촬영 이미지 저장여부를 결정할 수 있다.
다시 도 6을 참조하여, 제1 내지 제N 촬영 변수가 그에 대응되는 각 조건을 만족한 것으로 판단되면, 진단 후보 이미지를 선택(S141)하여 저장(S142)할 수 있다. 진단 후보 이미지를 선택하는 것은, 촬영 이미지를 결정하는 것에 대응될 수 있다.
본 출원의 일 실시예에 따르면, 촬영 이미지(즉, 진단 후보 이미지)는 촬영 조건을 만족한 것으로 판단된 이미지일 수 있다. 도 10을 기초로 설명하면, 촬영 이미지(즉, 진단 후보 이미지)는 제7 이미지 프레임(IF7)으로 저장될 수 있다. 본 출원의 다른 실시예에 따르면 촬영 이미지(즉, 진단 후보 이미지)는 촬영 조건을 만족한 것으로 판단된 직후에 획득된 이미지일 수 있다. 도 10을 기초로 설명하면, 촬영 이미지(즉, 진단 후보 이미지)는 제10 이미지 프레임(IF10)으로 저장될 수 있다.
다시 도 6을 참조하여, 제1 내지 제N 촬영 변수가 조건을 만족하지 않은 것으로 판단되면, 촬영 조건을 판단한 이미지와 다른 이미지의 촬영 조건을 판단할 수 있다. 이 때, 촬영 조건이 판단될 다른 이미지는, 촬영 조건을 판단한 이미지의 획득 이후에 새롭게 획득된 이미지일 수 있다.
본 출원의 일 실시예에 따르면, 촬영 변수의 만족 여부가 판단될 이미지는 촬영 조건을 판단한 이미지의 다음차 이미지일 수 있다. 도 10을 기초로 설명하면, 제1 이미지 프레임(IF1)에 관한 촬영 조건을 판단한 후 제3 이미지 프레임(IF3)에 대한 촬영 조건을 판단할 수 있다. 본 출원의 다른 실시예에 따르면, 촬영 변수의 만족 여부가 판단될 이미지는, 제1 내지 제N 촬영 변수에 기초하여 촬영 조건 만족 여부를 판단한 시점 이후 처음 획득된 이미지일 수 있다. 도 10을 기초로 설명하면, 제1 이미지 프레임(IF1)에 관한 촬영 조건을 판단한 후 제4 이미지 프레임(IF4)에 대한 촬영 조건을 판단할 수 있다.
사용자 단말(1000)은 촬영 이미지가 획득되면, 서버(2000)로 획득된 촬영 이미지를 전송할 수 있다. 사용자 단말(1000)은 촬영 이미지와 제1 촬영 변수 내지 제N 촬영 변수 중 적어도 일부에 관한 정보를 함께 전송할 수 있다. 일 예로, 사용자 단말(1000)은 촬영 이미지와 검진 오브젝트(DO)의 검출 위치에 관한 정보를 함께 서버(2000)로 전송할 수 있다. 구체적인 예를 들어, 진단 후보 이미지가 "눈을 포함하는 얼굴이미지"이고, 이미지 분석 알고리즘을 통해 "눈의 위치"에 관한 정보를 획득한 경우, 눈의 위치에 관한 정보 및 눈을 포함하는 얼굴이미지를 서버로 전송할 수 있다.
도 11은 본 출원의 일 실시예에 따른 서버(2000)의 이미지 검증 동작을 설명하기 위한 순서도이다.
서버(2000)의 제2 제어부(2400)는 제2 통신부(2100)를 이용하여 진단 후보 이미지를 수신할 수 있다. 서버(2000)의 제2 제어부(2400)는 제2 통신부(2100)를 이용하여 촬영 이미지를 수신할 수 있다.
본 출원의 일 실시예에 따르면, 제2 제어부(2400)는 제2 저장부(2700)에 촬영 이미지(즉, 진단 후보 이미지) 및 촬영 이미지에 관한 사용자 단말(1000)의 검출값을 저장할 수 있다. 사용자 단말(1000)의 검출값은 촬영 변수에 관한 것일 수 있다.
서버(2000)의 제2 제어부(2400)는 검증부(2201, 2202,??2299)를 이용하여 촬영 이미지(즉, 진단 후보 이미지)에 대하여 진단 조건의 만족 여부를 판단(S220)할 수 있다.
본 출원의 일 실시예에 따르면, 진단 조건이 만족되었는지 판단하는 기준은 촬영 조건으로 판단되었던 기준의 전체 또는 일부에 대응될 수 있다. 진단 조건이 만족되었는지를 판단하는 것은, 촬영 이미지가 진단 이미지로 사용되어도 될지를 확인하기 위해 검진 오브젝트(DO)에 관한 조건이 포함되어 있다. 다만, 촬영 조건에서 판단되었던 모든 촬영 변수에 대해서 진단 조건에서 재판단이 될 필요는 없기 때문에 진단 조건이 만족되었는지 판단하는 기준은 촬영 조건으로 판단되었던 기준의 전체 또는 일부에 대응될 수 있다.
구체적인 예를 들어, 진단 조건이 만족되었는지를 판단하는 기준에서의 검진 오브젝트(DO)는 촬영 조건이 만족되었는지를 판단하는 기준에서의 검진 오브젝트(DO)와 동일 할 수 있다. 촬영 조건에서 판단된 검진 오브젝트(DO)가 '전신'이면, 진단 조건에서 판단되는 검진 오브젝트(DO)도 '전신'일 수 있다. 촬영 조건에서 판단된 검진 오브젝트(DO)가 '눈'이면, 진단 조건에서 판단되는 검진 오브젝트(DO)도 '눈'일 수 있다.
서버(2000)의 제2 제어부(2400)는 촬영 이미지(즉, 진단 후보 이미지)가 진단 조건을 만족하는 것으로 판단되면, 제2 저장부(2700)를 이용하여 해당 이미지를 진단 이미지로 저장(S230)할 수 있고, 진단부(2300)를 이용하여 진단 보조 정보를 획득할 수 있다. 서버(2000)의 제2 제어부(2400)는 촬영 이미지(즉, 진단 후보 이미지)가 진단 조건을 만족하지 않는 것으로 판단되면, 사용자 단말(S240)에 재촬영을 요청(S240)할 수 있다.
도 12는 본 출원의 일 실시예에 따른 진단 조건 만족 여부의 판단 방법(S220)을 구체적으로 설명하기 위한 도면이다.
제2 저장부(2700)에는 촬영 이미지가 진단 조건을 만족하는지 여부를 평가하기 위해 판단되어야 하는 하나 이상의 검증 변수 및 그에 대응되는 조건이 저장되어 있을 수 있다. 진단 조건을 만족하는지 판단(S220)할 때에 평가되는 검증 변수는 검진 오브젝트(DO)와 관련된 하나의 검증 변수 일 수 있고, 또는 적어도 일부의 변수가 검진 오브젝트(DO)와 관련되어 있는 복수의 검증 변수일 수 있다.
본 출원의 일 실시예에 따르면, 검진 오브젝트(DO)와 관련된 검증 조건은 검진 오브젝트(DO)가 온전히 검출되는것에 관한 것일 수 있다. 예를 들어, 검진 오브젝트(DO)가 '눈'인 경우, 제2 제어부(2400)는 촬영 이미지에서 눈이 온전히(즉, 전체로) 검출되는가를 평가할 수 있다. 다른 예를 들어, 제2 제어부(2400)는 검진 오브젝트(DO)가 '전신'인 경우, 촬영 이미지에서 정해진 관절이 모두 검출되는가를 평가할 수 있다.
본 출원의 일 실시예에 따르면, 검진 오브젝트(DO)와 관련된 검증 조건은 검진 오브젝트(DO)와 사용자 단말(1000)에서 수신된 촬영 변수를 비교하는 형태로 판단될 수 있다. 일 예로, 검진 오브젝트(DO)와 관련된 검증 조건은 촬영 조건 판단 단계에서 획득된 검진 오브젝트(DO)의 검출 영역과 검증 조건 판단 단계에서 획득된 검진 오브젝트(DO)의 검출 영역이 임계치 이내로 차이날 때 만족되는 것으로 설정될 수 있다.
구체적인 예를 들어, 검진 오브젝트(DO)가 '눈'인 경우, 제2 제어부(2400)는 사용자 단말(1000)에서 검출된 눈의 외곽선이 서버(2000)에서 검출된 눈의 외곽선과 임계치 이내로 차이나는 위치에 존재하는가를 평가할 수 있다.
도 13은 본 출원의 일 실시예에 따른 검증 변수를 설명하기 위한 도면이다.
제1 검증 변수(VP1)가 랜드마크 검출 알고리즘의 구동으로 획득되는 이미지 상의 눈의 랜드마크인 경우, 도 13에 도시된 바와 같이 촬영 이미지에서의 양 눈의 랜드마크가 제1 검증 변수(VP1)로 획득될 수 있다.
제2 제어부(2400)는 제1 검증 변수(VP1)와 제1 촬영 변수(DP1)을 비교할 수 있다. 구체적인 예를 들어, 검진 오브젝트(DO)가 '눈'인 경우, 제2 제어부(2400)는 제1 검증 변수(VP1)로 검출된 눈의 외곽선이 사용자 단말(1000)에서 제1 촬영 변수(DP1)로 검출된 눈의 외곽선에 포함되는가를 평가할 수 있다.
또는, 제2 제어부(2400)는 제1 검증 변수(VP1)와 제1 촬영 변수(DP1)를 평가할 때에 기준이 되었던 영역을 비교할 수 있다. 구체적인 예를 들어, 검진 오브젝트(DO)가 '눈'인 경우, 제2 제어부(2400)는 제1 검증 변수(VP1)로 검출된 눈의 외곽선의 중앙이 홍채의 위치로 저장된 영역을 포함하는가를 평가할 수 있다.
본 출원의 일 실시예에 따르면, 진단 조건을 만족하는지 판단(S220)할 때에 평가되는 검증 변수는 촬영 품질등에 관한 일반적인 지표를 포함할 수 있다. 일 예로, 제2 제어부(2400)는 촬영 이미지가 촬영 당시의 사용자 단말(1000)의 이동 등을 이유로 흔들린 영역을 포함하는지를 평가할 수 있다.
서버(2000)에서 이용되는 알고리즘은 사용자 단말(1000)에서 이용되는 알고리즘에 비해 연산량이 클 수 있다. 이는, 사용자 단말(1000)에서 촬영 변수를 판단할 때에는 실시간 촬영이 수행되는바 과도한 연산량이 필요한 알고리즘은 구동되기에 적합하지 않기 때문에, 그 결과, 진단 이미지를 획득하는 과정에서는 촬영 변수로 분석되었던 검진 오브젝트(DO)를 서버(2000)에서 다시 분석하여 정확한 사진을 획득하게 된다.
본 출원의 일 실시예에 따르면, 서버(2000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘은 사용자 단말(1000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘과 다른 종류의 이미지 분석 알고리즘 일 수 있다. 구체적인 예를 들어, 서버(2000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘은 영상 분할 알고리즘이고, 사용자 단말(1000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘은 랜드마크 검출 알고리즘일 수 있다.
본 출원의 다른 실시예에 따르면, 서버(2000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘은 사용자 단말(1000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘과 동일한 종류의 이미지 분석 알고리즘이되, 사용자 단말(1000)에서의 이미지 분석 알고리즘의 연산량이 서버(2000)에서의 이미지 분석 알고리즘의 연산량에 비해 작을 수 있다. 구체적인 예를 들어, 서버(2000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘은 dlib의 get_frontal_face_detector을 랜드마크 검출을 위해 이용할 수 있고, 사용자 단말(1000)에서의 검진 오브젝트(DO)를 검출하는 이미지 분석 알고리즘은Google의 ML kit - face detection을 랜드마크 검출을 위해 이용할 수 있으나, 이에 한정되지 않는다.
다시 도 12을 참조하면, 촬영 이미지가 진단 조건을 만족하는지 판단(S220)할 때에, 기 정해진 검증 변수 들의 만족 여부가 각각 평가될 수 있다.
구체적인 예를 들어, 제2 제어부(2400)는 제1 검증부(2201)를 이용하여 촬영 이미지를 분석하고, 제1 검증 변수를 획득하여, 제1 검증 변수에 대응되는 제1 검증 조건의 만족 여부를 평가(S221)할 수 있다.
제2 제어부(2400)는 제2 검증부(2202)를 이용하여 촬영 이미지를 분석하고, 제2 검증 변수를 획득하여, 제2 검증 변수에 대응되는 제2 검증 조건의 만족 여부를 평가(S222)할 수 있다.
제2 제어부(2400)는 제M 검증부(2299)를 이용하여 촬영 이미지를 분석하고, 제M 검증 변수를 획득하여, 제M 검증 변수에 대응되는 제M 검증 조건의 만족 여부를 평가(S223)할 수 있다.
제1 검증 변수에 대응되는 제1 검증 조건의 만족 여부(S221), 제2 검증 변수에 대응되는 제2 검증 조건의 만족 여부(S222), ?? 제M 검증 변수에 대응되는 제M 검증 조건의 만족 여부(S223)는 순차적으로 판단될 수 있고, 또는 병렬적으로 판단될 수 있다.
제1 검증 변수 내지 제M 검증 변수가 모두 만족한 것으로 판단되면, 제2 제어부 (1500)는 촬영 이미지를 진단 이미지로 저장(S230)할 수 있다. 진단 이미지를 저장한다는 것은, 촬영 이미지를 진단 보조 정보를 획득할 대상 이미지로 결정한다는 것을 의미할 수 있고, 또는 촬영 이미지를 진단 보조 정보의 획득에 필요한 전처리를 가하여 저장한다는 것을 의미할 수 있다.
촬영 이미지가 진단 보조 정보를 획득할 대상 이미지로 결정되면, 서버(2000)에서 진단부(2300)를 통해 대상 이미지에 관한 진단 보조 정보를 획득할 수 있으나, 이에 한정되지 않고, 의사가 원격진료를 수행할 수 있도록 의사에게 전송하여 주는 형태의 구현도 가능하다.
본 출원의 다른 실시예에 따르면, 대상 이미지를 진단 이미지로 사용할 때에, 검진 오브젝트(DO)와 연관된 검증 변수를 참조하여 이미지를 크롭(crop)하여 저장할 수 있는데, 이에 관한 구체적인 설명은 아래의 도 14를 통해 기재하기로 한다.
본 출원의 일 실시예에 따르면 제1 내지 제M 검증 변수가 조건을 만족하지 않은 것으로 판단되면, 사용자 단말(1000)에 재촬영을 요청할 수 있다. 본 출원의 다른 실시예에 따르면, 제1 내지 제M 검증 변수가 조건을 만족하지 않은 것으로 판단되었으나, 사용자 단말(1000)에서 검출된 검진 오브젝트(DO)의 위치와 서버(2000)에서 검출된 검진 오브젝트(DO)의 위치가 미미하게 차이나는 것으로 판단될 때, 기준 영역에 서버(2000)에서 검출된 검진 오브젝트(DO)의 위치가 배치되도록 평행 이동하는 형태로 촬영 이미지에 대한 후처리를 수행할 수도 있다.
도 14는 본 출원의 일 실시예에 따른 진단 이미지의 저장 및 그를 이용한 진단 보조 정보의 획득 동작을 설명하기 위한 도면이다.
제2 제어부(2400)는 촬영 이미지에 대하여 전처리를 수행하여(S231) 진단 이미지를 획득하고, 획득된 진단 이미지를 저장(S232)할 수 있다. 또한, 제2 제어부(2400)는 진단 이미지를 진단 알고리즘에 적용하여, 대상 질병에 관한 정보를 획득할 수 있다.
촬영 이미지에 대하여 수행되는 전처리는, 검진 오브젝트(DO) 영역 이외의 영역이 진단 알고리즘에의 노이즈로 사용되지 않도록 크롭(crop)하는 형태일 수 있다.
제2 제어부(2400)는 검진 오브젝트(DO)에 관한 검증 변수에 기초하여 진단 이미지를 전처리(S231)할 수 있다. 구체적인 예를 들어, 제2 제어부(2400)는 검진 오브젝트(DO)에 관한 검증 변수인 제1 검증 변수(VP1)을 참고하여, 검진 오브젝트(DO)가 포함되는 영역만 남도록 크롭(crop)하여 진단 이미지를 획득할 수 있다. 또는, 제2 제어부(2400)는 검진 오브젝트(DO)에 관한 검증 변수 및 검진 오브젝트(DO)에 관한 촬영 변수에 기초하여 진단 이미지를 전처리(S231)할 수 있다.
지금까지, 진단에 이용되는 진단 이미지를 획득하는 구체적인 방법에 대해서 개시한 바 있다. 상술한 진단 이미지를 획득하는 방법은, 이미지를 분석하여 질병에 관한 정보를 획득하는 진단 장치에는 어디에나 적용될 수 있음은 물론이다.
이하에서는, 상술한 진단 이미지 획득 방법에 관한 이해를 돕기 위해 몇몇 구체적인 실시예를 들어 본 출원에서 개시하는 기술적 사상을 명확히 하기로 한다.
사용자 단말(1000)은 적어도 제1 촬영 변수가 제1 촬영 조건을 만족하였는지를 평가할 수 있다. 제1 촬영 변수는 검진 오브젝트(DO)에 관한 것일 수 있다. 사용자 단말(1000)은 프리뷰 이미지를 기초로 제1 촬영 변수를 획득하고, 획득된 제1 촬영 변수가 제1 촬영 조건을 만족하였는지 평가할 수 있다.
제1 촬영 변수를 획득할 때에, 제1 이미지 분석 알고리즘을 사용할 수 있다. 제1 이미지 분석 알고리즘은 이미지에 검진 오브젝트(DO)를 라벨링하여 학습시킨 검출 모델일 수 있다.
사용자 단말(1000)은 프리뷰 이미지를 기초로 제1 촬영 변수를 획득하고, 획득된 제1 촬영 변수가 제1 촬영 조건을 만족하였는지 평가하여, 제1 촬영 조건을 만족하였다고 평가되는 경우 촬영 이미지를 획득할 수 있다.
사용자 단말(1000)은 촬영 이미지와 제1 이미지 분석 알고리즘의 분석값을 서버(2000)로 전송할 수 있다.
서버(2000)는 적어도 제1 검증 변수가 제1 검증 조건을 만족하였는지를 평가할 수 있다. 제1 검증 변수는 검진 오브젝트(DO)에 관한 것일 수 있다. 서버(2000)는 촬영 이미지를 기초로 제1 검증 변수를 획득하고, 획득된 제1 검증 변수가 제1 검증 조건을 만족하였는지 평가할 수 있다.
제1 검증 변수를 획득할 때에, 제2 이미지 분석 알고리즘을 사용할 수 있다. 제2 이미지 분석 알고리즘은 이미지에 검진 오브젝트(DO)를 라벨링하여 학습시킨 검출 모델일 수 있다.
서버(2000)는 촬영 이미지를 기초로 제1 검증 변수를 획득하고, 획득된 제1 검증 변수가 제1 검증 조건을 만족하였는지를 평가하여, 제1 검증 조건을 만족하였다고 평가되는 경우 진단 이미지로 저장할 수 있다.
도 15는 본 출원의 일 실시예에 따른 안질환에 관한 이미지 획득 방법을 설명하기 위한 도면이다.
본 출원의 일 실시예에 따르면, 제1 이미지 분석 알고리즘은 제1 랜드마크 검출 알고리즘이고, 대상 안질병은 갑상선 안병증, 상기 검진 오브젝트(DO)는 눈이며, 상기 제1 촬영 변수는 눈의 랜드마크일 수 있다. 상기 제1 촬영 변수는 제1 랜드마크 검출 알고리즘을 통해 획득된 얼굴의 랜드마크 중 눈의 랜드마크로 선택되는 것일 수 있고, 또는, 제1 랜드마크 알고리즘을 통해 눈의 랜드마크만 획득하는 것일 수 있다(도 15(a) 참조). 상기 제2 이미지 분석 알고리즘은 제2 랜드마크 검출 알고리즘이고, 대상 안질병은 갑상선 안병증, 상기 검진 오브젝트(DO)는 눈이며, 상기 제1 검증 변수는 눈의 랜드마크일 수 있다. 마찬가지로 상기 제1 검증 변수는 제2 랜드마크 검출 알고리즘을 통해 획득된 얼굴의 랜드마크 중 눈의 랜드마크로 선택되는 것일 수 있고, 또는, 제1 랜드마크 알고리즘을 통해 눈의 랜드마크만 획득하는 것일 수 있다.
이 때, 제1 촬영 조건은 제1 랜드마크 검출 알고리즘을 통해 획득된 눈의 랜드마크와 기저장된 눈의 영역을 비교하여, 임계치 이내로 차이나는 것으로 설정될 수 있다.
이 때, 제1 검증 조건은 제1 랜드마크 검출 알고리즘을 통해 획득된 눈의 랜드마크와 제2 랜드마크 검출 알고리즘을 통해 획득된 눈의 랜드마크를 비교하여, 임계치 이내로 차이나는 것으로 설정될 수 있다.
본 출원의 다른 실시예에 따르면, 제1 이미지 분석 알고리즘은 제1 랜드마크 검출 알고리즘이고, 대상 안질병은 갑상선 안병증, 상기 검진 오브젝트(DO)는 눈이며, 상기 제1 촬영 변수는 눈의 랜드마크일 수 있다. 상기 제1 촬영 변수는 제1 랜드마크 검출 알고리즘을 통해 획득된 얼굴의 랜드마크 중 눈의 랜드마크로 선택되는 것일 수 있고, 또는, 제1 랜드마크 알고리즘을 통해 눈의 랜드마크만 획득하는 것일 수 있다(도 15(a) 참조). 상기 제2 이미지 분석 알고리즘은 영상 분할 알고리즘이고 대상 안질병은 갑상선 안병증, 상기 검진 오브젝트(DO)는 눈이며, 상기 제1 검증 변수는 영상 분할 알고리즘을 이용하여 예측된 홍채 영역일 수 있다(도 15(b) 참조).
이 때, 제1 촬영 조건은 제1 랜드마크 검출 알고리즘을 통해 획득된 눈의 랜드마크과 기저장된 눈의 영역을 비교하여, 임계치 이내로 차이나는 것으로 설정될 수 있다.
이 때, 제1 검증 조건은 제1 랜드마크 검출 알고리즘을 통해 획득된 눈의 랜드마크의 내부에 영상 분할 알고리즘을 이용하여 예측된 홍채의 영역의 중심이 포함되는 것으로 설정될 수 있다.
본 출원의 일 실시예에 따르면, 진단 이미지를 기초로 진단 보조 정보를 획득하는 진단 모듈은 상술한 절차를 통해 검증된 이미지를 이용하여 학습된 것일 수 있다. 다시 말해, 진단 모듈을 학습시킬 때에도 상술한 이미지 검증 방법을 통해 이미지를 획득하면 보다 일관성 있는 데이터를 이용하여 진단 모듈을 학습시켜 정확도를 향상시킬 수 있다.
도 16은 본 출원의 일 실시예에 따른 신체 균형 이상에 관한 이미지 획득 방법을 설명하기 위한 도면이다.
본 출원의 일 실시예에 따르면, 제1 이미지 분석 알고리즘은 오브젝트 검출 알고리즘이고, 대상 질병은 신체 균형 이상, 상기 검진 오브젝트(DO)는 전신이며, 상기 제1 촬영 변수는 전신에 대응되는 바운딩 박스일 수 있다(도 16(a) 참조). 상기 제2 이미지 분석 알고리즘은 오브젝트 검출 알고리즘이고, 대상 질병은 신체 균형 이상, 상기 검진 오브젝트(DO)는 전신이며, 상기 제1 검증 변수는 전신에 대응되는 바운딩 박스일 수 있다.
이 때, 제1 촬영 조건은 제1 이미지 분석 알고리즘을 통해 획득된 바운딩 박스와 기저장된 전신의 영역을 비교하여, 임계치 이내로 차이나는 것으로 설정될 수 있다.
이 때, 제1 검증 조건은 제2 이미지 분석 알고리즘을 통해 획득된 바운딩 박스와 제1 이미지 분석 알고리즘을 통해 획득된 바운딩 박스를 비교하여, 임계치 이내로 차이나는 것으로 설정될 수 있다.
본 출원의 다른 실시예에 따르면, 제1 이미지 분석 알고리즘은 오브젝트 검출 알고리즘이고, 대상 질병은 신체 균형 이상, 상기 검진 오브젝트(DO)는 전신이며, 상기 제1 촬영 변수는 전신에 대응되는 바운딩 박스일 수 있다(도 16(a) 참조). 상기 제2 이미지 분석 알고리즘은 포즈 검출 알고리즘이고, 대상 질병은 신체 균형 이상, 상기 검진 오브젝트(DO)는 전신이며, 상기 제1 검증 변수는 관절에 대응되는 라인일 수 있다.
이 때, 제1 촬영 조건은 제1 이미지 분석 알고리즘을 통해 획득된 바운딩 박스와 기저장된 전신의 영역을 비교하여, 임계치 이내로 차이나는 것으로 설정될 수 있다.
이 때, 제1 검증 조건은 제2 이미지 분석 알고리즘을 통해 획득된 관절에 대응되는 라인이 제1 이미지 분석 알고리즘을 통해 획득된 바운딩 박스 내부에 위치하는 것으로 설정될 수 있다.
따로 도시하지는 않았으나, 이에 한정되지 않고, 뇌졸중 진단을 위해 얼굴의 특징점들의 검출 여부를 사용자 단말(1000) 및 서버(2000)에서 판단하거나, 사용자 단말(1000)에서 얼굴의 특징점들의 검출 여부를 판단하고 서버(2000)에서 얼굴의 특징점들을 기초로 특정 부위의 종횡비를 확인하는 형태로 구현될 수 있고, 이에 한정되지 않는다.
또한, 본 명세서에서 발명 컨셉을 설명함에 있어서, 사용자 단말(1000)이 이미지 촬영을, 서버(2000)가 이미지 검증을 수행하는 것으로 나누어 설명하였으나, 이는 설명의 편의를 위하여 하나의 케이스를 들어 설명한 것일 뿐 본 명세서에 개시된 동작을 사용자 단말(1000)에서 모두 수행하거나, 이미지 획득 및 저장만을 사용자 단말(1000)에서 수행하고 촬영 변수가 기준을 만족하는지 및 검증 변수가 기준을 만족하는지에 대하여 서버(2000)가 판단하는 형태로 구현될 수 있고, 이에 한정되지 않는다.
또한, 본 명세서에서 발명 컨셉을 설명함에 있어서, 촬영 장치(1000)를 사용자 단말로 들어 설명하였으나, 이는 설명의 편의를 위하여 하나의 케이스를 들어 설명한 것일 뿐 촬영 장치(1000)는 이미지 촬영을 하는 사용자 단말일 수 있고, 또는, 안저 이미지나 엑스레이 이미지 등을 촬영하는 사용자 단말일 수 있고, 또는, 사용자 단말이 아닌 별도의 의료 장치일 수 있다.
상기 실시예들에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 출원의 실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 명세서에서 개시하는 기술적 사상이나 그 실시예가 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 출원의 범위(scope)는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.
1000: 촬영 장치, 사용자 단말
2000: 서버
DO: 검진 오브젝트
IF: 촬영 변수
VF: 검증 변수

Claims (31)

  1. 이미지를 촬영하는 사용자 단말과 이미지에 기초하여 진단 보조 정보를 획득하는 서버를 포함하는 진단 시스템에 있어서,
    상기 사용자 단말은,
    이미지를 제1 이미지 분석 알고리즘으로 분석하여 검진 오브젝트의 검출 위치 및 검출 여부 중 적어도 하나에 관한 정보를 포함하는 제1 촬영 변수를 획득하고, 상기 제1 촬영 변수가 기저장된 조건을 만족하는지를 판단하여 상기 제1 촬영 변수 및 촬영 이미지를 서버로 전송하고,
    상기 서버는,
    상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 상기 검진 오브젝트의 검출 위치 및 검출 여부 중 적어도 하나에 관한 정보를 포함하는 제1 검증 변수를 획득하고, 상기 제1 검증 변수 및 상기 제1 촬영 변수를 비교하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정하고, 사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득하고,
    상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고,
    상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 상기 검진 오브젝트에 관한 분석 값을 출력하고,
    상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위인,
    진단 시스템.
  2. 제1 항에 있어서,
    상기 제1 촬영 변수는 대상 이미지에서의 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고,
    상기 사용자 단말은 상기 제1 촬영 변수 및 기 저장된 검진 오브젝트 영역을 비교하여 상기 기저장된 조건을 만족하는지를 판단하는,
    진단 시스템.
  3. 제2 항에 있어서,
    상기 제1 이미지 분석 알고리즘은 제1 랜드마크 검출 알고리즘이고,
    상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 촬영 변수는 눈의 랜드마크인,
    진단 시스템.
  4. 제2 항에 있어서,
    상기 제1 검증 변수는 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고,
    상기 서버는 상기 제1 촬영 변수 및 상기 제1 검증 변수를 비교하여 진단 이미지로의 사용 여부를 결정하는,
    진단 시스템.
  5. 제4 항에 있어서,
    상기 제2 이미지 분석 알고리즘은 제2 랜드마크 검출 알고리즘이고,
    상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 눈의 랜드마크인,
    진단 시스템.
  6. 제4 항에 있어서,
    상기 제2 이미지 분석 알고리즘은 영상 분할 알고리즘이고,
    상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 홍채 영역인,
    진단 시스템.
  7. 제1 항에 있어서,
    상기 사용자 단말은 기설정된 프레임 레이트에 따라 이미지를 획득하고, 상기 획득된 이미지의 적어도 일부를 상기 제1 이미지 분석 알고리즘으로 분석하며, 상기 획득된 이미지 중 하나의 이미지를 촬영 이미지로 저장하여 서버로 전송하는,
    진단 시스템.
  8. 제7 항에 있어서,
    상기 사용자 단말은
    제1 이미지가 획득되면 상기 제1 이미지를 상기 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득하고,
    상기 제1 이미지의 상기 제1 촬영 변수가 기저장된 조건을 만족하지 않는 것으로 판단되면,
    판단된 이후에 획득된 제2 이미지를 상기 제1 이미지 분석 알고리즘으로 분석하는,
    진단 시스템.
  9. 제7 항에 있어서,
    상기 사용자 단말은
    제1 이미지가 획득되면 상기 제1 이미지를 상기 제1 이미지 분석 알고리즘으로 분석하여 제1 촬영 변수를 획득하고,
    상기 제1 이미지의 상기 제1 촬영 변수가 기저장된 조건을 만족하는 것으로 판단되면,
    판단된 이후에 획득된 제2 이미지를 서버로 전송하는,
    진단 시스템.
  10. 제1 항에 있어서,
    상기 제1 이미지 분석 알고리즘은 실시간 처리에 유리하도록 상기 제2 이미지 분석 알고리즘에 비해 연산량이 적은 것을 특징으로 하는,
    진단 시스템.
  11. 제1 항에 있어서,
    상기 사용자 단말은,
    이미지에 대한 제2 촬영 변수를 획득하고, 상기 제1 및 제2 촬영 변수가 각 촬영 변수에 대하여 기저장된 조건을 만족하는지 판단하는,
    진단 시스템.
  12. 제11항에 있어서,
    상기 사용자 단말은,
    상기 제1 촬영 변수를 획득하는 주기와 상기 제2 촬영 변수를 획득하는 주기가 상이한,
    진단 시스템.
  13. 제1 항에 있어서,
    상기 사용자 단말은,
    이미지에 대한 제2 내지 제N 촬영 변수를 획득하고, 상기 제1 내지 제N 촬영 변수가 기저장된 조건을 만족하는지 판단하는-여기서, 상기 N은 2이상의 자연수임-,
    진단 시스템.
  14. 제13 항에 있어서,
    상기 서버는,
    이미지에 대한 제2 내지 제M 검증 변수를 획득하고, 상기 제1 내지 제M 검증 변수에 기초하여 진단 이미지로의 사용 여부를 결정하는-여기서, 상기 M은 2이상의 자연수임-,
    진단 시스템.
  15. 제1 항에 있어서,
    상기 서버는 상기 촬영 이미지 및 진단 모델을 이용하여 진단 보조 정보를 획득하고,
    상기 진단 모델은, 상기 검진 오브젝트를 포함하는 이미지 및 상기 대상 질병의 발병 여부에 관한 정보를 이용하여 학습된,
    진단 시스템.
  16. 하나 이상의 프로세서에 의해 수행되는 진단 이미지 검증 방법에 있어서,
    이미지를 획득함;
    획득된 이미지를 제1 이미지 분석 알고리즘으로 분석하여 검진 오브젝트의 검출 위치 및 검출 여부 중 적어도 하나에 관한 정보를 포함하는 제1 촬영 변수를 획득함;
    상기 제1 촬영 변수가 기저장된 조건을 만족하는지 판단함;
    상기 제1 촬영 변수가 기 저장된 조건을 만족하는지에 기초하여 촬영 이미지를 저장함;
    상기 촬영 이미지를 제2 이미지 분석 알고리즘으로 분석하여 상기 검진 오브젝트의 검출 위치 및 검출 여부 중 적어도 하나에 관한 정보를 포함하는 제1 검증 변수를 획득함;
    상기 제1 검증 변수 및 상기 제1 촬영 변수를 비교하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함;및
    사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득함;을 포함하고,
    상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 다른 알고리즘이고,
    상기 제1 이미지 분석 알고리즘과 상기 제2 이미지 분석 알고리즘은 검진 오브젝트에 관한 분석 값을 출력하고,
    상기 검진 오브젝트는 상기 진단 보조 정보를 획득하는 대상 질병과 연관된 신체 부위인,
    진단 이미지 검증 방법.
  17. 제16 항에 있어서,
    상기 제1 촬영 변수는 대상 이미지에서의 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고,
    상기 제1 촬영 변수가 기저장된 조건을 만족하는지 판단함은,
    상기 제1 촬영 변수 및 기 저장된 검진 오브젝트 영역을 비교하여 기저장된 조건을 만족하는지 판단함을 포함하는,
    진단 이미지 검증 방법.
  18. 제17 항에 있어서,
    상기 제1 이미지 분석 알고리즘은 제1 랜드마크 검출 알고리즘이고,
    상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 촬영 변수는 눈의 랜드마크인,
    진단 이미지 검증 방법.
  19. 제17 항에 있어서,
    상기 제1 검증 변수는 대상 이미지에서의 상기 검진 오브젝트의 검출 위치에 관한 정보를 포함하고,
    상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함은,
    상기 제1 촬영 변수 및 상기 제1 검증 변수를 비교하여 진단 이미지로의 사용 여부를 결정함을 포함하는,
    진단 이미지 검증 방법.
  20. 제19 항에 있어서,
    상기 제2 이미지 분석 알고리즘은 제2 랜드마크 검출 알고리즘이고,
    상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 눈의 랜드마크인,
    진단 이미지 검증 방법.
  21. 제19 항에 있어서,
    상기 제2 이미지 분석 알고리즘은 영상 분할 알고리즘이고,
    상기 대상 질병은 갑상선 안병증, 상기 검진 오브젝트는 눈이며, 상기 제1 검증 변수는 홍채 영역인,
    진단 이미지 검증 방법.
  22. 제16 항에 있어서,
    이미지를 획득함은, 상기 제1 촬영 변수가 기저장된 조건을 만족한 것으로 판단될때까지 기설정된 프레임 레이트에 따라 반복적으로 수행되는,
    진단 이미지 검증 방법.
  23. 제22 항에 있어서,
    제1 이미지가 획득되면 상기 제1 이미지의 제1 촬영 변수가 기저장된 조건을 만족하는지 판단하고,
    상기 제1 이미지의 상기 제1 촬영 변수가 기저장된 조건을 만족하지 않는 것으로 판단되면, 판단된 이후 획득된 제2 이미지의 제1 촬영 변수가 기저장된 조건을 만족하는지 판단하는,
    진단 이미지 검증 방법.
  24. 제22 항에 있어서,
    제1 이미지가 획득되면 상기 제1 이미지의 제1 촬영 변수가 기저장된 조건을 만족하는지 판단하고,
    상기 제1 이미지의 상기 1 촬영 변수가 기저장된 조건을 만족하는 것으로 판단되면, 판단된 이후 획득된 제2 이미지를 저장하는,
    진단 이미지 검증 방법.
  25. 제16 항에 있어서,
    상기 제1 이미지 분석 알고리즘은 실시간 처리에 유리하도록 상기 제2 이미지 분석 알고리즘에 비해 연산량이 적은 것을 특징으로 하는,
    진단 이미지 검증 방법.
  26. 제16 항에 있어서,
    상기 이미지를 획득함 이후에,
    상기 이미지에 대한 제2 촬영 변수를 획득함;을 더 수행하고,
    상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함은,
    상기 제1 촬영 변수 및 상기 제2 촬영 변수가 각 촬영 변수에 대하여 기저장된 조건을 만족하는지 판단함을 포함하는,
    진단 이미지 검증 방법.
  27. 제26항에 있어서,
    상기 제1 촬영 변수를 획득하는 주기와 상기 제2 촬영 변수를 획득하는 주기가 상이한,
    진단 이미지 검증 방법.
  28. 제16항에 있어서,
    상기 이미지를 획득함 이후에,
    상기 이미지에 대한 제2 내지 제N 촬영 변수를 획득함-여기서, 상기 N은 2 이상의 자연수임-;을 더 수행하고,
    상기 제1 내지 제N 촬영 변수가 기 저장된 조건을 만족하는지에 기초하여 촬영 이미지를 저장함은,
    제1 촬영 변수 내지 상기 제N 촬영 변수가 각 촬영 변수에 대하여 기저장된 조건을 만족하는지 판단함을 포함하는,
    진단 이미지 검증 방법.
  29. 제28 항에 있어서,
    상기 촬영 이미지에 대하여 제2 내지 제M 검증 변수를 획득함을 더 수행하고-여기서, 상기 M은 2이상의 자연수임-,
    상기 제1 검증 변수에 기초하여 상기 촬영 이미지의 진단 이미지로의 사용 여부를 결정함은,
    상기 제1 내지 제M 검증 변수에 기초하여 진단 이미지로의 사용 여부를 결정함을 포함하는,
    진단 이미지 검증 방법.
  30. 제16 항에 있어서,
    사용이 결정된 경우 상기 촬영 이미지를 이용하여 진단 보조 정보를 획득함은,
    상기 촬영 이미지 및 진단 모델을 이용하여 진단 보조 정보를 획득함을 포함하고,
    상기 진단 모델은, 상기 검진 오브젝트를 포함하는 이미지 및 상기 대상 질병의 발병 여부에 관한 정보를 이용하여 학습된,
    진단 이미지 검증 방법.
  31. 제16항 내지 제30항 중 어느 한항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020220034726A 2022-03-21 2022-03-21 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체 KR102459723B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020220034726A KR102459723B1 (ko) 2022-03-21 2022-03-21 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
KR1020220117744A KR20230137221A (ko) 2022-03-21 2022-09-19 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
EP23714462.1A EP4281980A1 (en) 2022-03-21 2023-03-16 Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
JP2023540576A JP2024514994A (ja) 2022-03-21 2023-03-16 画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体
PCT/KR2023/003497 WO2023182727A1 (en) 2022-03-21 2023-03-16 Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
US18/130,464 US11972603B2 (en) 2022-03-21 2023-04-04 Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220034726A KR102459723B1 (ko) 2022-03-21 2022-03-21 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220117744A Division KR20230137221A (ko) 2022-03-21 2022-09-19 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체

Publications (1)

Publication Number Publication Date
KR102459723B1 true KR102459723B1 (ko) 2022-10-27

Family

ID=83810509

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220034726A KR102459723B1 (ko) 2022-03-21 2022-03-21 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
KR1020220117744A KR20230137221A (ko) 2022-03-21 2022-09-19 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220117744A KR20230137221A (ko) 2022-03-21 2022-09-19 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체

Country Status (2)

Country Link
KR (2) KR102459723B1 (ko)
WO (1) WO2023182727A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182727A1 (en) * 2022-03-21 2023-09-28 Thyroscope Inc. Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
US11972603B2 (en) 2022-03-21 2024-04-30 Thyroscope Inc. Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044209A (ko) 2018-10-11 2020-04-29 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
KR20210110541A (ko) 2019-06-25 2021-09-08 서울대학교병원 인공 지능 기반 진단 보조 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090143685A1 (en) * 2007-11-13 2009-06-04 The Regents Of The University Of Michigan Method and Apparatus for Detecting Diseases Associated with the Eye
KR20140088434A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 환자별 특성을 기반으로 한 ｍｒｉ 다변수 영상 획득 지원 장치 및 방법
KR20200105079A (ko) * 2019-02-28 2020-09-07 모니터코퍼레이션 주식회사 의료 영상용 게이트웨이 장치
KR20210085542A (ko) 2019-12-30 2021-07-08 (주)자이닉스 Lrs를 이용한 분석 시스템
KR102274330B1 (ko) 2020-09-18 2021-07-07 가천대학교 산학협력단 뇌졸중 정도의 진단을 위한 얼굴이미지 분석방법 및 시스템
KR102459723B1 (ko) * 2022-03-21 2022-10-27 주식회사 타이로스코프 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200044209A (ko) 2018-10-11 2020-04-29 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
KR20210110541A (ko) 2019-06-25 2021-09-08 서울대학교병원 인공 지능 기반 진단 보조 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182727A1 (en) * 2022-03-21 2023-09-28 Thyroscope Inc. Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
US11972603B2 (en) 2022-03-21 2024-04-30 Thyroscope Inc. Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon

Also Published As

Publication number Publication date
WO2023182727A1 (en) 2023-09-28
KR20230137221A (ko) 2023-10-04

Similar Documents

Publication Publication Date Title
KR102459723B1 (ko) 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
EP3477589B1 (en) Method of processing medical image, and medical image processing apparatus performing the method
US9489574B2 (en) Apparatus and method for enhancing user recognition
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
KR20190088375A (ko) 수술영상데이터 학습시스템
CN108875452A (zh) 人脸识别方法、装置、系统和计算机可读介质
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
US20070127781A1 (en) Animal eye biometrics
KR101978548B1 (ko) 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체
KR102241804B1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
CN109285602A (zh) 用于自我检查用户眼睛的主模块、系统和方法
CA3110581C (en) System and method for evaluating the performance of a user in capturing an image of an anatomical region
CN117897778A (zh) 用于获取侧面图像以进行眼睛突出分析的方法、执行方法的图像捕获设备和记录介质
US20240090805A1 (en) Method, device and system for rehabilitating cognitive function by using virtual object model
KR101984993B1 (ko) 사용자 맞춤형 시표 제어가 가능한 시야검사기
US20230284968A1 (en) System and method for automatic personalized assessment of human body surface conditions
US11972603B2 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
US20220054006A1 (en) Using infrared to detect proper eye alignment before capturing retinal images
KR100686517B1 (ko) 동공 모양 모델링 방법
KR20210054140A (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
US20230225651A1 (en) Cognitive function test server and method
US20240164757A1 (en) Deep learning-based real-time eye-gaze tracking for portable ultrasound method and apparatus
KR102312358B1 (ko) 사용자가 수행한 호흡 미션 결과를 이용한 경도인지 장애 진단 및 훈련 시스템
US20240013431A1 (en) Image capture devices, systems, and methods
KR102464887B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant