JP2024514994A - 画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体 - Google Patents

画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体 Download PDF

Info

Publication number
JP2024514994A
JP2024514994A JP2023540576A JP2023540576A JP2024514994A JP 2024514994 A JP2024514994 A JP 2024514994A JP 2023540576 A JP2023540576 A JP 2023540576A JP 2023540576 A JP2023540576 A JP 2023540576A JP 2024514994 A JP2024514994 A JP 2024514994A
Authority
JP
Japan
Prior art keywords
image
diagnostic
parameters
verification
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023540576A
Other languages
English (en)
Inventor
キュボ シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thyroscope Inc
Original Assignee
Thyroscope Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220034726A external-priority patent/KR102459723B1/ko
Application filed by Thyroscope Inc filed Critical Thyroscope Inc
Publication of JP2024514994A publication Critical patent/JP2024514994A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/4227Evaluating particular parts, e.g. particular organs endocrine glands, i.e. thyroid, adrenals, hypothalamic, pituitary
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endocrinology (AREA)
  • Urology & Nephrology (AREA)
  • Evolutionary Computation (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)

Abstract

診断システムを提供する。この診断システムは、画像を撮るように構成されたユーザー端末と、前記画像に基づいて診断支援情報を取得するように構成されたサーバーとを備える。前記ユーザー端末は、第1撮影パラメーターを取得し、予め記憶された条件が満たされているか否かを決定し、前記予め記憶された条件が満たされていると決定すると、前記第1撮影パラメーター及びキャプチャーされた画像を前記サーバーに送信するように構成される。前記サーバーは、第1検証パラメーターを取得し、前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定し、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、前記診断支援情報を取得するように構成される。

Description

一実施形態は、疾患診断に使用される画像検証方法に関する。
一実施形態は、疾患診断に使用される画像検証方法を実行するための診断システムに関する。
一実施形態は、疾患診断に使用される画像検証方法が記録されたコンピューター読取可能な記録媒体に関する。
画像を分析して癌を診断したり、画像を分析して特定の疾患を早期に診断したりするためのソフトウェアの活発な開発につれて、医療装置の定義は、従来の外科用装置やX線撮像装置などを超えて、画像を分析して疾患に関する情報を得る診断装置のソフトウェアにまで拡大されている。
ソフトウェアであっても人の健康情報を分析するための診断装置に該当する場合、ソフトウェアの実現と流通には各国の規制に従った承認が不可欠である。したがって、一般的にソフトウェアの精度と結果の一貫性を検証する必要があるため、ソフトウェアという形での医療装置の市場では、精度の向上が非常に重要である。
従って、画像分析によって健康情報を提供するソフトウェア分野では、医療装置の精度を落とさない一貫性のある画像取得方法を工夫する必要がある。
上記は、本開示の背景の理解を助けることのみを意図し、本開示が当業者に既知の関連技術の範囲内にあることを意味するものではない。
一実施形態は、診断に使用される診断画像を取得する方法を提供する。
一実施形態は、適切な画像を診断画像として使用するために画像を検証する画像検証方法を提供する。
本出願の一実施形態によれば、診断システムが提供される。この診断システムは、画像を撮るように構成されたユーザー端末と、前記画像に基づいて診断支援情報を取得するように構成されたサーバーとを備え、前記ユーザー端末は、第1画像分析アルゴリズムを用いて第1画像を分析することにより、診断対象の検出された位置と、診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得し、前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定し、前記予め記憶された条件が満たされていると決定すると、前記第1撮影パラメーター及びキャプチャーされた画像を前記サーバーに送信するように構成され、前記サーバーは、第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得し、前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定し、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、前記診断支援情報を取得するように構成され、前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。
本出願の一実施形態によれば、診断画像検証方法が提供される。この方法は、第1画像を取得するステップと、第1画像分析アルゴリズムを用いて前記第1画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得するステップと、前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、前記予め記憶された条件が満たされていると決定するすると、前記第1撮影パラメーター及びキャプチャーされた画像を記憶するステップと、第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得するステップと、前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を含み、前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。
本出願の一実施形態によれば、プログラムが記録されたコンピューター読取可能な記録媒体が提供される。前記プログラムは、第1画像を取得するステップと、第1画像分析アルゴリズムを用いて前記第1画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得するステップと、前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、前記予め記憶された条件が満たされていると決定するすると、前記第1撮影パラメーター及びキャプチャーされた画像を記憶するステップと、第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得するステップと、前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を実行するためのものである。前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。
本実施形態によれば、診断装置の精度を確保し、製品の承認及び流通を可能にするために、診断画像を取得する改善された方法が提供される。
本実施形態によれば、リアルタイム撮影を可能にするために、撮影装置の画像分析方法の演算量を維持しながら、正確な画像を取得することができる画像検証方法が提供される。
本出願は、上記の効果に限定されるものではない。本明細書及び添付の図面から、当業者は、上記に記載されていない効果を理解することができる。
本開示の上記及びその他の目的、特徴、及びその他の利点は、添付の図面と併せて以下の詳細な説明からより明確に理解されるであろう。
本出願の一実施形態による診断システムの構成を示す図である。 本出願に記載の診断対象DOの例を示す図である。 本出願に記載の診断対象DOの例を示す図である。 本出願に記載の診断対象DOの例を示す図である。 本出願の一実施形態による撮影装置1000とサーバー2000の構成を示す図である。 本出願の一実施形態によるユーザー端末1000のキャプチャーされた画像取得操作を示すフローチャートである。 本出願の一実施形態によるガイド提供操作S110におけるユーザー端末1000の第1出力部1700を示す図である。 本出願の一実施形態による、撮影条件が満たされているか否かを決定する方法S130を具体的に示す図である。 本出願の一実施形態による撮影パラメーターを示す図である。 各撮影パラメーターに対応する条件が満たされているか否かを決定する速度に応じて、評価目標画像、撮影パラメーターの評価頻度、及び記憶されたキャプチャーされた画像を具体的に示す図である。 本出願の一実施形態によるサーバー2000の画像検証操作を示すフローチャートである。 本出願の一実施形態による、検証条件が満たされているか否かを決定する方法S220を具体的に示す図である。 本出願の一実施形態による検証パラメーターを示す図である。 本出願の一実施形態による、診断画像を記憶し、それを使用して診断支援情報を取得する操作を示す図である。 本出願の一実施形態による眼疾患関連画像の方法を示す図である。 本出願の一実施形態による眼疾患関連画像の方法を示す図である。 本出願の一実施形態による、身体のアンバランス関連画像を取得する方法を示す図である。 本出願の一実施形態による、身体のアンバランス関連画像を取得する方法を示す図である。
以下、本明細書の実施形態について、当業者が本出願を容易に実施できるように、添付の図面を参照して詳細に説明する。また、本出願に種々の修正を加えてもよく、本出願の様々な実施形態を実践することもできる。従って、具体的な実施形態について、添付の図面を参照して以下に詳細に説明する。本明細書に開示されている技術的アイデアは、添付の図面又は記載された実施形態に限定されず、例示的な実施形態は、本出願の技術概念及び技術範囲におけるすべての変更、同等物又は代替を含むものと解釈することができる。
明細書全体にわたって、同じ参照番号は原則として同じ要素を表す。また、実施形態の図に示されているのと同じ範囲で同じ機能を有する元素については、同じ参照番号を用いて記述し、冗長な記述は省略する。
本明細書に開示されている実施形態を説明するにあたり、本明細書に開示されている実施形態の要旨を曖昧にするものと判断される場合は、本明細書に関連する周知技術の詳細な説明を省略する。また、本明細書全体を通して、第1、第2などの用語は、ある要素を別の要素と区別するためにのみ使用される。
また、以下の説明で要素の名前として使用される「モジュール」や「部分」という用語は、本明細書の記述の容易さのみを考慮して使用されている。これらの用語は、異なる特別な意味や機能を有することを意図したものではないため、個別に使用することも、同じ意味で使用することもできる。
以下の実施形態において、単数形で使用される表現は、文脈上明らかに異なる意味を有しない限り、複数形の表現を包含する。
以下の実施形態では、「含む」、「有する」などの用語は、明細書に開示された特徴又は要素の存在を示すことを意図したものであり、1つ以上の他の特徴又は要素が追加される可能性を排除することを意図したものではないことを理解しておく必要がある。
図面における要素のサイズは、説明の便宜のために誇張されたり縮小されたりすることがある。例えば、図面に示される各要素の任意のサイズ及び厚さは、説明の便宜のために示されている。
特定の実施形態が別の方法で実現される場合、以下に説明される方法は、説明された順序以外で実行されてもよい。例えば、連続して説明される2つの操作は、実質的に同時に実行されてもよいし、説明された順序と逆の順序で実行されてもよい。
本出願の一実施形態によれば、診断システムが提供される。この診断システムは、画像を撮るように構成されたユーザー端末と、前記画像に基づいて診断支援情報を取得するように構成されたサーバーとを備え、前記ユーザー端末は、第1画像分析アルゴリズムを用いて第1画像を分析することにより、診断対象の検出された位置と、診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得し、前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定し、前記予め記憶された条件が満たされていると決定すると、前記第1撮影パラメーター及びキャプチャーされた画像を前記サーバーに送信するように構成され、前記サーバーは、第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得し、前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定し、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、前記診断支援情報を取得するように構成され、前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。
診断システムでは、第1撮影パラメーターは、第1画像における診断対象の検出された位置に関する情報を含んでもよく、ユーザー端末は、第1撮影パラメーターと予め記憶された診断対象領域とを比較することによって、予め記憶された条件が満たされているか否かを決定するように構成されてもよい。
診断システムにおいて、第1画像分析アルゴリズムは第1ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第1撮影パラメーターは眼のランドマークであってもよい。
診断システムにおいて、第1検証パラメーターは、キャプチャーされた画像における診断対象の検出された位置に関する情報を含んでもよい。
診断システムにおいて、第2画像分析アルゴリズムは第2ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第1検証パラメーターは眼のランドマークであってもよい。
診断システムにおいて、第2画像分析アルゴリズムは画像セグメンテーションアルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第1検証パラメーターは虹彩領域であってもよい。
診断システムにおいて、ユーザー端末は、予め設定されたフレームレートに従って画像を取得し、第1画像分析アルゴリズムを用いて取得された画像の少なくとも一部を分析し、取得された画像の1つをキャプチャーされた画像として記憶し、キャプチャーされた画像をサーバーに送信するように構成されてもよい。
診断システムにおいて、ユーザー端末は、第1画像のための第1撮影パラメーターが第1条件を満たさないと決定すると、第1画像分析アルゴリズムを用いて第2画像を分析するように構成されてもよい。第2画像は、第1画像のための第1撮影パラメーターが第1条件を満たしていないと決定した後に取得される。
診断システムにおいて、ユーザー端末は、第1画像のための第1撮影パラメーターが第1条件を満たしていると決定すると、第2画像をキャプチャーされた画像としてサーバーに送信するように構成されてもよい。第2画像は、第1画像のための第1撮影パラメーターが第1条件を満たしていると決定した後に取得される。
診断システムにおいて、第1画像分析アルゴリズムは、リアルタイム処理の利点を有するように、第2画像分析アルゴリズムよりも少ない演算量を有してもよい。
診断システムにおいて、ユーザー端末は、第1画像のための第2撮影パラメーターを取得するように構成されてもよく、予め記憶された条件は、第2撮影パラメーターが第2条件を満たしていることをさらに含む。
診断システムにおいて、ユーザー端末について、第1撮影パラメーターを取得する期間と、第2撮影パラメーターを取得する期間とが互いに異なっていてもよい。
診断システムにおいて、ユーザー端末は、第1画像のための第2~第N撮影パラメーターを取得するように構成されてもよく、予め記憶された条件は、第2~第N撮影パラメーターの少なくとも一部が対応する第2~第N条件をそれぞれ満たしていることを含む。Nは、2以上の自然数であってもよい。
診断システムにおいて、サーバーは、キャプチャーされた画像のための第2~第M検証パラメーターを取得するように構成されてもよく、キャプチャーされた画像を診断画像として使用するか否かを決定することは、第2~第M検証パラメーターが満たされているか否かを決定することをさらに含む。Mは、2以上の自然数であってもよい。
診断システムにおいて、サーバーは、診断画像及び診断モデルを使用して診断支援情報を取得するように構成されてもよく、診断モデルは、診断対象を含む画像と、目標疾患が発生したか否かに関する情報を使用してトレーニングされてもよい。
本出願の一実施形態によれば、診断画像検証方法が提供される。この方法は、第1画像を取得するステップと、第1画像分析アルゴリズムを用いて前記第1画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得するステップと、前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、前記予め記憶された条件が満たされていると決定するすると、前記第1撮影パラメーター及びキャプチャーされた画像を記憶するステップと、第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得するステップと、前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を含み、前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。
診断画像検証方法において、第1撮影パラメーターは、第1画像における診断対象の検出された位置に関する情報を含んでもよく、予め記憶された条件が満たされているか否かを決定することは、第1撮影パラメーターと予め記憶された診断対象領域とを比較することをさらに含んでもよい。
診断画像検証方法において、第1画像分析アルゴリズムは第1ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第1撮影パラメーターは眼のランドマークであってもよい。
診断画像検証方法において、第1検証パラメーターは、キャプチャーされた画像における診断対象の検出された位置に関する情報を含んでもよい。
診断画像検証方法において、第2画像分析アルゴリズムは第2ランドマーク検出アルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第1検証パラメーターは眼のランドマークであってもよい。
診断画像検証方法において、第2画像分析アルゴリズムは画像セグメンテーションアルゴリズムであってもよく、目標疾患は甲状腺眼症であってもよく、診断対象は眼であってもよく、第1検証パラメーターは虹彩領域であってもよい。
診断画像検証方法は、予め設定されたフレームレートに従って画像を取得するステップと、第1画像分析アルゴリズムを用いて、取得された画像の少なくとも一部を分析するステップと、取得された画像の少なくとも一部について、予め記憶された条件が満たされていると決定すると、取得された画像の1つをキャプチャーされた画像として記憶するステップと、を含んでもよい。
診断画像検証方法は、第1画像のための第1撮影パラメーターが第1条件を満たしていないと決定すると、第2画像を取得するステップと、第1分析アルゴリズムを用いて第2画像を分析することによって、第2画像のための第1撮影パラメーターを取得するステップと、予め記憶された条件が満たされているか否かを決定するために、第2画像のための第1撮影パラメーターが第1条件を満たしているか否かを決定するステップと、を含んでもよい。
診断画像検証方法は、第1画像のための第1撮影パラメーターが第1条件を満たしていると決定すると、第2画像を取得するステップと、第2画像をキャプチャーされた画像として記憶するステップと、含んでもよい。
診断画像検証方法において、第1画像分析アルゴリズムは、リアルタイム処理の利点を有するように、第2画像分析アルゴリズムよりも少ない演算量を有してもよい。
診断画像検証方法は、第1画像のための第2撮影パラメーターを取得するステップをさらに含んでもよい。予め記憶された条件は、第2撮影パラメーターが第2条件を満たしていることをさらに含む。
診断画像検証方法において、第1撮影パラメーターを取得する期間と、第2撮影パラメーターを取得する期間とが互いに異なっていてもよい。
診断画像検証方法は、第1画像のための第2~第N撮影パラメーターを取得するステップをさらに含んでもよい。Nは、2以上の自然数である。予め記憶された条件は、第2~第N撮影パラメーターの少なくとも一部が、対応する第2~第N条件をそれぞれ満たしていることをさらに含む。
診断画像検証方法は、キャプチャーされた画像のための第2~第M検証パラメーターを取得するステップをさらに含んでもよい。Mは、2以上の自然数である。キャプチャーされた画像を使用するか否かを決定するステップは、第2~第M検証パラメーターが満たされているか否かを決定することをさらに含んでもよい。
診断画像検証方法において、キャプチャーされた画像を診断画像として使用することを決定すると、診断画像を使用して診断支援情報を取得するステップは、診断画像及び診断モデルを使用して診断支援情報を取得することを含んでもよく、診断モデルは、診断対象を含む画像と、目標疾患が発生したか否かに関する情報を使用してトレーニングされてもよい。
本出願の一実施形態によれば、プログラムが記録されたコンピューター読取可能な記録媒体が提供される。前記プログラムは、第1画像を取得するステップと、第1画像分析アルゴリズムを用いて前記第1画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得するステップと、前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、前記予め記憶された条件が満たされていると決定するすると、前記第1撮影パラメーターを記憶するステップと、第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得するステップと、前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、前記キャプチャーされた画像を前記診断画像として使用すると決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を実行するためのものである。前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である。
本明細書では、画像を使用する診断装置(ソフトウェアを含む)又はシステムを実現するに当たって、高精度な診断結果を導き出すことができる製品の製造、製品の各国の承認手続きに従うために必要な臨床データの確保、及び/又は承認された製品の消費者への提供に使用できる診断画像検証方法、それを使用するサーバー、及び診断システムを記載する。
図1は、本出願の一実施形態による診断システムの構成を示す図である。
図1に示すように、診断システムは、撮影装置1000とサーバー2000を含んでもよく、撮影装置1000とサーバー2000は、ネットワークを介してデータ交換のために相互に接続されてもよい。
撮影装置1000は、画像を撮る機能を実行してもよい。例えば、撮影装置1000は、画像が撮影条件を満たしているか否かを評価してもよい。撮影装置1000は、画像を取得してもよく、取得した画像が撮影条件を満たしていると決定した場合、撮影装置1000はキャプチャーされた画像を記憶する。撮影装置1000は画像が撮影条件を満たしているか否かを決定するプロセスについては、後で詳しく説明する。
撮影装置1000は、画像を撮ることができる電子装置である。撮影装置1000の例は、携帯電話、スマートフォン、タブレットPC、ラップトップ、通信機能付きポータブルカメラ、及び/又はスタンドアロンカメラを含むが、これらに限定されない。
撮影装置1000は、サーバー2000と通信し、キャプチャーされた画像をサーバー2000に送信してもよい。
サーバー2000は、画像を検証する機能を実行してもよい。例えば、サーバー2000は、受信した画像が検証条件を満たしているか否かを評価し、受信した画像を診断画像として記憶してもよい。サーバー2000は画像が検証条件を満たしているか否かを決定するプロセスについては、後で詳しく説明する。
撮影装置1000が、目標画像が撮影条件を満たしているか否かを決定するとき、少なくとも1つの撮影パラメーターに対する条件が満たされているか否かが評価されてもよく、少なくとも1つの撮影パラメーターが診断対象DOと関連してもよい。一実施形態によれば、撮影パラメーターは、診断対象DOの検出された位置及び/又は診断対象DOが検出されたか否かに関する情報を含んでもよい。
サーバー2000が、キャプチャーされた画像が検証条件を満たしているか否かを決定するとき、少なくとも1つの検証パラメーターに対する条件が満たされているか否かが評価されてもよく、少なくとも1つの検証パラメーターが診断対象DOと関連してもよい。一実施形態によれば、検証パラメーターは、診断対象DOの検出された位置及び/又は診断対象DOが検出されたか否かに関する情報を含んでもよい。
本明細書に記載される診断対象DOは、診断される目標疾患に関連する対象(目標対象)を意味してもよい。例えば、診断対象DOは、目標疾患に関連する身体部位を意味してもよい。
本出願の一実施形態によれば、検証パラメーターで評価される診断対象DOと、撮影パラメーターで評価される診断対象DOとは同じであってもよい。あるいは、検証パラメーターで評価される診断対象DOは、撮影パラメーターで評価される診断対象DOに含まれてもよいし、その逆も可能である。
サーバー2000は、診断画像として記憶された画像を使用して、目標疾患に関する情報を取得してもよい。ここで、目標疾患に関する情報は、疾患診断を支援するための情報であってもよい。例えば、目標疾患に関する情報は、画像における撮影された人が目標疾患を患っている確率、又は、その人が目標疾患に関連することがわかっている他の疾患を1つ以上患っている確率であってもよい。
図2a、2b及び2cは、本出願に記載の診断対象DOの例を示す図である。
一実施形態によれば、顔画像を分析することで、表現型異常を分析するための診断装置に使用される画像は、本出願に記載の診断画像検証方法を使用して検証されてもよい。表現型異常の診断対象DOは「顔」であってもよい(図2aを参照)。
別の実施形態によれば、全身画像を分析することで、身体のバランスを分析するための診断装置に使用される画像は、本出願に記載の診断画像検証方法を使用して検証されてもよい。身体のアンバランスの診断対象DOは「全身」であってもよい(図2bを参照)。
また別の実施形態によれば、眼画像を分析することで、甲状腺眼症を分析するための診断装置に使用される画像は、本出願に記載の診断画像検証方法を使用して検証されてもよい。甲状腺眼症の診断対象DOは「眼」であってもよい(図2cを参照)。
目標疾患に関連する診断対象DOは、目標疾患の診断に使用されることが広く知られている対象(例えば、診断のために検査される身体部位)を意味してもよいが、それに限定されず、目標疾患の診断に使用される情報を取得するための間接的に関連する対象を意味してもよい。
具体例として、目標疾患が「脳卒中」の場合、第1診断対象DOは「顔」であってもよい。この技術は、嘉泉大学産学協力団(Gachon University Industry-Academic Cooperation Foundation)が出願した韓国特許第10-2274330号にも開示されている。
別の例として、目標疾患が「甲状腺眼症」の場合、第1診断対象DOは「眼」であってもよく、第2診断対象DOは「眼瞼」であってもよく、第3診断対象DOは「眼及び眼の周囲部分を含む領域」であってもよい。この技術は、会社(Thyroscope INC.)が出願した韓国特許出願第10-2021-0085542号にも開示されている。
上記の診断対象DOの例は、本明細書に記載されている診断対象DOの概念を明確に理解するのに役立つように記載されている。診断対象DOは、上記の例に限定されず、診断される目標疾患に関連する対象(目標対象、例えば、身体部位)は、診断対象DOとして解釈されてもよい。
以下、本出願の幾つかの実施形態を説明するにあたり、説明は、撮影装置1000が画像を撮り、サーバー2000がキャプチャーされた画像を検証する場合に基づく。ただし、これは説明の便宜上、実施形態を参照して具体的に説明している。本出願に記載の技術的思想は、サーバー2000又は撮影装置1000による単独操作の場合だけでなく、撮影装置1000、サーバー2000、及び外部装置による分散操作の場合にも適用可能である。従って、本開示の概念の実装形態は、以下に説明する実施形態に限定されない。
図3は、本出願の一実施形態による撮影装置1000とサーバー2000の構成を示す図である。
撮影装置1000は、画像取得部1100、決定部1201、1202、...、1299、第1記憶部1300、第1通信部1400、第1コントローラ1500、第1入力部1600、及び第1出力部1700を含んでもよい。
画像取得部1100は、画像を撮る機能を実行してもよい。本出願の一実施形態によれば、画像取得部1100は、予め設定された画像フレームに従って画像(例えば、プレビュー画像)を取得してもよい。画像取得部1100は、例えばカメラなどの画像を撮るのに適したモジュールであってもよいし、又は、それと同様の機能を実行するための機能モジュールであってもよい。
決定部1201、1202、...、1299は、目標画像が撮影条件を満たしているか否かを決定する機能を実行してもよい。本出願の一実施形態によれば、決定部1201、1202、...、1299は、画像取得部1100を介して取得された画像が撮影条件を満たしているか否かを決定してもよい。
撮影装置1000は、1つ以上の決定部1201、1202、...、1299を含んでもよい。本出願の一実施形態によれば、第1決定部1201は、目標画像の第1撮影パラメーターが第1撮影条件を満たしているか否かを決定してもよく、第2決定部1202は、目標画像の第2撮影パラメーターが第2撮影条件を満たしているか否かを決定してもよく、第N決定部は、目標画像の第N撮影パラメーターが第N撮影条件を満たしているか否かを決定してもよい。ここで、Nは、2以上の自然数であってもよい。これは、撮影パラメーターで評価される項目が複数あることを意味し、かつ撮影パラメーターで評価される項目が1つ又は2つある可能性があることを意味する。
本出願の一実施形態によれば、第1撮影パラメーターと第2撮影パラメーターは互いに異なっていてもよい。例えば、第1撮影パラメーターは診断対象DOに関連してもよく、第2撮影パラメーターは写真の明るさに関連してもよい。
本出願の一実施形態によれば、第1撮影パラメーターと第2撮影パラメーターは同じであってもよく、第1撮影パラメーターに対応する第1撮影条件と、第2撮影パラメーターに対応する第2撮影条件とは互いに異なっていてもよい。例えば、第1撮影パラメーターと第2撮影パラメーターの両方は診断対象DOに関連してもよく、第1撮影条件は、診断対象DOの位置に関連する基準であってもよく、第2撮影条件は、診断対象DOが検出されたか否かに関連する基準であってもよい。
撮影装置1000に含まれる1つ以上の決定部1201、1202、...、1299は、目標画像がそれぞれの撮影条件を満たしているか否かを決定する。決定部1201、1202、...、1299が、目標画像がすべての予め記憶された撮影条件を満たしていると決定すると、第1コントローラ1500は、画像取得部1100を使用してキャプチャーされた画像を記憶してもよい。
第1記憶部1300には、撮影装置1000の動作に必要な様々な種類のデータ及びプログラムが記憶されてもよい。システム電源の供給の有無にかかわらずデータを保持するために、第1記憶部1300は、フラッシュメモリなどの不揮発性メモリ、又はハードディスクドライブとして実現されてもよい。本出願の一実施形態によれば、第1記憶部1300には、撮影パラメーターを取得するためのアルゴリズム、撮影パラメーターに対応する撮影条件、撮影パラメーターが記憶された撮影条件を満たしているか否かを決定するためのプログラム、及び/又はキャプチャーされた画像が記憶されてもよい。
本出願の一実施形態によれば、診断対象DOを検出するための画像分析アルゴリズムは、第1記憶部1300に記憶されてもよい。言い換えれば、第1記憶部1300には、診断対象DOに関連する撮影パラメーターを検出するための画像分析アルゴリズム、及びそれに対応する条件が記憶される。例えば、第1画像分析アルゴリズムは、ランドマーク画像分析アルゴリズムであってもよい。別の例として、第1画像分析アルゴリズムは、姿勢推定アルゴリズムであってもよい。また別の例として、第1画像分析アルゴリズムは、色比較アルゴリズムであってもよい。
第1通信部1400は、撮影装置1000がサーバーなどの外部装置と双方向通信を行うように、データの送受信を行ってもよい。第1通信部1400は、予め設定された通信プロトコルに従って、有線/無線のワイド/ローカルエリアネットワーク又はローカルアクセス方法を介して、外部装置(例えば、サーバー2000)にアクセスしてもよい。
第1通信部1400は、それぞれの装置用のアクセスポート又はアクセスモジュールのグループによって実現されてもよいので、アクセス用のプロトコルやアクセスされる外部装置は1つの種類や形式に限定されない。第1通信部1400は、撮影装置1000に内蔵されてもよいし、あるいは、構築の全部又は一部は、アドオン又はドングルの形で撮影装置1000に追加して提供されてもよい。
第1コントローラ1500は、撮影装置1000の全体的な操作を管理及び制御する機能を実行してもよい。第1コントローラ1500は、様々な種類の情報を操作及び処理を実行してもよく、端末の要素の操作を制御してもよい。
第1コントローラ1500は、ハードウェア、ソフトウェア、又はそれらの組み合わせに従って、コンピューター又は類似の装置として実現されてもよい。ハードウェアに関しては、第1コントローラ1500は、電気信号を処理することで制御機能を実行するためのCPUチップなどの電子回路の形で提供されてもよい。ソフトウェアに関しては、第1コントローラ1500は、ハードウェア第1コントローラ1500を駆動するためのプログラムの形で提供されてもよい。
本出願の一実施形態によれば、第1コントローラ1500は、決定部1201、1202、...、1299を介して、画像取得部1100によって取得された画像が第1記憶部1300に記憶された条件を満たしているか否かを決定してもよい。また、画像が予め記憶された撮影条件を満たしていると決定すると、第1コントローラ1500は、キャプチャーされた画像を第1記憶部1300に記憶し、第1通信部1400を介してサーバー2000に送信してもよい。
本出願の一実施形態による撮影装置1000は、第1入力部1600及び/又は第1出力部1700を含んでもよい。
第1入力部1600は、ユーザーから情報を取得する機能を実行してもよい。第1入力部1600は、ユーザーからユーザー入力を受信してもよい。ユーザー入力は、キー入力、タッチ入力、及び/又は音声入力であってもよいが、これらに限定されず、様々な形式で提供されてもよい。
第1入力部1600は、一般的に使用されるユーザー入力装置として実現されてもよい。一例として、第1入力部1600は、ユーザーのタッチを検出するためのタッチセンサーであってもよいが、それに限定されない。ここで、「タッチセンサー」とは、タッチパネル又はディスプレイパネルに取り付けられたタッチフィルムを介してタッチを検出するための圧電タッチセンサー又は静電容量式タッチセンサー、及び/又は光学的方法でタッチを検出する光学式タッチセンサーを意味してもよい。
第1出力部1700は、ユーザーが情報をチェックできるように、情報を出力する機能を実行してもよい。第1出力部1700は、ユーザーから取得された情報、外部装置から取得及び/又は処理された情報を出力してもよい。情報の出力は、視覚的、聴覚的、及び/又は触覚的な出力であってもよいが、それらに限定されず、様々な形で提供されてもよい。
第1出力部1700は、一般的に使用されるユーザー出力装置として実現されてもよい。例えば、第1出力部1700は、画像を出力するためのディスプレイ、及び/又は音声を出力するためのスピーカであってもよいが、これらに限定されない。ここで、「ディスプレイ」は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、フラットパネルディスプレイ(FPD)、透明ディスプレイ、曲面ディスプレイ、フレキシブルディスプレイ、3Dディスプレイ、ホログラフィックディスプレイ、プロジェクター、及び/又は画像出力機能を実行できる他の様々な種類のものを含む、広い意味の画像ディスプレイ装置を指してもよい。
第1出力部1700は、第1入力部1600と一体化されてもよい。例えば、第1出力部1700がディスプレイである場合、第1出力部1700は、第1入力部1600であるタッチセンサーと一体化されたタッチディスプレイの形態であってもよい。
サーバー2000は、第2通信部2100、検証部2201、2202、...、2299、診断部2300、第2コントローラ2400、第2入力部2500、第2出力部2600、及び第2記憶部2700を含んでもよい。
上記の第1通信部1400と同様に、第2通信部2100は、外部装置とデータを交換する機能を実行してもよい。例えば、第2通信部2100は、第1通信部1400を介してキャプチャーされた画像を受信してもよい。具体的には、第2通信部2100は、第1通信部1400を介して、キャプチャーされた画像、及びキャプチャーされた画像における診断対象DOの位置情報を受信してもよい。
検証部2201、2202、...、2299は、目標画像が検証条件を満たしているか否かを決定する機能を実行してもよい。本出願の一実施形態によれば、検証部2201、2202、...、2299は、第2通信部2100を介して受信したキャプチャーされた画像が検証条件を満たしているか否かを決定してもよい。
サーバー2000は、1つ以上の検証部2201、2202、...、2299を含んでもよい。本出願の一実施形態によれば、第1検証部2201は、キャプチャーされた画像の第1検証パラメーターが第1検証条件を満たしているか否かを決定してもよく、第2検証部2202は、第2検証パラメーターが第2検証条件を満たしているか否かを決定してもよく、第M検証部2299は、第M検証パラメーターが第M検証条件を満たしているか否かを決定してもよい。ここで、Mは、2以上の自然数であってもよい。これは、検証パラメーターで評価される項目が複数あることを意味し、かつ検証パラメーターで評価される項目が1つ又は2つある可能性があることを意味する。
第1検証パラメーターと第2検証パラメーターは互いに異なっていてもよい。例えば、第1検証パラメーターは診断対象DOに関連してもよく、第2検証パラメーターは写真の明るさに関連してもよい。
第1検証パラメーターと第2検証パラメーターは同じであってもよく、第1検証パラメーターに対応する第1検証条件と、第2検証パラメーターに対応する第2検証条件は互いに異なっていてもよい。例えば、第1検証パラメーターと第2検証パラメーターの両方は診断対象DOに関連してもよく、第1検証条件は、診断対象DOの位置に関連する基準であってもよく、第2検証条件は、診断対象DOが検出されたか否かに関連する基準であってもよい。
サーバー2000は、撮影装置1000によって評価された撮影パラメーター及び撮影条件に対応する検証パラメーター及び検証条件を評価してもよい。具体例として、第1撮影パラメーターと第1検証パラメーターは同じであってもよく、第1撮影パラメーターに対応する第1撮影条件と、第1検証パラメーターに対応する第1検証条件は同じであってもよい。
本出願の一実施形態によれば、撮影装置1000によって既に決定された撮影条件は、サーバー2000により検証条件として再度評価され、それにより、診断画像の品質(又は精度)の欠如のために診断装置自体による診断の精度が低下することを防止する。
サーバー2000は、撮影装置1000によって評価された撮影パラメーター及び撮影条件の一部を検証パラメーター及び検証条件として評価しなくてもよい。具体例として、第2撮影パラメーターと第2検証パラメーターは互いに異なっていてもよい。
本出願の一実施形態によれば、パラメーターが診断対象DOに関連するものでない限り、撮影条件で既に決定されたパラメーターについて、検証条件を通じて検証を実行する必要がないので、第2撮影パラメーターと第2検証パラメーターとは同じでない可能性がある。この場合、撮影装置1000が第1~第N撮影パラメーターを評価し、サーバー2000が第1~第M検証パラメーターを評価するとき、Nは、Mより大きい数であってもよい。
サーバー2000に含まれる1つ以上の検証部2201、2202、...、2299は、目標画像がそれぞれの検証条件を満たしているか否かを決定してもよい。検証部2201、2202、...、2299が、キャプチャーされた画像がすべての予め記憶された検証条件を満たしているか否かを決定するとき、第2コントローラ2400は、キャプチャーされた画像を診断画像として決定し、診断部2300を介して診断支援情報を取得するための操作を実行してもよいし、又は、第2記憶部2700を介して診断画像を記憶してもよい。
診断部2300は、画像を使用して診断支援情報を取得する機能を実行してもよい。診断部2300は、第2記憶部2700に記憶された診断アルゴリズムを使用することで、診断画像に基づいて目標疾患に関する情報(例えば、診断支援情報)を取得する機能を実行してもよい。具体例として、第2記憶部2700には、診断対象DOを含む画像と目標疾患が発生したか否かに関する情報の両方を使用してトレーニングされた診断モデルが記憶されてもよく、診断部2300は、第2コントローラ2400による制御下で診断モデル及び診断画像に基づいて診断支援情報を取得する機能を実行してもよい。診断モデルは、機能及び/又はパラメーターが記憶された人工知能モデルを意味してもよい。
本出願の別の実施形態によれば、診断部2300は別個のサーバーに含まれてもよく、サーバー2000は、第2通信部2100を介して別個のサーバーに診断画像を送信することによって、診断支援情報を取得してもよい。
第1コントローラ1500と同様に、第2コントローラ2400は、サーバー2000の操作を管理及び制御する機能を実行してもよい。第1入力部1600と同様に、第2入力部2500は、ユーザーから情報を取得する機能を実行してもよい。第1出力部1700と同様に、第2出力部2600は、ユーザーが情報をチェックできるように情報を出力する機能を実行してもよい。
第1記憶部1300と同様に、第2記憶部2700には、サーバー2000の動作に必要な様々な種類のデータ及びプログラムが記憶されてもよい。
本出願の一実施形態によれば、第2記憶部2700は、データベースの形態であってもよい。データベースは、キーワードカテゴリごとに構造化されており、特定のキーワードで所望の情報を見つけることができる。構造化データベースは、データベースの設計や構築方法によって様々な方式で実現されてもよいため、構造化データベースの詳細な説明は省略する。
本出願の一実施形態によれば、診断対象DOを検出するための画像分析アルゴリズムは、第2記憶部2700に記憶されてもよい。言い換えれば、第2記憶部2700には、診断対象DOに関連する検証パラメーターを検出するための画像分析アルゴリズム、及びそれに対応する条件が記憶される。例えば、第2画像分析アルゴリズムは、ランドマーク画像分析アルゴリズムであってもよい。別の例として、第2画像分析アルゴリズムは、姿勢推定アルゴリズムであってもよい。また別の例として、第2画像分析アルゴリズムは、色比較アルゴリズムであってもよい。
一実施形態によれば、サーバー2000に記憶された画像分析アルゴリズムと、ユーザー端末1000に記憶された画像分析アルゴリズムは、同じ対象を検出するためのアルゴリズムであってもよい。しかしながら、サーバー2000に記憶された画像分析アルゴリズムの演算量と、ユーザー端末1000に記憶された画像分析アルゴリズムの演算量は、互いに異なっていてもよい。具体例として、2つの画像分析アルゴリズムは、写真を撮りながらリアルタイムに演算を実行する必要があるユーザー端末1000における画像分析アルゴリズムの演算量がサーバー2000における画像分析アルゴリズムの演算量よりも少なくなるように、選択されてもよい。
第2コントローラ2400、第2入力部2500、第2出力部2600、及び第2記憶部2700に関連する冗長な機能/モジュールの説明は省略する。
本出願の一実施形態によるサーバー2000は、物理的に1つの単一サーバーであってもよいし、スループット又はロールが複数のサーバーに分散される分散サーバーであってもよい。
以下、特に明記しない限り、撮影装置1000の操作は第1コントローラ1500が実行したものと解釈されてもよく、サーバー2000の操作は第2コントローラ2400が実行したものと解釈されてもよい。
以下、本出願の幾つかの実施形態による撮影装置1000(以下、ユーザー端末という)及び/又はサーバー2000の操作については、詳細に説明する。
図4は、本出願の一実施形態によるユーザー端末1000のキャプチャーされた画像取得操作を示すフローチャートである。
ユーザー端末1000は、ステップS110でガイドを提供し、ステップS120でプレビュー画像を取得し、ステップS130で撮影条件についての決定を実行し、ステップS140で診断候補画像を記憶し、ステップS150で診断候補画像を送信してもよい。
ユーザー端末1000の第1コントローラ1500は、ステップS110において、第1出力部1700を使用してガイドが提供されるように制御を実行してもよい。
ここで、ガイドは、画像を撮るのを支援する機能を実行する。例えば、ガイドは、ユーザー端末1000のディスプレイに出力されるプレビュー画像に、一緒に出力される線又は文字の形であってもよい。別の例として、ガイドは、撮影を支援するようにユーザー端末1000のスピーカを介して出力される音声の形であってもよい。ただし、これに限定されるものではない。
ガイドは、撮影条件について設定された複数の撮影パラメーターの一部を支援するために提供されてもよいし、撮影条件について設定されたすべての撮影パラメーターを支援するために提供されてもよい。ガイドによって支援される撮影パラメーターは、診断対象DOに関連する撮影パラメーターを含んでもよい。
ガイドは、撮影パラメーターに対応する撮影条件を提示する形で提供されてもよいし、被撮影者の現在の状態を視覚化する形で提供されてもよいし、撮影条件及び現在の状態の両方を出力する形で提供されてもよい。具体例として、ユーザー端末に提供されるガイドは、眼の適切な位置を示すための第1ガイドと、眼の現在の位置を示すための第2ガイドとを含んでもよい。
図5は、本出願の一実施形態によるガイド提供操作S110におけるユーザー端末1000の第1出力部1700を示す図である。
ユーザー端末1000に出力されるガイドは、第1ガイドIG1、第2ガイドIG2、及び第3ガイドIG3を含んでもよい。第1ガイドIG1は、ユーザーの顔がユーザー端末1000から適切な距離に保たれるように、ユーザーの顔を第1ガイドIG1の内側に配置するためのガイダンスのインジケータであってもよい。第2ガイドIG2は、ユーザーの眼が所定の位置にある画像を取得するように、ユーザーの眼の位置と第2ガイドIG2の位置合わせを誘導するインジケータであってもよい。第3ガイドIG3は、ユーザーの顔の左右の角度(ヨー)が予め記憶された基準から外れないように、ユーザーの鼻のラインがどの位置にあるべきかを示すガイダンスのインジケータであってもよい。
本出願の一実施形態によれば、図5に示すガイドが甲状腺眼症を診断(予測)するための画像を撮る際に提供される場合、第2ガイドIG2は、診断対象DOに関するガイドであってもよい。
図4に戻って参照すると、ユーザー端末1000の第1コントローラ1500は、ステップS120において、画像取得部1100を使用してプレビュー画像が取得されるように、制御を実行してもよい。
ここで、プレビュー画像は、画像撮影ステップで決定されたフレームレートに従って取得される画像を意味してもよい。具体的には、ユーザー入力に従って画像撮影操作が開始するか、又は予め記憶された条件が満たされていると自動撮影操作が開始し、それに応じて、キャプチャーされた画像が記憶される。この記憶ステップの前にキャプチャーされた画像は、プレビュー画像を意味してもよい。
ユーザー端末1000の第1コントローラ1500は、決定部1201、1202、...、1299を使用して、取得されたプレビュー画像が撮影条件を満たしているか否かを決定してもよい。
目標画像(例えば、チェックされるプレビュー画像)が撮影条件を満たしていると決定すると、ユーザー端末1000の第1コントローラ1500は、ステップS140で第1記憶部1300を使用してキャプチャーされた画像を記憶してもよく、ステップS150で第1通信部1400を使用してキャプチャーされた画像をサーバー2000に送信してもよい。
目標画像が撮影条件を満たしていないと決定すると、ユーザー端末1000の第1コントローラ1500は、ステップS130において、決定部1201、1202、...、1299を使用して、ステップS120で取得された別の画像が撮影条件を満たしているか否かを決定してもよい。
図6は、本出願の一実施形態による、撮影条件が満たされているか否かを決定する方法S130を具体的に示す図である。
第1記憶部1300には、目標画像が撮影条件を満たしているか否かを評価するために決定される1つ以上の撮影パラメーターと、撮影パラメーターに対応する条件とが記憶されてもよい。ステップS130で撮影条件が満たされているか否かを決定するときに評価される撮影パラメーターは、診断対象DOに関連する1つの撮影パラメーター、又はパラメーターの少なくとも一部が診断対象DOに関連する複数の撮影パラメーターであってもよい。
本出願の一実施形態によれば、診断対象DOに関連する撮影条件は、診断対象DOの検出全体に関連してもよい。例えば、診断対象DOが「眼」である場合、第1コントローラ1500は、プレビュー画像において眼が完全に(即ち、全体的に)検出されたか否かを評価してもよい。別の例として、診断対象DOが「全身」である場合、第1コントローラ1500は、決定された関節のすべてがプレビュー画像において検出されたか否かを評価してもよい。
本出願の一実施形態によれば、診断対象DOに関連する撮影条件は、診断対象DOと予め記憶された参照領域とを比較することによって決定されてもよい。例えば、診断対象DOの検出領域が目標領域に位置する場合、診断対象DOに関連する撮影条件は、満たされているように設定されてもよい。具体例として、診断対象DOが「眼」である場合、第1コントローラ1500は、検出された眼の輪郭が、眼の位置として記憶された領域と重なるか否かを評価してもよい。
図7は、本出願の一実施形態による撮影パラメーターを示す図である。
具体例として、第1撮影パラメーターDP1がランドマーク検出アルゴリズムを駆動して取得された画像における眼のランドマークである場合、図7に示すように、プレビュー画像における両眼のランドマークは、第1撮影パラメーターDP1として取得されてもよい。第1コントローラ1500は、第1撮影パラメーターDP1を第2画像ガイドIG2と比較してもよい。あるいは、第1コントローラ1500は、第1撮影パラメーターDP1を予め記憶された眼の位置と比較してもよい。第1コントローラ1500は、検出された眼の輪郭(即ち、第1撮影パラメーターDP1)が眼の位置として記憶された領域と重なるか否かを評価し、第1撮影パラメーターDP1が第1撮影条件を満たしているか否かを決定してもよい。
別の具体例として、診断対象DOが「眼」である場合、第1コントローラ1500は、検出された眼の輪郭の中心が、瞳孔の位置として記憶された領域に含まれるか否かを評価してもよい。
本出願の一実施形態によれば、ステップS130で撮影条件が満たされているか否かを決定するときに評価される撮影パラメーターは、撮影品質に関連する一般的な指標を含んでもよい。例えば、第1コントローラ1500は、目標画像が取得された時点における周囲の明るさが参照値以上であるか否かを評価してもよい。別の例として、第1コントローラ1500は、目標画像が取得された時点におけるユーザー端末の加速度センサー値が参照値以上であるか否かを評価してもよい。
図6に戻って参照すると、ステップS130で目標画像が撮影条件を満たしているか否かを決定するとき、予め設定された撮影パラメーターのそれぞれが満たされているか否かを評価してもよい。
具体例として、第1コントローラ1500は、ステップS131において、第1決定部1201を使用してプレビュー画像を分析し、第1撮影パラメーターを取得し、第1撮影パラメーターに対応する第1撮影条件が満たされているか否かを評価してもよい。
第1コントローラ1500は、ステップS132において、第2決定部1202を使用してプレビュー画像を分析し、第2撮影パラメーターを取得し、第2撮影パラメーターに対応する第2撮影条件が満たされているか否かを評価してもよい。
第1コントローラ1500は、ステップS133において、第N決定部1299を使用してプレビュー画像を分析し、第N撮影パラメーターを取得し、第N撮影パラメーターに対応する第N撮影条件が満たされているか否かを評価してもよい。
ステップS131において第1撮影パラメーターに対応する第1撮影条件が満たされているか否かを決定すること、ステップS132において第2撮影パラメーターに対応する第2撮影条件が満たされているか否かを決定すること、...、及び、ステップS133において第N撮影パラメーターに対応する第N撮影条件が満たされているか否かを決定することは、逐次的に又は並行して実行されてもよい。
本出願の一実施形態によれば、第1撮影パラメーター~第N撮影パラメーターのすべてが第1条件~第N条件をそれぞれ満たしていると決定すると、第1コントローラ1500は、キャプチャーされた画像を記憶してもよい。この場合、第1条件~第N条件のすべてが満たされている条件が、予め記憶された条件として定義されてもよい。即ち、第1コントローラ1500は、予め記憶された条件が満たされていると決定すると、キャプチャーされた画像を記憶してもよい。より具体的には、予め記憶された条件を満たすということは、第1撮影パラメーター~第N撮影パラメーターのすべてが第1条件~第N条件をそれぞれ満たしていることを意味してもよい。
本出願の別の実施形態によれば、第1撮影パラメーター~第N撮影パラメーターの一部が第1条件~第N条件をそれぞれ満たしていると決定すると、第1コントローラ1500は、キャプチャーされた画像を記憶してもよい。この場合、第1条件~第N条件の一部が満たされている条件が、予め記憶された条件として定義されてもよい。即ち、第1コントローラ1500は、予め記憶された条件が満たされていると決定すると、キャプチャーされた画像を記憶してもよい。より具体的には、予め記憶された条件を満たすということは、第1撮影パラメーター~第N撮影パラメーターの一部が第1条件~第N条件をそれぞれ満たしていることを意味してもよい。
予め記憶された条件は、上記の実施形態に限定されない。例えば、第1撮影パラメーターのみが取得された場合、第1条件が満たされている条件が、予め記憶された条件として定義されてもよい。
本出願の一実施形態によれば、第1記憶部1300には、ステップS130で撮影条件が満たされているか否かを決定するときに評価される幾つかの撮影パラメーターを検出するためのアルゴリズムが記憶されてもよく、それぞれの撮影パラメーターを検出するためのアルゴリズムの演算量及び/又は処理速度は互いに異なっていてもよい。
図8、9及び10は、各撮影パラメーターに対応する条件が満たされているか否かを決定する速度に応じて、評価目標画像、撮影パラメーターの評価頻度、及び記憶されたキャプチャーされた画像を具体的に示す図である。
ユーザー端末1000は、予め設定されたフレームレートに従ってプレビュー画像を取得してもよい。好ましくは、プレビュー画像が取得される時間と次のプレビュー画像が取得される時間との間の休憩時間内に、各撮影パラメーターに対応する条件が満たされているか否かが決定されるとき、各プレビュー画像について、撮影パラメーターに対応する条件が満たされているか否かが評価されてもよい。
しかしながら、ユーザー端末1000が、プレビュー画像が取得される時間と次のプレビュー画像が取得される時間との間の休憩時間内に、幾つかの撮影パラメーターの少なくとも1つに対応する条件が満たされているか否かを決定できない場合、それぞれの撮影パラメーターの撮影条件について決定期間と、決定期間の間の関係の参照を設定する必要がある。
本出願の一実施形態によれば、撮影パラメーターの決定期間は、撮影パラメーターの条件が満たされているか否かを決定するのに最も時間がかかる撮影パラメーターに基づいて同期されてもよい。
図8を参照すると、第1画像フレームIF1、第2画像フレームIF2、第3画像フレームIF3、...、第10画像フレームIF10は、予め設定されたフレームレートに従って取得されてもよい。
第1画像フレームIF1の第N撮影パラメーターが満たされているか否を評価する操作S133が、第1画像フレームIF1を取得し、第2画像フレームIF2を取得した後、かつ第3画像フレームIF3を取得する前に完了したと仮定すると、第1撮影パラメーター~第N撮影パラメーターのすべては、3つの画像フレームごとに1回、各撮影パラメーターの条件が満たされているか否かを評価するように設計されてもよい。
第1画像フレームIF1、第4画像フレームIF4、第7画像フレームIF7、及び第10画像フレームIF10はそれぞれの撮影パラメーターの条件を満たしているか否かが評価されてもよく、第2画像フレームIF2、第3画像フレームIF3、第5画像フレームIF5、第6画像フレームIF6などはそれぞれの撮影パラメーターの条件を満たしているか否かが評価されなくてもよい。
本出願の別の実施形態によれば、撮影パラメーターについては、各撮影パラメーターは独立して、条件が満たされているか否かを決定するのにかかる時間を有してもよく、それぞれの撮影パラメーターの条件が満たされているか否かが並行して評価されてもよい。
図9を参照すると、第1画像フレームIF1、第2画像フレームIF2、第3画像フレームIF3、...、第10画像フレームIF10は、予め設定されたフレームレートに従って取得されてもよい。
第1撮影パラメーターが満たされているか否かを評価する操作S131は、フレーム毎に実行されてもよい。第2撮影パラメーターが満たされているか否かを評価する操作S132は、フレーム毎に実行されてもよい。第N撮影パラメーターが満たされているか否かを評価する操作S133は、3つの画像フレーム毎に実行されてもよく、条件が満たされているか否かが評価されてもよい。
図9を参照して説明した期間に従って、個々の撮影パラメーターに対応する条件が満たされているか否かが評価されるとき、条件が満たされているか否かを決定する結果は、図10に示す表のように取得されてもよい。
第1~第N撮影パラメーターが満たされているか否かを決定するS134では、第1撮影パラメーター~第N撮影パラメーターに対応する条件が満たされているか否かに基づいて決定してもよい。
本出願の一実施形態によれば、図10に示すように、第1コントローラ1500は、最新の第1~第N撮影パラメーターが満たされているか否かに基づいて、キャプチャーされた画像を記憶するか否かを決定してもよい。具体例として、キャプチャーされた画像を記憶するか否かは、第9画像フレームIF9についての操作S131が満たされているか否か、第9画像フレームIF9についての操作S132が満たされているか否か、及び、第7画像フレームIF7についての操作S133が満たされているか否かに基づいて決定されてもよい。
本出願の別の実施形態によれば、第1コントローラ1500は、最新の決定された期間内に第1撮影パラメーター又は第N撮影パラメーターが少なくとも1回満たされているか否かに基づいて、キャプチャーされた画像を記憶するか否かを決定してもよい。具体例として、キャプチャーされた画像を記憶するか否かは、第7画像フレームIF7、第8画像フレームIF8、又は第9画像フレームIF9についての操作S131が満たされているか否か、第7画像フレームIF7、第8画像フレームIF8、又は第9画像フレームIF9についての操作S132が満たされているか否か、及び、第7画像フレームIF7についての操作S133が満たされているか否かに基づいて、決定されてもよい。
図6に戻って参照すると、第1~第N撮影パラメーターがそれらに対応するそれぞれの条件を満たしていると決定すると、診断候補画像は、ステップS141で選択され、ステップS142で記憶されてもよい。診断候補画像の選択は、キャプチャーされた画像の決定に対応してもよい。
本出願の一実施形態によれば、キャプチャーされた画像(即ち、診断候補画像)は、撮影条件を満たしていると決定された画像であってもよい。図10を参照すると、第7画像フレームIF7は、キャプチャーされた画像(即ち、診断候補画像)として記憶されてもよい。本出願の別の実施形態によれば、キャプチャーされた画像(即ち、診断候補画像)は、撮影条件が満たされていると決定された直後に取得された画像であってもよい。図10を参照すると、第10画像フレームIF10は、キャプチャーされた画像(即ち、診断候補画像)として記憶されてもよい。
図6に戻って参照すると、第1~第N撮影パラメーターが条件を満たしていないと決定すると、撮影条件がチェックされた画像とは異なる画像についての撮影条件はチェックされてもよい。ここで、撮影条件がチェックされる画像は、撮影条件がチェックされた画像が取得された後に新たに取得された画像であってもよい。
本出願の一実施形態によれば、撮影パラメーターが満たされているか否かが決定される画像は、撮影条件がチェックされた画像の次の画像であってもよい。図10を参照すると、第1画像フレームIF1の撮影条件がチェックされた後、第3画像フレームIF3の撮影条件がチェックされてもよい。本出願の別の実施形態によれば、撮影パラメーターが満たされているか否かが決定される画像は、第1~第N撮影パラメーターに基づいて撮影条件が満たされているか否かが決定された時間後に最初に取得された画像であってもよい。図10を参照すると、第1画像フレームIF1の撮影条件がチェックされた後、第4画像フレームIF4の撮影条件がチェックされてもよい。
ユーザー端末1000がキャプチャーされた画像を取得すると、ユーザー端末1000は、取得したキャプチャーされた画像をサーバー2000に送信してもよい。ユーザー端末1000は、キャプチャーされた画像、及び第1撮影パラメーター~第N撮影パラメーターの少なくとも一部に関する情報を送信してもよい。例えば、ユーザー端末1000は、キャプチャーされた画像、及び診断対象DOの検出された位置に関する情報をサーバー2000に送信してもよい。具体例として、診断候補画像が「眼を含む顔画像」であり、「眼の位置」に関する情報が画像分析アルゴリズムを介して取得される場合、眼の位置に関する情報と眼を含む顔画像とは、サーバーに送信されてもよい。
図11は、本出願の一実施形態によるサーバー2000の画像検証操作を示すフローチャートである。
サーバー2000の第2コントローラ2400は、第2通信部2100を使用して、診断候補画像を受信してもよい。サーバー2000の第2コントローラ2400は、第2通信部2100を使用して、キャプチャーされた画像を受信してもよい。
本出願の一実施形態によれば、第2コントローラ2400は、キャプチャーされた画像(即ち、診断候補画像)と、キャプチャーされた画像に関するユーザー端末1000の検出値を第2記憶部2700に記憶してもよい。ユーザー端末1000の検出値は、撮影パラメーターに関するものであってもよい。
ステップS220において、サーバー2000の第2コントローラ2400は、検証部2201、2202、...、2299を使用して、キャプチャーされた画像(即ち、診断候補画像)が診断条件を満たしているか否かを決定してもよい。
本出願の一実施形態によれば、診断条件が満たされているか否かを決定するための基準は、撮影条件として決定された基準の全部又は一部に対応してもよい。診断条件が満たされているか否かの決定は、キャプチャーされた画像が診断画像として使用できるか否かを決定するために、診断対象DOに関する条件を含んでもよい。しかしながら、撮影条件で決定されたすべての撮影パラメーターを診断条件で再度決定する必要がないので、診断条件が満たされているか否かを決定するための基準は、撮影条件として決定された基準の全部又は一部に対応してもよい。
具体例として、診断条件が満たされているか否かを決定するための基準に関する診断対象DOは、撮影条件が満たされているか否かを決定するための基準に関する診断対象DOと同じであってもよい。撮影条件で決定される診断対象DOが「全身」である場合、診断条件で決定される診断対象DOも「全身」であってもよい。撮影条件で決定される診断対象DOが「眼」である場合、診断条件で決定される診断対象DOも「眼」であってもよい。
キャプチャーされた画像(即ち、診断候補画像)が診断条件を満たしていると決定すると、サーバー2000の第2コントローラ2400は、ステップS230で第2記憶部2700を使用して画像を診断画像として記憶してもよく、診断部2300を使用して診断支援情報を取得してもよい。キャプチャーされた画像(即ち、診断候補画像)が診断条件を満たしていないと決定すると、サーバー2000の第2コントローラ2400は、ステップS240において、再撮影を実行するようにユーザー端末S240に要求してもよい。
図12は、本出願の一実施形態による、診断条件が満たされているか否かを決定する方法S220を具体的に示す図である。
第2記憶部2700には、キャプチャーされた画像が診断条件を満たしているか否かを評価するために決定される1つ以上の検証パラメーターと、検証パラメーターに対応する条件が記憶されてもよい。ステップS220で診断条件が満たされているか否かを決定するときに評価される検証パラメーターは、診断対象DOに関連する1つの検証パラメーター、又はパラメーターの少なくとも一部が診断対象DOに関連する複数の検証パラメーターであってもよい。
本出願の一実施形態によれば、診断対象DOに関連する検証条件は、診断対象DOの検出全体に関連してもよい。例えば、診断対象DOが「眼」である場合、第2コントローラ2400は、キャプチャーされた画像において眼が完全に(即ち、全体的に)検出されたか否かを評価してもよい。別の例として、診断対象DOが「全身」である場合、第2コントローラ2400は、決定された関節のすべてがキャプチャーされた画像において検出されたか否かを評価してもよい。
本出願の一実施形態によれば、診断対象DOに関連する検証条件は、診断対象DOを、ユーザー端末1000から受信した撮影パラメーターと比較することで決定されてもよい。例えば、撮影条件チェックステップで取得された診断対象DOの検出領域が、検証条件チェックステップで取得された診断対象DOの検出領域と閾値以下で異なる場合に、診断対象DOに関連する検証条件は満たされていると設定されてもよい。
具体例として、診断対象DOが「眼」である場合、第2コントローラ2400は、ユーザー端末1000によって検出された眼の輪郭が、サーバー2000によって検出された眼の輪郭と閾値以下で異なる位置に存在するか否かを評価してもよい。
図13は、本出願の一実施形態による検証パラメーターを示す図である。
第1検証パラメーターVP1がランドマーク検出アルゴリズムを駆動することで取得された画像における眼のランドマークである場合、図13に示すように、キャプチャーされた画像における両眼のランドマークは、第1検証パラメーターVP1として取得されてもよい。
第2コントローラ2400は、第1検証パラメーターVP1を第1撮影パラメーターDP1と比較してもよい。具体例として、診断対象DOが「眼」である場合、第2コントローラ2400は、第1検証パラメーターVP1として検出された眼の輪郭が、ユーザー端末1000によって第1撮影パラメーターDP1として検出された眼の輪郭に含まれるか否かを評価してもよい。
あるいは、第2コントローラ2400は、第1検証パラメーターVP1を、第1撮影パラメーターDP1が評価されるときの基準となる領域と比較してもよい。具体例として、診断対象DOが「眼」である場合、第2コントローラ2400は、第1検証パラメーターVP1として検出された眼の輪郭の中心が、虹彩の位置として記憶されている領域を含むか否かを評価してもよい。
本出願の一実施形態によれば、ステップS220で診断条件が満たされているか否かを決定するときに評価される検証パラメーターは、撮影品質に関連する一般的な指標を含んでもよい。例えば、第2コントローラ2400は、キャプチャーされた画像が撮影中のユーザー端末1000の移動による揺れに対応する領域を含むか否かを評価してもよい。
サーバー2000に使用されるアルゴリズムの演算量は、ユーザー端末1000に使用されるアルゴリズムの演算量より多くてもよい。これは、ユーザー端末1000が撮影パラメーターをチェックするときにリアルタイム撮影が実行されるため、過度な操作を必要とするアルゴリズムは駆動に適さないからである。その結果、診断画像を取得するプロセスでは、撮影パラメーターを用いて分析された診断対象DOは、サーバー2000によって再度分析され、それにより正確な写真が取得される。
本出願の一実施形態によれば、サーバー2000における診断対象DOを検出するための画像分析アルゴリズムと、ユーザー端末1000における診断対象DOを検出するための画像分析アルゴリズムとは、異なる種類の画像分析アルゴリズムであってもよい。具体例として、サーバー2000における診断対象DOを検出するための画像分析アルゴリズムは、画像セグメンテーションアルゴリズムであってもよく、ユーザー端末1000における診断対象DOを検出するための画像分析アルゴリズムは、ランドマーク検出アルゴリズムであってもよい。
本出願の別の実施形態によれば、サーバー2000における診断対象DOを検出するための画像分析アルゴリズムと、ユーザー端末1000における診断対象DOを検出するための画像分析アルゴリズムとは、同じ種類の画像分析アルゴリズムであってもよく、ユーザー端末1000における画像分析アルゴリズムの演算量は、サーバー2000における画像分析アルゴリズムの演算量よりも少なくてもよい。具体例として、サーバー2000における診断対象DOを検出するための画像分析アルゴリズムは、ランドマーク検出にDlibTMのget_frontal_face_detectorを使用し、ユーザー端末1000における診断対象DOを検出するための画像分析アルゴリズムは、ランドマーク検出にGoogleTMのML kit-顔検出を使用してもよいが、制限はない。
図12に戻って参照すると、ステップS220において、キャプチャーされた画像が診断条件を満たしているか否かを決定するとき、所定の検証パラメーターのそれぞれが満たされているか否かを評価してもよい。
具体例として、第2コントローラ2400は、ステップS221において、第1検証部2201を使用してキャプチャーされた画像を分析し、第1検証パラメーターを取得し、第1検証パラメーターに対応する第1検証条件が満たされているか否かを評価してもよい。
第2コントローラ2400は、ステップS222において、第2検証部2202を使用してキャプチャーされた画像を分析し、第2検証パラメーターを取得し、第2検証パラメーターに対応する第2検証条件が満たされているか否かを評価してもよい。
第2コントローラ2400は、ステップS223において、第M検証部2299を使用してキャプチャーされた画像を分析し、第M検証パラメーターを取得し、第M検証パラメーターに対応する第M検証条件が満たされているか否かを評価してもよい。
ステップS221において第1検証パラメーターに対応する第1検証条件が満たされているか否かを決定すること、ステップS222において第2検証パラメーターに対応する第2検証条件が満たされているか否かを決定すること、...、及び、ステップS223において第M検証パラメーターに対応する第M検証条件が満たされているか否かを決定することは、逐次的に又は並行して実行されてもよい。
第1検証パラメーター~第M検証パラメーターがすべて満たされていると決定すると、第2コントローラ2400は、ステップS230において、キャプチャーされた画像を診断画像として記憶してもよい。診断画像を記憶することは、診断支援情報が取得される目標画像としてキャプチャーされた画像が決定されることを意味してもよいし、診断支援情報を取得するために必要な前処理を施した後にキャプチャーされた画像が記憶されることを意味してもよい。
診断支援情報が取得される目標画像としてキャプチャーされた画像が決定された場合、サーバー2000は、診断部2300を介して目標画像に関する診断支援情報を取得してもよい。ただし、それに限定されずに、キャプチャーされた画像を医師に送信して、医師が遠隔医療を行うことができるという形を実現することも可能である。
本出願の別の実施形態によれば、目標画像が診断画像として使用される場合、画像は、診断対象DOに関連付けられた検証パラメーターを参照して、クロッピングされて記憶されてもよい。これについての詳細な説明は、図14を参照して後述する。
本出願の一実施形態によれば、第1~第M検証パラメーターが条件を満たしていないと決定すると、ユーザー端末1000は、再撮影を実行するように要求される場合がある。本出願の別の実施形態によれば、第1~第M検証パラメーターが条件を満たしていないと決定するが、ユーザー端末1000によって検出された診断対象DOの位置とサーバー2000によって検出された診断対象DOの位置とが互いに僅かに異なる場合、キャプチャーされた画像の後処理は、サーバー2000によって検出された診断対象DOの位置が参照領域に配置されるように、平行移動の形で実行されてもよい。
図14は、本出願の一実施形態による、診断画像を記憶し、それを使用して診断支援情報を取得する操作を示す図である。
第2コントローラ2400は、ステップS231でキャプチャーされた画像に対して前処理を実行して診断画像を取得し、取得した診断画像をステップS232で記憶してもよい。また、第2コントローラ2400は、診断画像を診断アルゴリズムに供給して、目標疾患に関する情報を取得してもよい。
キャプチャーされた画像に対して実行された前処理は、診断対象DOの領域以外の領域が診断アルゴリズムでノイズとして使用されないように、クロッピングを実行する形であってもよい。
第2コントローラ2400は、ステップS231において、診断対象DOに関連する検証パラメーターに基づいて、診断画像を前処理してもよい。具体例として、第2コントローラ2400は、診断対象DOを含む領域のみが残るように、診断対象DOに関連する検証パラメーターである第1検証パラメーターVP1を参照してクロッピングを実行することによって、診断画像を取得してもよい。あるいは、第2コントローラ2400は、ステップS231において、診断対象DOに関連する検証パラメーターと診断対象DOに関連する撮影パラメーターとに基づいて、診断画像を前処理してもよい。
診断のために使用される診断画像を取得する具体的な方法が記載されている。診断画像を取得する上記の方法は、画像を分析することによって疾患に関する情報を取得する任意の診断装置に適用されてもよい。
以下、診断画像を取得する上記の方法の理解を助けるために、本出願で開示される技術的思想について、幾つかの具体的な実施形態を参照して明らかにする。
ユーザー端末1000は、少なくとも第1撮影パラメーターが第1撮影条件を満たしているか否かを評価してもよい。第1撮影パラメーターは、診断対象DOに関連してもよい。ユーザー端末1000は、プレビュー画像に基づいて第1撮影パラメーターを取得し、取得した第1撮影パラメーターが第1撮影条件を満たしているか否かを評価してもよい。
第1撮影パラメーターが取得された場合、第1画像分析アルゴリズムが使用されてもよい。第1画像分析アルゴリズムは、画像における診断対象DOにラベルを付けることによってトレーニングされた検出モデルであってもよい。
ユーザー端末1000は、プレビュー画像に基づいて第1撮影パラメーターを取得し、取得した第1撮影パラメーターが第1撮影条件を満たしているか否かを評価し、第1撮影条件が満たされていると評価すると、キャプチャーされた画像を取得してもよい。
ユーザー端末1000は、キャプチャーされた画像と第1画像分析アルゴリズムの分析値をサーバー2000に送信してもよい。
サーバー2000は、少なくとも第1検証パラメーターが第1検証条件を満たしているか否かを評価してもよい。第1検証パラメーターは、診断対象DOに関連してもよい。サーバー2000は、キャプチャーされた画像に基づいて第1検証パラメーターを取得し、取得した第1検証パラメーターが第1検証条件を満たしているか否かを評価してもよい。
第1検証パラメーターが取得された場合、第2画像分析アルゴリズムが使用されてもよい。第2画像分析アルゴリズムは、画像における診断対象DOにラベルを付けることによってトレーニングされた検出モデルであってもよい。
サーバー2000は、キャプチャーされた画像に基づいて第1検証パラメーターを取得し、取得した第1検証パラメーターが第1検証条件を満たしているか否かを評価し、第1検証条件が満たされていると評価すると、キャプチャーされた画像を診断画像として記憶してもよい。
図15a及び15bは、本出願の一実施形態による眼疾患関連画像の方法を示す図である。
本出願の一実施形態によれば、第1画像分析アルゴリズムは第1ランドマーク検出アルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象DOは眼であってもよく、第1撮影パラメーターは眼のランドマークであってもよい。第1撮影パラメーターについては、第1ランドマーク検出アルゴリズムを介して得られた顔のランドマークの中から眼のランドマークを選択してもよいし、第1ランドマークアルゴリズムを介して眼のランドマークのみを取得してもよい(図15aを参照)。本出願の一実施形態によれば、第1ランドマーク検出アルゴリズムが瞳孔ランドマーク及び/又は虹彩ランドマークを検出する場合、第1撮影パラメーターは、瞳孔ランドマーク及び/又は虹彩ランドマークに基づく瞳孔位置であってもよい。本出願の別の実施形態によれば、第1ランドマーク検出アルゴリズムが眼球-眼瞼境界を検出する場合、第1撮影パラメーターは、眼球-眼瞼境界に基づく瞳孔の可能な位置の範囲であってもよい。
第2画像分析アルゴリズムは第2ランドマーク検出アルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象DOは眼であってもよく、第1検証パラメーターは眼のランドマークであってもよい。同様に、第1検証パラメーターについては、第2ランドマーク検出アルゴリズムを介して得られた顔のランドマークの中から眼のランドマークを選択してもよいし、第2ランドマークアルゴリズムを介して眼のランドマークのみを取得してもよい。本出願の一実施形態によれば、第2ランドマーク検出アルゴリズムが瞳孔ランドマーク及び/又は虹彩ランドマーク検出する場合、第1検証パラメーターは、瞳孔ランドマーク及び/又は虹彩ランドマークに基づく瞳孔位置であってもよい。本出願の別の実施形態によれば、第2ランドマーク検出アルゴリズムが眼球-眼瞼境界を検出する場合、第1検証パラメーターは、眼球-眼瞼境界に基づく瞳孔の可能な位置の範囲であってもよい。
ここで、本出願の一実施形態によれば、第1撮影条件は、i)第1ランドマーク検出アルゴリズムを介して得られた眼のランドマークと、ii)予め記憶された眼の領域とが閾値以下で互いに異なる条件に設定されてもよい。本出願の別の実施形態によれば、第1撮影条件は、i)第1ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び/又は瞳孔の可能な位置の範囲と、ii)予め記憶された瞳孔位置及び/又は瞳孔の可能な位置の範囲とが閾値以下で互いに異なる条件に設定されてもよい。
ここで、本出願の一実施形態によれば、第1検証条件は、i)第1ランドマーク検出アルゴリズムを介して得られた眼のランドマークと、ii)第2ランドマーク検出アルゴリズムを介して得られた眼のランドマークとが閾値以下で互いに異なる条件に設定されてもよい。本出願の別の実施形態によれば、第1検証条件は、i)第1ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び/又は瞳孔の可能な位置の範囲と、ii)第2ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び/又は瞳孔の可能な位置の範囲とが閾値以下で互いに異なる条件に設定されてもよい。
本出願の別の実施形態によれば、第1画像分析アルゴリズムは第1ランドマーク検出アルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象DOは眼であってもよく、第1撮影パラメーターは眼のランドマークであってもよい。第1撮影パラメーターについては、第1ランドマーク検出アルゴリズムを介して得られた顔のランドマークの中から眼のランドマークを選択してもよいし、第1ランドマークアルゴリズムを介して眼のランドマークのみを取得してもよい(図15aを参照)。本出願の一実施形態によれば、第1ランドマーク検出アルゴリズムが瞳孔ランドマーク及び/又は虹彩ランドマークを検出する場合、第1撮影パラメーターは、瞳孔ランドマーク及び/又は虹彩ランドマークに基づく瞳孔位置であってもよい。本出願の別の実施形態によれば、第1ランドマーク検出アルゴリズムが眼球-眼瞼境界を検出する場合、第1撮影パラメーターは、眼球-眼瞼境界に基づく瞳孔の可能な位置の範囲であってもよい。
第2画像分析アルゴリズムは画像セグメンテーションアルゴリズムであってもよく、目標眼疾患は甲状腺眼症であってもよく、診断対象DOは眼であってもよく、第1検証パラメーターは、画像セグメンテーションアルゴリズムを使用して予測された虹彩領域であってもよい(図15bを参照)。本出願の一実施形態によれば、画像セグメンテーションアルゴリズムが眼球領域を予測する場合、第1検証パラメーターは、眼球-眼瞼境界の内側の領域(即ち、眼球領域)に基づく瞳孔の可能な位置の範囲であってもよい。本出願の別の実施形態によれば、画像セグメンテーションアルゴリズムが角膜領域を予測する場合、第1検証パラメーターは、角膜境界の内側の領域(即ち、角膜領域)に基づく瞳孔位置であってもよい。
ここで、本出願の一実施形態によれば、第1撮影条件は、i)第1ランドマーク検出アルゴリズムを介して得られた眼のランドマークと、ii)予め記憶された眼の領域とが閾値以下で互いに異なる条件に設定されてもよい。本出願の別の実施形態によれば、第1撮影条件は、i)第1ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び/又は瞳孔の可能な位置の範囲と、ii)予め記憶された瞳孔位置及び/又は瞳孔の可能な位置の範囲とが閾値以下で互いに異なる条件に設定されてもよい。
ここで、本出願の一実施形態によれば、第1検証条件は、画像セグメンテーションアルゴリズムを使用して予測された虹彩領域の中心が、第1ランドマーク検出アルゴリズムを介して得られた眼のランドマーク内に含まれる条件に設定されてもよい。本出願の別の実施形態によれば、第1検証条件は、i)第1ランドマーク検出アルゴリズムを介して得られた瞳孔位置及び/又は瞳孔の可能な位置の範囲と、ii)画像セグメンテーションアルゴリズムを介して得られた瞳孔位置及び/又は瞳孔の可能な位置の範囲とが閾値以下で互いに異なる条件に設定されてもよい。
本出願の一実施形態によれば、診断画像に基づいて診断支援情報を取得するための診断モジュールは、上記の手順により検証された画像を使用してトレーニングされてもよい。言い換えれば、診断モジュールをトレーニングする場合でも、上記の画像検証方法を介して画像を取得し、より一貫性のあるデータを使用して診断モジュールをトレーニングすることで、精度を向上させる。
図16a及び16bは、本出願の一実施形態による、身体のアンバランス関連画像を取得する方法を示す図である。
本出願の一実施形態によれば、第1画像分析アルゴリズムは対象検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象DOは全身であってもよく、第1撮影パラメーターは、全身に対応する境界ボックスであってもよい(図16aを参照)。第2画像分析アルゴリズムは対象検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象DOは全身であってもよく、第1検証パラメーターは、全身に対応する境界ボックスであってもよい。
ここで、第1撮影条件は、i)第1画像分析アルゴリズムを介して得られた境界ボックスと、ii)予め記憶された全身領域とが閾値以下で互いに異なる条件に設定されてもよい。
ここで、第1検証条件は、i)第2画像分析アルゴリズムを介して得られた境界ボックスと、ii)第1画像分析アルゴリズムを介して得られた境界ボックスとが閾値以下で互いに異なる条件に設定されてもよい。
本出願の別の実施形態によれば、第1画像分析アルゴリズムは対象検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象DOは全身であってもよく、第1撮影パラメーターは、全身に対応する境界ボックスであってもよい(図16aを参照)。第2画像分析アルゴリズムは姿勢検出アルゴリズムであってもよく、目標疾患は身体のアンバランスであってもよく、診断対象DOは全身であってもよく、第1検証パラメーターは関節に対応するラインであってもよい。
ここで、第1撮影条件は、i)第1画像分析アルゴリズムを介して得られた境界ボックスと、ii)予め記憶された全身領域とが閾値以下で互いに異なる条件に設定されてもよい。
ここで、第1検証条件は、第2画像分析アルゴリズムを介して取得された関節に対応するラインが、第1画像分析アルゴリズムを介して取得された境界ボックスの内側にあるという条件に設定されてもよい。
個別には示されていないが、上記の説明に限定されることなく、以下の形態が実現され得る。ユーザー端末1000とサーバー2000は、脳卒中診断のために顔の特徴点を検出したか否かを決定してもよいし、又は、ユーザー端末1000は、顔の特徴点を検出したか否かを決定してもよく、サーバー2000は、顔の特徴点に基づいて特定の部位の縦横比を決定してもよい。ただし、これに限定されるものではない。
また、本明細書の概念の説明では、ユーザー端末1000が画像撮影を実行し、サーバー2000が画像検証を実行すると説明したが、これは説明の便宜のための一例に過ぎない。以下の形態が実現され得る。ユーザー端末1000は、本明細書で説明されたすべての操作を実行してもよい。又は、ユーザー端末1000は、画像取得と記憶のみを実行し、サーバー2000は、撮影パラメーターが基準を満たしているか否かと、検証パラメーターが基準を満たしているか否かを決定する。ただし、これに限定されるものではない。
また、本明細書の概念の説明では、上記の説明は、撮影装置1000がユーザー端末であると仮定して行ったが、これは説明の便宜のための一例に過ぎない。撮影装置1000は、画像を撮るためのユーザー端末、眼底画像やX線画像を撮るためのユーザー端末であってもよいし、又はユーザー端末以外の医療装置であってもよい。
上述した実施形態による方法は、コンピューター実行可能なプログラムとして書かれてもよく、コンピューター読取可能な記録媒体を使用してプログラムを実行する汎用デジタルコンピューターで実装されてもよい。また、本開示の実施形態で使用され得るデータ構造、プログラム命令、又はデータファイルは、様々な手段を介してコンピューター読取可能な記録媒体に記録されてもよい。コンピューター読取可能な記録媒体の例は、コンピューターシステムにより読み取り可能なデータが記憶されるすべての種類の記憶装置を含んでもよい。コンピューター読取可能な記録媒体の例は、プログラム命令を記憶及び実装するように特に構成された、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体と、CD-ROM、及びDVDなどの光学式媒体と、フロプティカルディスクなどの光磁気媒体と、ROM、RAM、フラッシュメモリなどのハードウェア装置と、を含む。また、コンピューター読取可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送するための伝送媒体であってもよい。プログラム命令の例は、コンパイラーによって生成されたものなどの、及びインタープリターを使用するコンピューターで実行される高級言語コードなどを含む。
限定された実施形態および図面を参照して本出願の実施形態を説明したが、本明細書に開示された技術的思想又は実施形態は、上述した実施形態に限定されるものではなく、当業者であれば、本明細書から様々な修正及び変更を行うことができることを理解するであろう。従って、本出願の範囲は、上記の説明ではなく特許請求の範囲によって定義され、それらの均等物はすべて本開示の範囲及び精神に含まれる。

Claims (31)

  1. 診断システムであって、画像を撮るように構成されたユーザー端末と、前記画像に基づいて診断支援情報を取得するように構成されたサーバーとを備え、
    前記ユーザー端末は、
    第1画像分析アルゴリズムを用いて第1画像を分析することにより、診断対象の検出された位置と、診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得し、
    前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定し、
    前記予め記憶された条件が満たされていると決定すると、前記第1撮影パラメーター及びキャプチャーされた画像を前記サーバーに送信するように構成され、
    前記サーバーは、
    第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得し、
    前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定し、
    前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、前記診断支援情報を取得するように構成され、
    前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、
    前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である、ことを特徴とする診断システム。
  2. 前記第1撮影パラメーターは、第1画像における前記診断対象の検出された位置に関する情報を含み、
    前記ユーザー端末は、前記第1撮影パラメーターと予め記憶された診断対象領域とを比較することによって、前記予め記憶された条件が満たされているか否かを決定するように構成される、ことを特徴とする請求項1に記載の診断システム。
  3. 前記第1画像分析アルゴリズムは、第1ランドマーク検出アルゴリズムであり、
    前記目標疾患は甲状腺眼症であり、前記診断対象は眼であり、前記第1撮影パラメーターは眼のランドマークである、ことを特徴とする請求項2に記載の診断システム。
  4. 前記第1検証パラメーターは、前記キャプチャーされた画像における前記診断対象の検出された位置に関する情報を含む、ことを特徴とする請求項2に記載の診断システム。
  5. 前記第2画像分析アルゴリズムは、第2ランドマーク検出アルゴリズムであり、
    前記目標疾患は甲状腺眼症であり、前記診断対象は眼であり、前記第1検証パラメーターは眼のランドマークである、ことを特徴とする請求項4に記載の診断システム。
  6. 前記第2画像分析アルゴリズムは、画像セグメンテーションアルゴリズムであり、
    前記目標疾患は甲状腺眼症であり、前記診断対象は眼であり、前記第1検証パラメーターは虹彩領域である、ことを特徴とする請求項4に記載の診断システム。
  7. 前記ユーザー端末は、予め設定されたフレームレートに従って前記画像を取得し、前記第1画像分析アルゴリズムを用いて取得された画像の少なくとも一部を分析し、前記取得された画像の1つを前記キャプチャーされた画像として記憶し、前記キャプチャーされた画像を前記サーバーに送信するように構成される、ことを特徴とする請求項1に記載の診断システム。
  8. 前記ユーザー端末は、前記第1画像のための前記第1撮影パラメーターが前記第1条件を満たしていないと決定すると、前記第1画像分析アルゴリズムを用いて第2画像を分析するように構成され、
    前記第2画像は、前記第1画像のための前記第1撮影パラメーターが前記第1条件を満たしていないと決定した後に取得される、ことを特徴とする請求項1に記載の診断システム。
  9. 前記ユーザー端末は、前記第1画像のための前記第1撮影パラメーターが前記第1条件を満たしていると決定されると、第2画像をキャプチャーされた画像としてサーバーに送信するように構成され、
    前記第2画像は、前記第1画像のための前記第1撮影パラメーターが前記第1条件を満たしていると決定された後に取得される、ことを特徴とする請求項1に記載の診断システム。
  10. 前記第1画像分析アルゴリズムは、リアルタイム処理の利点を有するように、前記第2画像分析アルゴリズムよりも少ない演算量を有する、ことを特徴とする請求項1に記載の診断システム。
  11. 前記ユーザー端末は、前記第1画像のための第2撮影パラメーターを取得するように構成され、
    前記予め記憶された条件は、前記第2撮影パラメーターが第2条件を満たしていることをさらに含む、ことを特徴とする請求項1に記載の診断システム。
  12. 前記ユーザー端末では、前記第1撮影パラメーターを取得する期間と、前記第2撮影パラメーターを取得する期間とが互いに異なる、ことを特徴とする請求項11に記載の診断システム。
  13. 前記ユーザー端末は、前記第1画像のための第2~第N撮影パラメーターを取得するように構成され、
    前記予め記憶された条件は、前記第2~第N撮影パラメーターの少なくとも一部が対応する第2~第N条件にそれぞれ満たしていることをさらに含み、
    前記Nは、2以上の自然数である、ことを特徴とする請求項1に記載の診断システム。
  14. 前記サーバーは、前記キャプチャーされた画像のための第2~第M検証パラメーターを取得するように構成され、
    前記キャプチャーされた画像を前記診断画像として使用するか否かを決定することは、前記第2~第M検証パラメーターが満たされているか否かを決定することをさらに含み、前記Mは、2以上の自然数である、ことを特徴とする請求項13に記載の診断システム。
  15. 前記サーバーは、前記診断画像及び診断モデルを使用して、前記診断支援情報を取得するように構成され、
    前記診断モデルは、診断対象を含む画像と、前記目標疾患が発生したか否かに関する情報とを使用してトレーニングされる、ことを特徴とする請求項1に記載の診断システム。
  16. 診断画像検証方法であって、
    第1画像を取得するステップと、
    第1画像分析アルゴリズムを用いて前記第1画像を分析することにより、診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1撮影パラメーターを取得するステップと、
    前記第1撮影パラメーターが第1条件を満たしていることを含む予め記憶された条件が満たされているか否かを決定するステップと、
    前記予め記憶された条件が満たされていると決定するすると、前記第1撮影パラメーター及びキャプチャーされた画像を記憶するステップと、
    第2画像分析アルゴリズムを用いて前記キャプチャーされた画像を分析することにより、前記診断対象の検出された位置と、前記診断対象が検出されたか否かのうちの少なくとも1つに関する情報を含む第1検証パラメーターを取得するステップと、
    前記キャプチャーされた画像を、前記第1検証パラメーターと前記第1撮影パラメーターとの比較を含む診断画像として使用するか否かを決定するステップと、
    前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して、診断支援情報を取得するステップと、を含み、
    前記第1画像分析アルゴリズムと前記第2画像分析アルゴリズムは異なるアルゴリズムであり、
    前記診断対象は、前記診断支援情報が取得される目標疾患に関連する身体部位である、ことを特徴とする診断画像検証方法。
  17. 前記第1撮影パラメーターは、前記第1画像における前記診断対象の検出された位置に関する情報を含み、
    前記予め記憶された条件が満たされているか否かを決定することは、前記第1撮影パラメーターと予め記憶された診断対象領域とを比較することを含む、ことを特徴とする請求項16に記載の診断画像検証方法。
  18. 前記第1画像分析アルゴリズムは、第1ランドマーク検出アルゴリズムであり、
    前記目標疾患は甲状腺眼症であり、前記診断対象は眼であり、前記第1撮影パラメーターは眼のランドマークである、ことを特徴とする請求項17に記載の診断画像検証方法。
  19. 前記第1検証パラメーターは、前記キャプチャーされた画像における前記診断対象の検出された位置に関する情報を含む、ことを特徴とする請求項17に記載の診断画像検証方法。
  20. 前記第2画像分析アルゴリズムは、第2ランドマーク検出アルゴリズムであり、
    前記目標疾患は甲状腺眼症であり、前記診断対象は眼であり、前記第1検証パラメーターは眼のランドマークである、ことを特徴とする請求項19に記載の診断画像検証方法。
  21. 前記第2画像分析アルゴリズムは、画像セグメンテーションアルゴリズムであり、
    前記目標疾患は甲状腺眼症であり、前記診断対象は眼であり、前記第1検証パラメーターは虹彩領域である、ことを特徴とする請求項19に記載の診断画像検証方法。
  22. 予め設定されたフレームレートに従って画像を取得するステップと、
    前記第1画像分析アルゴリズムを用いて取得された画像の少なくとも一部を分析するステップと、
    前記取得された画像の少なくとも一部について、前記予め記憶された条件が満たされていると決定すると、前記取得された画像の1つを前記キャプチャーされた画像として記憶するステップと、を含む、ことを特徴とする請求項16に記載の診断画像検証方法。
  23. 前記第1画像のための前記第1撮影パラメーターが第1条件を満たしていないと決定すると、第2画像を取得するステップと、
    前記第1分析アルゴリズムを用いて前記第2画像を分析することによって、前記第2画像のための第1撮影パラメーターを取得するステップと、
    前記予め記憶された条件が満たされているか否かを決定するために、前記第2画像のための前記第1撮影パラメーターが前記第1条件を満たしているか否かを決定するステップと、を含む、ことを特徴とする請求項16に記載の診断画像検証方法。
  24. 前記第1画像のための前記第1撮影パラメーターが前記第1条件を満たしていると決定すると、第2画像を取得するステップと、
    前記第2画像を前記キャプチャーされた画像として記憶するステップと、を含む、ことを特徴とする請求項16に記載の診断画像検証方法。
  25. 前記第1画像分析アルゴリズムは、リアルタイム処理の利点を有するように、前記第2画像分析アルゴリズムよりも少ない演算量を有する、ことを特徴とする請求項16に記載の診断画像検証方法。
  26. 前記第1画像のための第2撮影パラメーターを取得するステップをさらに含み、
    前記予め記憶された条件は、前記第2撮影パラメーターが第2条件を満たしていることをさらに含む、ことを特徴とする請求項16に記載の診断画像検証方法。
  27. 前記第1撮影パラメーターを取得する期間と、前記第2撮影パラメーターを取得する期間とが互いに異なる、ことを特徴とする請求項26に記載の診断画像検証方法。
  28. 前記第1画像のための第2~第N撮影パラメーターを取得するステップをさらに含み、前記Nは、2以上の自然数であり、
    前記予め記憶された条件は、前記第2~第N撮影パラメーターの少なくとも一部が対応する第2~第N条件にそれぞれ満たしていることをさらに含む、ことを特徴とする請求項16に記載の診断画像検証方法。
  29. 前記キャプチャーされた画像のための第2~第M検証パラメーターを取得するステップをさらに含み、前記Mは、2以上の自然数であり、
    前記キャプチャーされた画像を前記診断画像として使用するか否かを決定するステップは、前記第2~第M検証パラメーターが満たされているか否かを決定することをさらに含む、ことを特徴とする請求項28に記載の診断画像検証方法。
  30. 前記キャプチャーされた画像を前記診断画像として使用することを決定すると、前記診断画像を使用して前記診断支援情報を取得するステップは、前記診断画像と診断モデルを使用して前記診断支援情報を取得することを含み、
    前記診断モデルは、前記診断対象を含む画像と、前記目標疾患が発生したか否かに関する情報とを使用してトレーニングされる、ことを特徴とする請求項16に記載の診断画像検証方法。
  31. 請求項16~30のいずれか一項に記載の方法を実行するためのプログラムが記録されたコンピューター読取可能な記録媒体。
JP2023540576A 2022-03-21 2023-03-16 画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体 Pending JP2024514994A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2022-0034726 2022-03-21
KR1020220034726A KR102459723B1 (ko) 2022-03-21 2022-03-21 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
PCT/KR2023/003497 WO2023182727A1 (en) 2022-03-21 2023-03-16 Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon

Publications (1)

Publication Number Publication Date
JP2024514994A true JP2024514994A (ja) 2024-04-04

Family

ID=88067202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023540576A Pending JP2024514994A (ja) 2022-03-21 2023-03-16 画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体

Country Status (3)

Country Link
US (1) US11972603B2 (ja)
EP (1) EP4281980A1 (ja)
JP (1) JP2024514994A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009064911A2 (en) 2007-11-13 2009-05-22 The Regents Of The University Of Michigan Method and apparatus for detecting diseases associated with the eye
KR20140088434A (ko) 2013-01-02 2014-07-10 삼성전자주식회사 환자별 특성을 기반으로 한 mri 다변수 영상 획득 지원 장치 및 방법
JP2020034999A (ja) * 2018-08-27 2020-03-05 オリンパス株式会社 医用画像管理システム,医用画像取得装置,医用画像データファイルの取得方法
KR102117860B1 (ko) 2018-10-11 2020-06-02 주식회사 핏펫 동물의 안면 및 비문 이미지에 기초하여 동물의 개체 정보를 제공하는 컴퓨터 프로그램 및 단말기
KR20200105079A (ko) 2019-02-28 2020-09-07 모니터코퍼레이션 주식회사 의료 영상용 게이트웨이 장치
KR20210000553A (ko) 2019-06-25 2021-01-05 서울대학교병원 인공 지능 기반 진단 보조 시스템
DE112020005111T5 (de) * 2019-10-23 2022-11-03 Fujifilm Corporation System und Verfahren für maschinelles Lernen, Integrationsserver, Informationsverarbeitungsvorrichtung, Programm und Inferenzmodellerzeugungsverfahren
US20220313077A1 (en) * 2021-04-01 2022-10-06 CorneaCare Inc. Method of and system for automated machine-assisted detection of ocular disease conditions in human eyes captured using visible illumination light sources and digital camera systems
KR102459723B1 (ko) 2022-03-21 2022-10-27 주식회사 타이로스코프 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체

Also Published As

Publication number Publication date
US20230298328A1 (en) 2023-09-21
EP4281980A1 (en) 2023-11-29
US11972603B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
US11982803B2 (en) Pathologic microscope, display module, control method and apparatus, and storage medium
KR101864380B1 (ko) 수술영상데이터 학습시스템
JP6264492B1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
KR102298412B1 (ko) 수술영상데이터 학습시스템
KR102459723B1 (ko) 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
US20190130565A1 (en) Method of processing medical image, and medical image processing apparatus performing the method
KR101978548B1 (ko) 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체
US11710350B2 (en) Sensor fusion eye tracking
EP4134981A1 (en) Method for acquiring side image for eye protrusion analysis, image capture device for performing same, and recording medium
KR102462975B1 (ko) 인공지능 기반의 자궁경부암 검진 서비스 시스템
US20230337913A1 (en) Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
JP2024514994A (ja) 画像検証方法、それを実行する診断システム、及びその方法が記録されたコンピューター読取可能な記録媒体
US20230284968A1 (en) System and method for automatic personalized assessment of human body surface conditions
KR100686517B1 (ko) 동공 모양 모델링 방법
CN111557639A (zh) 眼底检查系统
CN116646079B (zh) 一种眼科病症辅助诊断方法及装置
KR102264772B1 (ko) 호흡 패턴을 이용한 경도인지 장애 진단 및 훈련 시스템
KR102477699B1 (ko) 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
US20240164757A1 (en) Deep learning-based real-time eye-gaze tracking for portable ultrasound method and apparatus
CN115279254A (zh) 程序、信息处理装置和终端装置
CN116434204A (zh) 一种基于PIPNet网络改进的驾驶员疲劳检测方法、设备及存储介质
CN115428011A (zh) 估计用学习装置和估计用学习方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230630