KR102313667B1 - 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법 - Google Patents

스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법 Download PDF

Info

Publication number
KR102313667B1
KR102313667B1 KR1020210036638A KR20210036638A KR102313667B1 KR 102313667 B1 KR102313667 B1 KR 102313667B1 KR 1020210036638 A KR1020210036638 A KR 1020210036638A KR 20210036638 A KR20210036638 A KR 20210036638A KR 102313667 B1 KR102313667 B1 KR 102313667B1
Authority
KR
South Korea
Prior art keywords
image
breast cancer
patient
ultrasound
ultrasound scanner
Prior art date
Application number
KR1020210036638A
Other languages
English (en)
Inventor
유재천
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210036638A priority Critical patent/KR102313667B1/ko
Application granted granted Critical
Publication of KR102313667B1 publication Critical patent/KR102313667B1/ko
Priority to US18/253,666 priority patent/US20240008839A1/en
Priority to PCT/KR2022/002933 priority patent/WO2022203229A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312—Breast evaluation or disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/40—Positioning of patients, e.g. means for holding or immobilising parts of the patient's body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/429—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by determining or monitoring the contact between the transducer and the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A61B5/0079—Devices for viewing the surface of the body, e.g. camera, magnifying lens using mirrors, i.e. for self-examination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Reproductive Health (AREA)
  • Gynecology & Obstetrics (AREA)
  • Acoustics & Sound (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Vascular Medicine (AREA)

Abstract

본 발명은 인공지능의 도움을 받아 의사의 도움 없이, 자기 스스로 유방암을 자가 진단하기 위한 장치로, 스마트 미러를 통해 자가 진단하는 환자에게 피드백 제어 명령을 사물 영상으로 전달하는 증강현실을 통해 초음파 스캐너의 올바른 자세 교정을 유도하고, 열화상 이미지와 초음파 이미지에 의해 학습된 인공지능 신경망에 의해 유방암을 환자가 자가진단 할 수 있는 열화상 초음파 스캐너 장치 및 이를 이용한 자가 검사 방법을 제공한다.

Description

스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법{AI THERMAL-IMAGING ULTRASOUND SCANNER FOR DETECTING BREAST CANCER USING SMART MIRROR, AND BREAST CANCER SELF-DIAGNOSIS METHOD USING THE SAME}
본 발명은 인공지능의 도움을 받아 의사의 도움 없이, 자기 스스로 유방암을 자가 진단하기 위한 장치로, 보다 상세하게는, 초음파 프로브(probe)와 환부 간의 접촉 압력을 측정하기 위한 압력 센서를 구비하고, 스마트 미러를 이용하여 자가 진단하는 환자에게 피드백 제어 명령을 사물 영상으로 전달하는 증강현실을 통해 초음파 스캐너의 올바른 자세 교정을 유도하고, 열화상 이미지와 초음파 이미지에 의해 학습된 인공지능 신경망을 이용하여 환자가 유방암을 자가진단 할 수 있는 열화상 초음파 스캐너 장치 및 이를 이용한 자가 검사 방법에 관한 것이다.
최근 의료장비 제작기술과 함께 디지털 영상처리 기술이 임상 진단 분야에 적용되어 영상의학의 많은 발전이 이루어 지고 있다.
특히 초음파 진단은 CT나 X선 의료장비에 비해 유해한 방사선 노출을 피할 수 있어 사람의 몸에 해롭지 않고, 비침습성(non-invasive) 방법으로 인체의 단면 촬영 영상을 얻을 수 있을 뿐만 아니라, 휴대가 간편하고 비용이 저렴하다는 특징이 있다. 특히, 실시간으로 영상을 얻을 수 있어, 실시간으로 장기의 운동 상태를 관찰할 수 있는 장점이 있다.
이러한 초음파 진단 기술은 X선을 이용한 유방 촬영술과 함께 유방암 검사에 널리 활용되고 있다.
그러나 유방 초음파 진단은 초음파 스캐너의 자세(기울기, 입사각, 접촉 압력, 위치 등)가 올바르게 되지 않은 경우, 초음파 이미지의 낮은 해상도와 더불어 심한 노이즈 발생 때문에 양질의 초음파 이미지를 얻는 것이 불가능하다. 더욱이 초음파 스캐너는 환부 위치마다 접촉 압력, 기울기를 달리해주어야 하기 때문에 숙련된 전문가가 아니면 초음파 스캐너를 다루는 것이 사실상 어려워 가정에서 자가 검사는 어렵다.
나아가, 유방 초음파 이미지만으로는 유방암 판별에 정확도가 떨어져 유방 촬영술과 병행하여 유방암을 진단을 시행하고 있으나, 유방 촬영술은 X선을 사용하는 방사능 노출 촬영인지라 환자에게 자가진단용으로 사용하는 것은 불가하다.
한편, 과학자들은 유방암에 걸릴 경우 해당 부분의 피부 온도가 상승한다는 사실을 알게 되었지만, 피부 온도 측정에 기반한 열화상 측정법을 사용한 유방암 검사는 많은 오진을 수반할 수 있어 표준 검사법으로 적용하기 힘들다. 하지만, 열화상 측정법은 비접촉 방식으로 측정하기 때문에 여전히 많은 과학자, 의료장비 업계와 환자들의 관심을 받고 있다.
유방암은 조기에만 발견하면 완치율이 높은 질환으로, 전 세계적으로 유방암에 대한 자가 진단의 중요성이 부각되면서 많은 자가 진단 방법이 널리 알려져 있으나, 전문 장비를 이용한 자가 진단이 아니기 때문에 측정의 정확도 및 체계적인 데이터 관리에 어려운 문제가 많이 있어 왔다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2020-0144821호에 개시되어 있다.
전술한 본원의 과제 해결 수단에 의하면, 열화상 이미지와 초음파 이미지를 유방암 검사에 같이 함께 사용하여 진단의 정확도를 높이고, 자가 진단할 수 있는 열화상 초음파 스캐너 장치를 제공하는 것을 목적으로 한다.
예컨대, 환자는 평상시 스마트 미러를 보면서, 스마트 미러 상에 설치된 열화상 카메라와 열화상 인공지능 신경망을 이용하여 환자의 유방암 징후를 판단하게 되고, 유방암이 의심되는 경우, 스마트 미러는 환자에게 유방암 의심 영역(유방암 핫 스폿)에 대해 초음파 스캐너를 사용한 유방암 재 진단을 요청할 수 있다.
이때, 스마트 미러는 최적화된 초음파 스캐너의 자세 정보(입사각, 압력, 위치)를 환자에게 제공하기 위해, 증강 현실을 사용한 피드백 제어 명령 수단을 통해 초음파 스캐너의 자세 교정을 환자에게 유도하는 동시에, 초음파 이미지로 학습된 초음파 인공지능 신경망에 의해 환자의 유방암을 자가진단 할 수 있는 열화상 초음파 스캐너 장치 및 이를 이용한 자가 검사 방법을 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 측면은 스마트 미러 및 초음파 스캐너를 포함하는, 인공지능형 열화상 초음파 스캐너 장치를 제공한다.
본원의 일 구현예에 따르면, 상기 초음파 스캐너가 작동하는 모드에서, 상기 스마트 미러의 거울에 비치는 환자의 모습을 관찰하면서 상기 초음파 스캐너를 사용하여 질병을 진단하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 따르면, 상기 스마트 미러는 환자의 신체로부터 방출되는 열복사를 감지하여 2차원의 열화상 이미지를 얻기 위한 열화상 카메라, 상기 환자의 신체 이미지를 얻기 위한 복수개의 이미지 센서, 상기 초음파 스캐너로부터 수집된 초음파 이미지 정보를 수신하기 위한 무선 수신부, 상기 초음파 스캐너의 자세 정보를 체크하여, 검사부위별로 최적화된 초음파 스캐너 자세를 유도하기 위해 환자에게 피드백 제어 명령을 음성 서비스로 전달하거나 환자에게 초음파 진단에 필요한 안내 및 지시사항을 음성 서비스로 알려주는 스피커, 상기 초음파 스캐너의 자세 정보를 체크하여, 검사부위별로 최적화된 초음파 스캐너 자세를 유도하기 위해 환자에게 피드백 제어 명령을 가상의 사물 영상을 통해 전달하거나 환자에게 초음파 진단에 필요한 안내 및 지시사항을 가상의 사물 영상을 통해 알려주는 디스플레이 패널, 상기 디스플레이 패널 상에 가상의 사물 영상을 발생시키는 가상 사물 영상부, 상기 열화상 이미지로부터 유방암이 의심되는 영역인 유방암 핫 스폿을 알아내는 열화상 유방암 탐색부 및 상기 초음파 이미지 정보로부터 유방암 징후를 판별하기 위해, 유방암 위험도 등급에 따라 표지된 학습용 유방암 초음파 이미지들에 의해 사전에 학습된 초음파 인공지능 신경망을 포함하고, 상기 초음파 스캐너는 환자의 유방과의 접촉을 통해 환부로부터 초음파 이미지 정보를 얻기 위한 초음파 프로브 (probe), 및 상기 초음파 이미지 정보를 상기 스마트 미러의 무선 수신부로 송신하기 위한 무선 송신부를 구비하고, 상기 스마트 미러는 상기 가상의 사물 영상을 상기 디스플레이 패널 상에 표시함과 동시에 거울에 비친 환자의 모습과 서로 중첩 시켜서 표시하고, 환자로부터 얻은 상기 초음파 이미지 정보를 가지고 상기 초음파 인공지능 신경망에 의해 분석하여, 환자의 유방암 위험도를 자동으로 판별하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 열화상 유방암 탐색부는, 소정의 기간 동안 소정의 횟수 이상 촬영된 유방 영역의 열화상 이미지들에 대한 픽셀 별 누적 합의 평균값으로 구성된 유방 열화상 이미지를 생성하는 유방 열화상 이미지 맵퍼(mapper), 상기 유방 열화상 이미지에서 소정치 이상의 온도값을 나타내는 유방암 핫 스폿으로 구성된 열화상 핫 스폿 이미지를 생성하기 위한 컷오프(cutoff)치 조절부, 및 상기 열화상 핫 스폿 이미지 내지 상기 유방암 핫 스폿 정보를 저장하기 위한 유방암 핫 스폿(hot spot) 메모리로 구성될 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 스마트 미러는 초음파 스캐너 모드 내지 자가 검사 모드 동안 열화상 카메라 모드에서 얻어진 상기 유방암 핫 스폿 영역과 위치를 가상의 사물 영상을 통해 환자의 모습이 투영된 거울에 중첩하여 증강현실로 알려주는 핫 스폿 가이더(hot spot guider)를 더 구비한 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 스마트 미러는 다양한 압력 레벨의 크기에 따라 라벨링(labeling)된 유방 초음파 이미지들에 의해 사전에 학습된 압력 센싱 인공지능 신경망을 더 구비하여, 초음파 스캐너 모드 동안 얻어진 유방 초음파 이미지로부터 초음파 스캐너의 압력 레벨의 크기를 판별하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 스마트 미러는 바디 자세 인터렉션(body posture interaction)부를 더 구비하고, 상기 바디 자세 인터렉션은 상기 이미지 센서에 의해 초음파 스캐너의 위치 및 입사각을 산출하여 초음파 스캐너의 위치 및 입사각 교정 정보를 제공하는 입사각 계산부, 상기 신체 이미지로부터 신체 외곽선과 신체 기관들을 구별하는 경계선을 포함하는 신체지도를 만드는 바디 네비게이터, 유방암 진단 동안 환자가 취해야 할 신체 자세를 자세 피팅용 신체 외곽선 이미지를 보여주는 가상의 사물 영상을 통해 제공해주는 신체 자세 요청부, 환자의 신체 외곽선 이미지와 상기 자세 피팅용 신체 외곽선 이미지 간의 피팅(fitting) 정도를 산출하여 환자에게 피드백해주는 바디 피팅 체크부, 및 환자가 누구인지를 확인하는 환자 인증부;를 구비한 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 환자 인증부는 신체 지도상의 얼굴부위의 이미지와 사전에 등록된 추적 대상자의 안면 데이터베이스를 서로 비교하여 얼굴이 누구인지를 인식하는 얼굴 인식부인 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 바디 네비게이터는 신체 기관에 대해 서로 다른 색으로 시맨틱 분할(Semantic Segmentation) 표지된(labled) 신체 이미지들에 의해 딥런닝 학습된 인공지능 신경망을 구비하여, 상기 이미지 센서로부터 주어진 환자의 신체 이미지에 대해 상기 인공지능 신경망을 이용하여 신체 지도를 얻는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 바디 네비게이터는 신체 기관들을 구분하는 경계선을 포함하는 신체 외곽선 이미지로 표지된 신체 이미지들에 의해 사전 학습된 인공 지능 신경망을 구비하여, 상기 이미지 센서로부터 주어진 환자의 신체 이미지에 대해 상기 인공지능 신경망을 이용하여 신체 지도를 얻는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 스마트 미러는 열화상 카메라 모드 동안 유방암 진단에 유리한 최적의(대응하는) 위치 정보를 산출하여 환자에게 제공하기 위한 스탠딩(standing) 위치 정보 제공 수단을 구비한 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 스탠딩 위치 정보 제공 수단은 상기 이미지 센서에 의해 환자의 신장(height)을 계측하여 유방암 진단에 유리한 스탠딩 장소를 표시하는 피팅용 신체 외곽선 이미지 내지 피팅용 발자국 외곽선을 상기 디스플레이 패널 상에 가상의 사물 영상을 통해 표시하거나 레이저 빔 주사(laser beam scanning) 수단에 의해 스탠딩 장소(standing place)를 제공하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 가상의 사물 영상은 가상의 커서(cursor), 압력 교정 정보, 입사각 교정 정보, 유방 외곽선, 신체 외각선, 피팅용 발자국 외곽선, 신체 기관을 구별하는 경계선, 유방암 핫 스폿 중 선택된 어느 하나 이상의 사물영상인 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 핫 스폿 가이더는 초음파 스캐너 모드 내지 자가 검사 모드 동안, 거울에 비친 환자의 유방 이미지에 상기 유방암 핫 스폿을 증강현실로 중첩시켜 상기 디스플레이 패널에 표시하여, 환자로 하여금 상기 유방암 핫 스폿 영역에 대해 재검사를 하도록 유도하는 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 스마트 미러는 주기적 초음파 추적 검사를 시행하여 시간에 따른 종양, 종괴 나 석회화 군집(cluster)의 크기 변화 추이를 관찰하여 환자에게 위험도를 알려거나, 초음파 스캐너 모드동안 발견된 종양, 종괴 나 석회화 군집(cluster)을 상기 유방암 핫 스폿 메모리에 추가 등록시키거나, 다음 유방암 초음파 검사 일정을 환자에게 알려주는 유방암 추적 관리부를 구비한 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 일 구현예에 있어서, 상기 스마트 미러는, 열화상 카메라에 의한 주기적 추적 검사에 따른 유방암 핫 스폿의 크기, 개수 변화 추이를 관찰하여 환자에게 위험도를 알려주거나 다음 유방암 열화상 카메라 검사 일정을 환자에게 알려주는 유방암 추적 관리부를 구비한 것일 수 있으나, 이에 제한되는 것은 아니다.
본원의 다른 일 측면에 따른 유방암 자가 진단 방법은, 상기 인공지능형 열화상 초음파 스캐너 장치에 의해 수행되고, 스탠딩 위치 정보 제공 수단에 의해 유방암 진단에 유리한 최적의(대응하는) 위치 정보를 환자에게 제공하는 단계, 열화상 카메라에 의해 유방암 핫 스폿을 찾는 단계, 열화상 카메라에 의해 유방암 핫 스폿이 발견된 경우, 환자에게 초음파 검사 또는 자가 검사를 요청하는 단계, 초음파 스캐너 모드 동안 초음파 스캐너의 자세 교정 정보를 스마트 미러 상에 가상의 사물 영상으로 제공하는 단계, 자가 진단 동안, 발견된 유방암 핫 스폿을 거울에 비추어진 환자 모습에 증강현실로 중첩하여 스마트 미러 상에 표시해주는 단계, 유방암 추적 관리부에 의해 주기적인 초음파 추적 검사를 시행하여 시간에 따른 종양, 종괴 나 석회화 군집(cluster)의 크기 변화 추이를 관찰하여 유방암 위험도 내지 다음 유방암 검사 스케줄 일정을 환자에게 알려주는 단계 및 유방암 추적 관리부에 의해 열화상 카메라에 의한 주기적 추적 검사에 따른 유방암 핫 스폿의 크기, 개수 변화 추이를 관찰하여 유방암 위험도 내지 다음 유방암 검사 스케줄 일정을 환자에게 알려주는 단계를 포함하는 것이다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 본 발명은 스마트 미러를 통해 자가 진단하는 환자에게 피드백 제어 명령을 사물 영상으로 전달하는 증강현실을 통해 초음파 스캐너의 올바른 자세 교정을 유도하고, 열화상 이미지와 초음파 이미지에 의해 학습된 인공지능 신경망에 의해 유방암을 환자가 자가진단 할 수 있는 열화상 초음파 스캐너 장치 및 이를 이용한 자가 검사 방법을 제공한다.
전술한 본원의 과제 해결 수단에 의하면, 본 발명의 열화상 초음파 스캐너 장치는 방사선 노출 없이 환자 자신이 집에서 편하게 유방암 검사를 자주 할 수 있을 뿐만 아니라, 자가 검사 횟수의 증가에 따른 환자에 대한 빅 데이터 확보로 유방암 검사의 신뢰도를 대폭 향상할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 열화상 초음파 스캐너 장치의 일 구현예이다.
도 2는 본원의 일 실시예에 따른 열화상 초음파 스캐너 장치의 작동 원리이다.
도 3은 본원의 일 실시예에 따른 열화상 초음파 스캐너 장치에 있어서, 신체 이미지로부터 신체지도를 얻기 위한 바디 네비게이터의 실시예들이다.
도 4a는 본원의 일 실시예에 따른 열화상 초음파 스캐너 장치를 이용하여, 환자가 스마트 미러 앞에 섰을 때 유방암 진단에 유리한 최적의 스탠딩 장소에 대한 위치 정보를 환자에게 제공하기 위한 위치 정보 제공 수단의 실시예들이다.
도 4b는 본원의 일 실시예에 따른 열화상 초음파 스캐너 장치의 환자 발자국 위치 확인 수단을 구비한 위치 정보 제공 수단의 실시예이다.
도 5a 내지 도 5c는, 본원의 일 실시예에 따른 열화상 초음파 스캐너 장치의, 초음파 스캐너 모드 동안에 가상의 커서, 압력 교정 정보, 입사각 교정 정보를 나타내는 가상의 사물 영상의 실시예들이다.
도 6a 내지 도 6b는 본원의 일 실시예에 따른 열화상 초음파 스캐너 장치의 스마트 미러를 이용하여 거울에 비친 환자 자신의 모습 위에 유방암 진단에 필요한 가상의 사물 영상을 디스플레이 패널에 오버랩하여 초음파 자가진단을 진행하는 실시예들이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원 명세서 전체에서, 초음파 프로브(probe)의 기울기는 초음파 스캐너의 기울기와 같은 의미로 혼용된다.
본원 명세서 전체에서, 초음파 스캐너의 기울기는 초음파 프로브가 환부 표면에 마주하는 각도인 입사각과 같은 의미로 혼용된다.
본원 명세서 전체에서, 환자는 자가진단 하는 당사자와 혼용된다.
본원 명세서 전체에서, 초음파 스캐너 모드는 환자로부터 유방 초음파 이미지를 얻기 위해 초음파 스캐너를 사용하는 기간을 칭한다.
본원 명세서 전체에서, 열화상 카메라 모드는 환자의 유방으로부터 해당 열화상 이미지를 얻기 위해 열화상 카메라가 동작하는 기간을 칭한다.
본원 명세서 전체에서, 자가 검사 모드는 환자 스스로 스마트 미러를 보면서 스마트 미러로부터 제공되는 가상 사물 영상과 음성 정보의 도움을 받아 유방 자가 검사법에 의해 자신의 유방을 만져가면서 검사하는 기간을 칭한다.
본원 명세서 전체에서, 상기 유방 자가 검사법은 환자 스스로 멍울과 통증, 덩어리 유무, 유두 분비물, 유두의 함몰, 유방의 주름, 유두 습진, 유방피부의 변화, 유방크기의 변화, 유두의 위치변화를 포함하는 자가 검사항목을 일일이 검사하는 과정을 포함한다.
상기 유방 자가 검사법은 스마트 미러에서 제공하는 디지털 ARS에 의한 질의 응답하는 과정을 포함할 수 있다.
예컨대, 디지털 ARS은 유두 분비물이 있는지 환자에게 묻고, 환자가 "예" 또는 "아니오"로 답변할 수 있다.
본 발명의 디지털 ARS의 질의응답은 음성 메시지와 함께, 디스플레이 패널 상에 사물 영상으로 제공된 질의응답 문장과 터치(touch)에 의한 답변 선택 클릭(click) 창에 의해 이루어질 수 있다.
본원 명세서 전체에서, 자가 진단(self-diagnosis)은 열화상 카메라 모드, 초음파 스캐너 모드 및 자가 검사(self-exam) 모드를 포함한다.
본원 명세서 전체에서, 본 발명의 초음파 스캐너의 자세 정보는 환부에 대한 초음파 스캐너의 입사 각, 접촉 압력과 위치를 나타내는 정보를 통칭하며, 초음파 스캐너의 자세 교정 정보는 상기 초음파 스캐너의 자세 정보를 바탕으로 진단 부위에 따라 최적화된 초음파 스캐너 자세를 유지하는데 필요한 초음파 스캐너의 입사각 교정, 압력 교정과 위치 정보를 통칭한다.
본 발명에서의 스마트 미러는 거울(Mirror)과 터치 디스플레이 패널(Display pannel)의 결합한 표시장치로 터치 디스플레이 패널(Display panel)에 미러(mirror) 필름을 붙인 형태로 제작된다. 스마트 미러는 거울의 형태를 가지고 있지만 시간과 날씨, 날짜, 자가진단을 위한 의료 가이드 서비스 등 다양한 기능을 제공하는 사물 영상을 디스플레이 패널 상에 표시하여 거울에 비친 자신의 모습과 사물영상이 서로 중첩 표시되어 자가진단의 편리함을 추구하기 위한 거울이다.
이러한 기능과 더불어 상기 스마트 미러는 미용 산업에서의 활용 방안을 위하여, 자신이 원하는 색상을 선택할 시, 자기 자신의 모습에 중첩하여 해당 색상으로 머리카락과 입술이 염색된 모습을 보여주거나, 옷 구매 전에 원하는 패션을 자기 자신의 모습에 중첩하여 보여주는 증강현실(Augmented Reality) 기능을 제공할 수 있다.
본 발명은 상기 종래기술의 문제점들을 해결하기 위하여 안출된 것으로, 본 발명의 열화상 초음파 스캐너 장치는, 환자가 초음파 스캐너 모드 동안 스마트 미러의 거울에 비치는 자신의 모습을 쳐다보면서 초음파 스캐너를 사용하고, 상기 스마트 미러는 환자의 신체로부터 방출되는 열복사를 감지하여 2차원의 열화상 이미지를 얻기 위한 열화상 카메라, 환자의 신체 이미지를 얻기 위한 복수개의 이미지 센서, 상기 초음파 스캐너로부터 수집된 초음파 이미지 정보를 수신하기 위한 무선 수신부, 상기 초음파 스캐너의 자세 정보를 체크하여, 검사부위별로 최적화된 초음파 스캐너 자세를 유도하기 위해 환자에게 피드백 제어 명령을 전달하거나 환자에게 초음파 진단에 필요한 안내 및 지시사항을 알려주는 스피커 및 디스플레이 패널, 상기 열화상 이미지로부터 유방의 온도 분포를 보여주는 유방 열화상 이미지를 얻기 위한 유방 열화상 이미지 맵퍼(mapper) 및 학습용 유방암 초음파 이미지들에 의해 사전에 딥런닝 학습된 초음파 인공지능 신경망을 포함할 수 있다.
상기 초음파 스캐너는 환자의 유방과의 접촉을 통해 환부로부터 초음파 이미지 정보를 얻기 위한 초음파 프로브 (probe) 및 상기 초음파 이미지 정보를 상기 스마트 미러의 무선 수신부로 송신하기 위한 무선 송신부를 구비할 수 있다.
상기 스마트 미러는 환자로부터 얻은 초음파 이미지 정보를 가지고 상기 초음파 인공지능 신경망에 사용하여 분석함으로써, 환자의 유방암 위험도를 자동으로 판별하는 것을 특징으로 한다.
본 발명의 무선 송수신 연결은 와이파이(Wifi), 블루투스 또는 사물 인터넷 연결에 의해 이루어지는 것이 선호된다.
본 발명의 스마트 미러의 디스플레이 패널(Display panel)은 거울에 비친 환자 자신의 모습 위에 유방암 진단에 필요한 가상의 사물 영상을 오버랩(overlap)하여 자가진단을 진행하는 환자에게 진행상황을 보여주는 것을 특징으로 한다.
상기 유방 열화상 이미지 맵퍼(mapper)는 소정의 기간 동안 소정의 횟수 이상 촬영된 유방 영역의 열화상 이미지들에 대한 픽셀 별 누적 합의 평균값으로 구성된 유방 열화상 이미지를 생성하는 것이 선호된다.
소정 횟수 이상 얻어진 유방 영역의 열화상 이미지의 평균값을 이용함으로써, 연 1회 검사만으로 실행한 열화상 이미지 결과보다 유방암 검사의 신뢰도가 훨씬 좋아진다.
이하, 유방 열화상 이미지에서 소정치 이상의 온도값을 나타내는 이미지 픽셀들(유방암 핫 스폿)로 구성된 이미지를 열화상 핫 스폿 이미지라 칭하고, 해당 픽셀들의 영역을 유방암 핫 스폿(hot spot) 영역이라 칭한다.
열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역은 다른 영역에 비해 온도가 높은 지역을 말하고, 이 영역은 유방암 발생 의심 영역에 해당한다.
따라서 본 발명의 열화상 초음파 스캐너 장치는 열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역에 대해 초음파 스캐너 모드 내지 자가 검사 모드를 통해, 환자 스스로 재검진함으로써 유방암 검사의 신뢰성 증대와 더불어 유방암을 조기에 검출할 수 있는 수단을 제공한다.
또한, 스마트 미러는 초음파 스캐너 모드 내지 자가 검사 모드 동안 열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역과 위치를 사물 영상을 통해 환자 자신의 모습이 투영된 거울에 중첩하여 알려주는 핫 스폿 가이드(hot spot guider)를 구비하여 환자와의 대화식 진단을 허용하는 것을 특징으로 한다.
예컨대, 환자는 자가 검사 모드 동안 핫 스폿 가이더가 알려준 유방암 핫 스폿 영역에 해당하는 자신의 유방 영역을 거울을 보면서 스스로 만져가면서 멍울이나 덩어리가 있는지를 확인하는 것이 가능하다.
상기 열화상 핫 스폿 이미지의 또 다른 측면은 유방암 핫 스폿들에 의해 시맨틱 분할 표지된 유방 열화상 이미지들을 사용하여 사전에 학습된 인공지능 신경망을 통하여, 유방 열화상 이미지로부터 열화상 핫 스폿 이미지를 얻을 수 있다
본 발명에서 학습용 유방암 초음파 이미지들은, 유방암의 등급별로 표지된(labeled) 초음파 이미지들로 구성되는 것이 선호된다. 예컨대 학습용 유방암 초음파 이미지들은, 유방암의 등급별로 정상(normal), Mild, Moderate, Severe 등급으로 나누어 표지할 수 있다.
또한, 초음파 스캐너는 초음파 프로브와 기구적으로 연결 배치되어 상기 초음파 프로브가 환자의 환부를 얼마나 강하게 압착되어 스캔하는지를 측정하여 압력 정보를 생성하는 압력 센서 더 구비할 수 있다.
이 경우, 초음파 이미지 정보에는 초음파 이미지 와 함께 측정된 압력 정보도 함께 포함되어 스마트 미러의 무선 수신부에 전송되는 것이 선호된다.
본 발명의 압력센서( pressure sensor) 는 초음파 프로브가 환부에 접촉되었을 때, 얼마나 센 압력으로 누르고 있는지를 보여주는 압력 레벨을 측정하는 센서를 말하며, 진단 위치에 따라 임상학적 경험으로 결정된 접촉 압력(예컨대 표준치 압력)을 유지하는 것이 좋은 초음파 이미지를 확보하기 위해 필요하며, 저항막 (Resistance Film) 압력센서, 압전형 압력센서, 저항 스트레인 게이지형(resistance strain gauge type) 압력센서 중 선택된 어느 하나의 압력센서를 사용하는 것이 선호된다.
본 발명의 압력센서의 또 다른 측면은 다양한 압력 레벨에 따라 라벨링(labeling)된 유방 초음파 이미지들에 의해 학습된 압력 센싱 인공지능 신경망을 구비하고, 이후 상기 학습된 압력 센싱 인공지능 신경망을 사용하여 초음파 스캐너 모드 동안 얻어진 유방 초음파 이미지로부터 초음파 스캐너의 압력 레벨을 판별하여 압력 교정 정보를 제공하는 것이 선호된다.
또한, 스마트 미러는 환자의 신체 이미지상에서 환자의 얼굴, 유방, 팔(arm), 배, 다리, 발(foot) 와 나머지 신체부위를 구별하는 경계선과 신체 외곽선을 포함하는 신체지도를 생성하는 바디 네비게이터 (body navigator)를 더 구비할 수 있다. 따라서, 바디 네비게이터에 의해 얻어진 신체 지도상에서 유방을 다른 신체 기관으로 부터 구별하는 유방 외곽선을 얻을 수 있다.
상기 신체지도는 얼굴, 유방, 팔(arm), 배, 다리, 발(foot) 와 나머지 신체 부위에 대해 서로 다른 색으로 시맨틱 분할(Sematic Segmentation) 표지된(labled) 신체 이미지들에 의해 딥런닝 학습된 인공지능 신경망에 의해 얻어질 수 있다.
시맨틱 분할된 신체이미지로부터 신체 기관을 구별하는 경계선과 신체 외곽선을 얻을 수 있다. 예를 들면, 시맨틱 분할된 배와 유방의 경계는 유방 경계선(유방 외곽선)을 제공한다.
상기 시맨틱 분할은 주어진 이미지 안에 특정 사물이 어느 위치에 포함되어 있는지 픽셀 단위로 분류하여, 다른 사물로부터 분할하는 인공지능 신경망이다.
본 발명의 바디 네비게이터의 또 다른 측면은 얼굴, 유방, 팔(arm), 배, 다리, 발(foot)을 포함하는 신체 기관들을 구분하는 경계선을 포함하는 신체 외곽선 이미지로 표지된 신체 이미지들에 의해 학습된 인공 지능 신경망을 구비하여, 이미지 센서로부터 주어진 환자의 신체 이미지에 대해 상기 인공지능 신경망을 이용하여 신체 지도를 얻을 수 있다.
본 발명의 바디 네비게이터의 또 다른 측면은 신체 외곽선 이미지(body outline image) 상에, 의학적, 물리적 배치 상관관계에 고려하여 주요 신체 기관들을 구분하는 경계선들이 배치된(포함된) 신체 지도(body map)에 의해 구현되는 것을 특징으로 한다
상기 신체 외곽선 이미지는 환자가 스마트 미러 앞에 환자가 없을 때의 이미지와 있을 때의 이미지 간의 차등 이미지를 획득하고, 이의 테두리 엣지(edge) 성분을 취함으로서 신체 외곽선 이미지를 얻을 수 있다.
이 경우 신체지도는 신체 기관들(예를 들어, 얼굴, 팔, 유방, 배, 다리, 발 등 )간의 의학적, 물리적 배치 상황과 신체 기관들 간의 크기 비율에 대한 통계화된 신체 기관 배치법에 의해 상기 신체 외곽선 이미지상에 신체 기관들을 구분하는 경계선들을 배치하여 얻을 수 있다.
상기 통계화된 신체 기관 배치법은 환자 등록시 입력된 환자의 성(sex), 인종, 나이, 키, 무게, 허리둘레를 포함하는 환자의 신체 정보를 바탕으로 의학적 통계자료에 따라 신체 기관들의 위치를 선정하는 것이 선호된다.
상기 환자 인증은, 환자등록시 등록한 얼굴인식, 지문인식, 음성인식, ID 인증 방법 중 선택된 어느 한가지 방법에 의해 이루어지는 것이 선호된다.
본 발명의 스마트 미러는 상기 신체 지도상의 얼굴부위의 이미지와 사전에 등록된 환자의 안면 데이터베이스를 서로 비교하여 해당 얼굴이 누구인지를 인식하는 얼굴 인식부를 더 구비할 수 있다.
스마트 미러는 환자의 유방암 진단이 용이하도록 환자가 취해야 할 신체 자세를 사물 영상을 통해 환자에게 제공하는 신체 자세 교정 요청부를 구비한 것을 특징으로 한다.
예컨대, 신체 자세 교정 요청부는 환자의 겨드랑이를 체크해야 할 필요가 있는 경우 환자가 양팔을 들도록 가이드 해주기 위해, 양팔을 든 모습을 자세 피팅용 신체 외곽선 이미지를 사용하여 사물 영상으로 디스플레이해 주고, 환자의 신체 외곽선 이미지와 자세 피팅용 신체 외곽선 이미지 간의 피팅(fitting) 정도를 산출하여 환자에게 피드백 해주는 것이 선호된다.
상기 신체 자세 교정 요청부의 자세 피팅용 신체 외곽선 이미지는 환자가 스마트 미러를 향해 정면으로 바로 보면서 서있는 자세의 신체 외곽선 이미지가 선호된다.
상기 환자의 신체 외곽선 이미지와 자세 피팅용 신체 외곽선 이미지 간의 피팅(fitting) 정도는 사물 영상 수단을 통해 환자에게 피드백해주는 것이 선호된다.
또한, 스마트 미러는 초음파 스캐너 모드동안 이미지 센서 의해 초음파 스캐너의 위치 및 초음파 스캐너의 입사각을 산출하기 위한 입사각 계산부를 더 구비할 수 있다.
이 경우 스마트 미러는 2개 이상의 이미지 센서를 사용하는 것이 선호되며, 초음파 스캐너의 입사각과 위치를 계측 산출하기 위해 스마트 미러의 좌측과 우측 각각에 이미지 센서를 설치되는 것이 더욱 선호된다.
따라서, 상기 스마트 미러의 좌측과 우측에 배치된 이미지 센서는 사물의 3차원 정보를 알 수 있는 스테레오 비전(stereo vision)을 제공한다
자가 진단하는 사람은 초음파 스캐너의 입사각을 조절하여, 환부로부터 획득되는 초음파 이미지의 품질을 개선할 수 있다.
상기 스마트 미러는 열화상 카메라 모드 동안 유방암 진단에 유리한 최적의 스탠딩(standing) 위치 정보를 산출하여 환자에게 제공하기 위한 스탠딩 위치 정보 제공 수단을 더 구비한 것을 특징으로 한다.
열화상 카메라에 의해 유방암 검사를 위해서는 환자는 열화상 카메라의 측정각(FOV, Field Of View) 과 초점거리를 고려하여 최적의 위치에 서 있는 것이 필요하다.
상기 최적의 스탠딩 위치 정보란, 열화상 카메라에 의해 유방암 검사를 위해서는 스마트 미러 앞에 환자가 서 있어야 하는데, 환자가 서 있어야 할 최적의 장소, 즉, 스탠딩 장소(Standing place)를 말한다.
상기 스탠딩 위치 정보 제공 수단은 이미지 센서에 의해 환자의 신장(height)을 계측하여
유방암 진단에 유리한 스탠딩 장소 내지 자세 피팅용 신체 외곽선 이미지를 디스플레이 패널 상에 가상의 사물 영상을 통해 표시하는 것이 선호된다.
상기 스탠딩 위치 정보 제공 수단의 또 다른 측면은 레이저 빔 주사(laser beam scanning) 수단에 의해 스탠딩 장소(standing place)를 발자국 위치 정보로서 제공할 수 있다.
예컨대, 상기 레이저 빔 주사 수단은 스탠딩 장소의 바닥면에 발자국 모양의 레이저 발자국(laser footprint) 패턴을 형성하여 발자국 위치 정보를 제공할 수 있다.
본 발명의 스탠딩 위치 정보 제공 수단은, 초음파 스캐너 모드 내지 자가 검사 모드 동안에 열화상 카메라 모드때 사용했던 것과 동일한 위치에 스탠딩 장소를 환자에게 제공하는 것이 선호된다.
또한, 상기 스탠딩 위치 정보 제공 수단은 이미지 센서에 의해 레이저 발자국 패턴 범위 내에 환자의 발바닥이 들어왔는지 체크하기 위한 환자 발자국 위치 확인 수단을 더 구비한 것을 특징으로 한다
예컨대, 상기 환자 발자국 위치 확인 수단은 신체 지도상에서 발(foot)을 찾고, 해당 영역에 레이저 발자국 패턴의 존재 유무 내지 발과의 피팅 정도를 체크하여 환자가 스탠딩 장소에 얼마나 잘 피팅하여 정렬했는지 판정할 수 있다.
또한, 스마트 미러의 스피커 및 디스플레이 패널에 의해 상기 레이저 발자국 패턴 범위 내에 환자 발이 피팅되도록 환자에게 음성 내지 시각적 가이드를 제공해주는 것이 선호된다.
또한, 상기 레이저 발자국 패턴 범위밖에 환자의 발이 머무르는 경우 상기 레이저 발자국 패턴이 점멸(blinking)되는 것이 선호된다.
본 발명의 스마트 미러의 디스플레이 패널(Display panel)은 거울에 비친 환자 모습 위에 유방암 진단에 필요한 가상의 사물 영상을 오버랩(overlap)하는 증강 현실에 의해 자가진단을 수행하는 환자에게 진행 상황을 보여주는 것을 특징으로 한다.
본 발명의 디스플레이 패널은 투명 TFT-LCD (thin film transistor liquid crystal display) 또는 투과형 OLED(Organic Light Emitting Diode)를 사용하는 것이 선호된다.
투명한 디스플레이 패널은 투명하기 때문에 이미지 센서 및 열화상 카메라가 디스플레이 패널 너머에 있는 환자를 계측하기 용이해진다.
또한, 스마트 미러의 디스플레이 패널(Display panel) 과 미러(mirror) 필름은 열화상 카메라의 렌즈 개구부 위치에서 적외선 대역의 빛이 잘 통과하도록 게르마늄(Germanium), 칼코게나이드 (Chalocjgenide), 징크세레나이드( ZnSe, Zinc Selenide) 중 선택된 재료로 만들 수 있으며, 필요에 따라 열화상 카메라의 렌즈와 광학적으로 일직선상에 있는 디스플레이 패널(Display panel) 부분에 개구부를 설치할 수 있다.
상기 가상의 사물 영상은 열화상 카메라 모드 동안에 가상의 신체 기관을 포함하는 것이 선호된다.
본 발명의 실시예에 따른 가상의 사물 영상은 가상의 커서(cursor), 압력 교정 정보, 입사각 교정 정보, 가상의 신체 기관, 유방암 핫 스폿 중 선택된 어느 하나 이상의 사물영상인 것이 선호된다.
상기 가상의 신체 기관들은 환자의 유방 외곽선과 신체 외곽선을 포함하는 것을 특징으로 한다.
거울에 비친 환자 자신의 모습 위에 겹쳐진 가상의 커서는 환자에게 유방암 핫 스폿에 대한 초음파 스캐너의 위치 교정시에 참조가 되고, 거울에 표시된 압력 교정 정보는 환자에게 초음파 스캐너의 압력 교정시에 참조가 되고,
거울에 비친 초음파 스캐너의 모습 위에 겹쳐진 "입사각 교정 정보"는 환자에게 초음파 스캐너의 입사각 교정시에 참고가 된다.
열화상 카메라 모드 동안에 얻어지는 유방암 핫 스폿 영역과 위치는 유방 외곽선을 기준으로 산출하며, 산출된 유방암 핫 스폿 영역과 위치는 유방암 핫 스폿 메모리에 저장하는 것이 선호된다.
핫 스폿 가이더는 초음파 스캐너 모드 내지 자가 검사 모드 동안, 거울에 비친 환자의 유방 이미지에 상기 유방암 핫 스폿을 증강현실로 중첩시켜 상기 디스플레이 패널에 표시하여, 환자로 하여금 상기 유방암 핫 스폿 영역에 대해 집중적으로 재 검사를 하도록 유도할수 있다.
예컨대, 초음파 스캐너 모드 동안, 핫 스폿 가이더는 열화상 카메라 모드동안 얻어진 유방암 핫 스폿을 거울에 비친 환자의 유방 이미지와 중첩시켜 증강 현실로 디스플레이 패널에 표시하여 환자가 유방암 핫 스폿에 대해 초음파 스캐너에 의해 재 검사를 하도록 유도할수 있다.
이를 위해, 초음파 스캐너 모드 동안 유방 외곽선을 기준으로, 열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역과 위치를 정렬하여 사물 영상을 통해 거울에 비친 환자의 유방에 중첩하여 증강현실로 보여주는 것을 특징으로 한다.
또한, 자가 검사 모드 동안, 핫 스폿 가이더는 열화상 카메라 모드동안 얻어진 유방암 핫 스폿을 거울에 비친 환자의 유방 이미지와 중첩시켜 스마트 미러 상에 증강현실로 환자에게 제공하여 유방암 검사를 반복하도록 유도하는 것이 선호된다.
이를 위해 자가 검사 모드 동안, 핫 스폿 가이더는 자가 검사 모드에서의 유방 외곽선을 기준으로, 열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역을 위치를 정렬하여 사물 영상을 통해 거울에 비친 환자의 유방 이미지 위에 중첩하여 보여주는 것을 특징으로 한다.
상기 가상의 커서는 초음파 스캐너 모드 동안 거울에 비친 환자 자신의 모습 위에 투영된 초음파 스캐너의 현 위치를 나타내는 것을 특징으로 한다.
또한, 가상의 커서가 유방암 핫 스폿 영역 밖에 있는 경우 점멸(blinking)하고, 가상의 커서 위치가 유방암 핫 스폿의 위치 좌표로부터 소정의 범위 내에서 일치한 경우, 가상의 커서는 점멸이 중지되는 것이 선호된다.
이 경우, 자가 진단하는 사람이 직감적으로 유방암 핫 스폿 영역을 잘 찾았다는 사실을 쉽게 인식할 수 있어, 초음파 스캐너의 위치 교정시에 유리하다.
자가진단 하는 사람은 가상의 커서에 의해 초음파 스캐너의 현 위치를 쉽게 파악할 수 있고, 사물 영상으로 표현된 유방암 핫 스폿에 의해 초음파 스캐너를 어느 쪽 방향으로 움직여야 유방암 핫 스폿 영역으로 갈 수 있는지 쉽게 이해할 수 있게 해준다.
즉, 현 가상의 커서 위치와 유방암 핫 스폿 간의 좌표 일치 또는 불일치 정도를 자가 진단하는 사람이 직감적으로 쉽게 알 수 있어, 초음파 스캐너의 위치 교정시에 유리하다.
또한, 핫 스폿 가이더는 초음파 스캐너에 의해 재검사가 완료된 유방암 핫 스폿 영역은 파란색으로 표시되고, 초음파 스캐너에 의해 재검사가 완료 안 된 유방암 핫 스폿 영역은 빨간색으로 표시되는 것이 선호된다.
본 발명의 입사각 교정 정보는 상하좌우 방향을 포함하는 입사각 교정 화살표를 사용하는 것이 선호되며, 검사 위치에 따라 미리 경험적으로 알려진 이상적인 초음파 스캐너의 입사각에 도달하는 방법을 화살표 방향 지시를 통해 자가진단을 진행하는 사람에게 알려주는 가상의 사물 영상이다.
본 발명에서, 현 초음파 스캐너의 입사각이 요구되는 입사각과 불일치한 경우, 교정이 필요한 방향의 입사각 교정 화살표가 스마트 미러 상에 점멸(blinking)하면서 표시되어 환자에게 입사각 교정에 대한 가이드하는 것이 선호된다.
이 경우, 현재 초음파 스캐너의 입사각이 요구되는 입사각과 일치하는지 또는 불일치하는지를 자가 진단하는 사람이 직감적으로 쉽게 알 수 있어, 초음파 스캐너의 입사각 교정시에 유리하다.
본 발명의 압력 교정 정보는 초음파 스캐너에 요구되는 접촉 압력 정보와 현재 초음파 프로브의 접촉 압력 정보를 포함하는 것을 특징으로 한다.
상기 요구되는 접촉 압력은 진단 부위에 따라 미리 임상학적 경험으로 결정된 초음파 프로브의 이상인 접촉 압력값을 사용하는 것이 선호된다.
본 발명에서 요구 접촉 압력 정보는 바(bar) 그래프, 파이(pie) 그래프 또는 수치에 의해 스마트 미러 상에 표시하는 것이 선호되며, 초음파 스캐너의 현재의 접촉 압력 정보도 같이 표시하는 것이 선호 된다.
본 발명의 실시예에 따른 초음파 인공지능 신경망은 종양, 종괴(mass) 와 미세 석회화 군집(micro-calcification cluster)에 대해 서로 다른 색으로 시맨틱 분할(Semantic Segmentation) 라벨링(labeling)된 학습용 유방 초음파 이미지들에 의해 사전 지도 학습(supervised learning) 되고, 이후 초음파 스캐너로부터 얻어진 환자의 유방 초음파 이미지에 대해 시맨틱 분할을 수행하여 종양, 종괴 와 미세 석회화 군집에 대해 시맨틱 분할된 초음파 이미지를 얻고;
상기 시맨틱 분할된 초음파 이미지로부터 발견된 종양, 종괴 나 석회화 군집(cluster)의 정도에 따라, 환자에게 위험도를 알려주는 것을 특징으로 한다.
상기 초음파 인공지능 신경망의 또 다른 측면은 종양, 종괴(mass) 와 미세 석회화 군집(micro-calcification cluster)에 대해 라벨링(labeling)된 학습용 유방 초음파 이미지들에 의해 사전 지도 학습(supervised learning) 된 Convolutional Neural Network(CNN)을 사용하고, 이후 초음파 스캐너로부터 얻어진 환자의 유방 초음파 이미지를 상기 CNN에 입력에 적용하여 발견된 종양, 종괴 나 석회화 군집(cluster)의 정도에 따라, 환자에게 위험도를 알려주는 것을 특징으로 한다.
또한, 스마트 미러는, 주기적 초음파 추적 검사를 시행하여 시간에 따른 종양, 종괴 나 석회화 군집(cluster)의 크기 변화 추이를 관찰하여 환자에게 위험도를 알려거나 다음 유방암 초음파 검사 일정을 환자에게 알려주는 유방암 추적 관리부를 더 구비한 것이 선호된다.
또한, 유방암 추적 관리부는 초음파 인공지능 신경망에 의해 초음파 스캐너 모드동안 발견된 종양, 종괴 나 석회화 군집(cluster) 결과를 바탕으로 유방암 핫 스폿 영역을 더 증대시킬 수 있다.
즉, 유방암 추적 관리부는 초음파 스캐너 모드동안 발견된 종양, 종괴 나 석회화 군집(cluster)을 유방암 핫 스폿으로서 유방암 핫 스폿 메모리에 추가 등록시키는 것이 선호되고, 주기적 추적 검사에 이 추가된 유방암 핫 스폿을 포함하는 것이 선호된다.
또한, 상기 유방암 추적 관리부는 열화상 카메라에 의한 주기적 추적 검사에 따른
유방암 핫 스폿의 크기, 개수 변화 추이를 관찰하여 환자에게 위험도를 알려주거나 다음 유방암 열화상 카메라 검사 일정을 환자에게 알려주는 것이 선호된다.
본 발명의 인공지능 신경망은 시맨틱 세그맨테이션(Semantic Segmentation), CNN(Convolutional Neural Network) 내지 RNN(Recurrent Neural Network)을 사용하는 것이 선호된다.
본 발명에서 상기 인공지능 신경망 (artificial neural network) 은 딥런닝 학습을 허여하는 뉴럴 네트웍(neural network) 으로 컨보루션 레이어(convolution layer), 풀링 레이어(Pooling layer) , ReLu 레이어, Transpose 컨보루션 레이어, 언 풀링레이어(Unpooling layer), 1x1 컨보루션 레이어, 스킵 연결(Skip connection), Global Average Pooling(GAP) 레이어, Fully Connected 레이어, SVM(support Vector Machine), LSTM(long Short term Memory), Atrous 컨볼루션(Atrous Convolution), Atrous Spatial Pyramid Pooling, Separable Convolution, Bilinear Upsampling 중 선택된 어느 하나 이상의 레이어(layer) 나 엘리먼트(element)로 조합 구성된 것을 특징으로 한다. 상기 인공지능 신경망은 상기 ReLu레이어 앞단에 Batch normalization 연산을 위한 연산부를 더 구비한 것이 선호된다.
도 1과 도 2는 스마트 미러(700)를 이용한 열화상 초음파 스캐너 장치(600)의 실시예로, 환자가 초음파 스캐너 모드 동안 스마트 미러(700)에 비치는 자신의 모습을 쳐다보면서 초음파 스캐너(100)를 사용할 수 있다.
상기 스마트 미러(700)는 환자의 환부 표면 온도 분포에 따라 방출되는 적외선 변화를 2차원 이미지로 만든 열화상 이미지를 얻기 위한 열화상 카메라(200), 환자의 신체 이미지를 얻기 위한 복수개의 이미지 센서(50a, 50b)를 포함할 수 있다.
또한, 스마트 미러(700)는 상기 초음파 스캐너(100)로부터 수집된 초음파 이미지 정보를 수신하기 위한 무선 수신부(40), 상기 초음파 스캐너(100)의 자세 정보를 체크하여, 검사부위별로 최적화된 초음파 스캐너의 표준 자세를 유도하기 위해 환자에게 피드백 제어 명령을 전달하거나 환자에게 유방암 검사를 위한 안내 및 지시사항을 알려주는 스피커(60) 및 디스플레이 패널(20b)을 포함할 수 있다.
또한, 스마트 미러(700)는 유방 열화상 이미지로부터 유방암이 의심되는 영역인 유방암 핫 스폿을 알아내는 열화상 유방암 탐색부(52), 상기 이미지 센서(50a,50b)에 의해 초음파 스캐너(100)의 위치 및 입사각을 체크하여 위치 및 입사각 교정 정보를 제공하거나, 상기 신체 이미지상에 가상의 신체 기관을 배치한 신체지도를 만들거나, 유방암 진단 동안 환자가 취해야 할 신체 자세를 사물 영상을 통해 가이드하고 환자에게 피드백해주는 바디 자세 인터렉션(body posture interaction)부(51)를 포함할 수 있다.
또한, 스마트 미러(700)는 상기 디스플레이 패널(20b) 상에 가상의 사물 영상을 발생시키는 가상 사물 영상부(88) 및 상기 초음파 이미지에 의해 유방암 징후를 판별하기 위해, 유방에 발생한 종양, 종괴나 석회화 군집(cluster)의 크기, 모양 패턴에 따른 유방암 위험도 등급으로 표지된 학습용 유방암 초음파 이미지들에 의해 사전에 학습된 초음파 인공지능 신경망(41)을 포함할 수 있다.
상기 초음파 스캐너(100)는 환자의 유방과의 접촉을 통해 환부로부터 초음파 이미지 정보를 얻기 위한 초음파 프로브 (100a), 상기 초음파 이미지 정보를 상기 스마트 미러(700)의 무선 수신부(40)로 송신하기 위한 무선 송신부(420)를 구비하고, 상기 스마트 미러(700)는 환자로부터 얻은 초음파 이미지 정보를 가지고 상기 학습된 초음파 인공지능 신경망(41)에 사용하여, 환자의 유방암 위험도를 나타내는 질병 등급을 자동으로 판별하는 것을 특징으로 한다.
본 발명의 스마트 미러(700)는 거울(20a)과 디스플레이 패널(20b)의 결합한 디스플레이로 거울(20a)에 비친 환자 자신의 모습 위에 유방암 검사에 필요한 가상의 사물 영상을 디스플레이 패널(20b) 위에 중첩하여 자가진단을 진행하는 환자에게 증강현실로 보여줄 수 있다.
상기 열화상 유방암 탐색부(52)는 열화상 이미지로부터 유방 열화상 이미지를 얻기 위한 유방 열화상 이미지 맵퍼(80), 상기 유방 열화상 이미지상에서 컷오프치 조절부(82)에 의해 정해진 컷오프(Cutoff) 값보다 큰 온도값을 갖는 픽셀로 구성된 유방암 핫 스폿(hot spot) 들을 저장하기 위한 유방암 핫 스폿 메모리(84)로 구성된다.
유방암 핫 스폿 메모리(84)에는 유방암 핫 스폿 정보 또는 열화상 핫 스폿 이미지 자체를 저장하는 것이 선호된다.
상기 유방암 핫 스폿 정보는 유방암 핫 스폿의 중심 좌표(위치) 및 유방암 핫 스폿의 영역, 및 그들의 이미지 픽셀 값들을 포함할 수 있다.
열화상 카메라 모드 동안에 얻어지는 유방암 핫 스폿 영역과 중심 좌표(위치)는 유방 외곽선을 기준으로 산출하는 것이 선호된다.
상기 유방 열화상 이미지는 유방 열화상 이미지 맵퍼(80)에 의해 소정의 기간 동안 소정의 횟수 이상 촬영된 유방 영역의 열화상 이미지들에 대한 픽셀 별 누적합의 평균값으로 생성할 수 있으며, 이를 위해 유방 열화상 이미지 맵퍼(80)는 유방 외곽선을 기준으로 하여 유방 영역의 열화상 이미지들을 2차원 공간상에서 정렬한 후, 이들 열화상 이미지들 간에 픽셀 별 덧셈을 취한 후 그의 평균값으로 유방 열화상 이미지를 얻는 것이 선호된다.
열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역은 다른 영역에 비해 온도가 높은 지역을 말하고, 이 영역은 컷오프치 조절부(82)에 의해 선택 조절될 수 있다.
만약, 열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역에 대해 초음파 스캐너 모드 내지 자가 검사 모드를 통해, 환자 스스로 재차 검사를 진행한다면 유방암 검사가 보다 정밀하게 이루어져 검사의 정확성 증대와 더불어 유방암을 조기에 검출할 수 있다.
핫 스폿 가이더(86)는 초음파 스캐너 모드 내지 자가 검사 모드 동안 열화상 카메라 모드에서 얻어진 유방암 핫 스폿을 유방암 핫 스폿 메모리(84)로부터 독출하고, 이를 가상 사물 영상부(88)에 의해 환자의 모습이 비친 거울(20a)에 중첩시킨 증강현실로서 디스플레이 패널(20b)에 표시해주는 것을 특징으로 한다.
예컨대, 환자는 자가 검사 모드 동안, 상기 핫스폿 가이더(86)가 알려준 유방암 핫 스폿 영역과 거울에 비친 자신의 유방 영역 간의 중첩 이미지를 보면서, 유방암 핫스폿 영역을 스스로 만져가면서 멍울이나 덩어리가 있는지를 정밀 자가 진단할 수 있다.
이 경우 바람직하게는, 상기 핫스폿 가이더(86)는 자가진단에 의해 검사가 완료된 유방 핫 스폿 영역은 파란 계열의 색으로 표시하고, 자가 진단에 의해 재검사가 완료 안된 유방 핫 스폿 영역은 빨간 계열의 색으로 표시하는 것이 선호된다.
따라서 환자는 스마트 미러(700)의 도움을 받아가면서 증강현실 기반으로 대화식 유방암 자가진단을 할 수 있다.
도면 부호 43은 초음파 스캐너(100)를 환자가 얼마나 강하게 피부에 밀착하여 세게 누르고 있는지를 나타내는 압력레벨을 계측하기 위한 압력 센싱 인공지능 신경망으로, 압력 레벨의 크기에 따라 표지된 학습용 유방 초음파 이미지들에 의해 사전에 학습시키고, 이후 상기 학습된 압력 센싱 인공지능 신경망(43)에 의해 초음파 스캐너 모드 동안 환자의 유방 초음파 이미지로부터 초음파 스캐너의 현 접촉 압력 레벨의 크기을 판별하고 이를 가상 사물 영상부(88)에 제공할 수 있다.
초음파 스캐너(100)의 압력레벨을 측정하기 위한 또 다른 실시 예는 상기 초음파 프로브(100a) 내에 압력 센서(미도시)를 구비하여, 측정된 압력 정보를 스마트 미러의 무선 수신부(40)에 전송하여 초음파 스캐너(100)의 압력 레벨을 판단하는데 사용할 수 있다.
바디 자세(body posture) 인터렉션부(51)는 초음파 스캐너 모드동안 이미지 센서(50a, 50b)에 의해 초음파 스캐너(100)의 위치 및 초음파 스캐너(100)의 입사각을 산출하기 위한 입사각 계산부(93)을 포함할 수 있다.
또한, 바디 자세(body posture) 인터렉션부(51)는 환자의 신체 이미지로부터 신체 외곽선을 찾아내고, 여기에 환자의 얼굴, 유방, 팔(arm), 배, 다리, 발(foot)등의 신체 기관을 구별하는 경계선을 생성하는 것에 의해 신체지도를 만드는 바디 네비게이터(90)를 포함할 수 있다.
또한, 바디 자세(body posture) 인터렉션부(51)는 유방암 진단 동안 환자가 취해야 할 신체 자세를 자세 피팅용 신체 외곽선 이미지를 보여주는 가상의 사물 영상을 통해 환자에게 제공하는 신체 자세 교정 요청부(92) 및 상기 환자의 신체 외곽선 이미지와 상기 자세 피팅용 신체 외곽선 이미지 간의 피팅(fitting) 정도를 산출하여 환자에게 피드백해주는 바디 피팅 체크부(95)를 포함하는 것을 특징으로 한다.
본 발명에서, 입사각 계산부(93)는 스테레오 비전(stereo vision)을 제공하는 좌우 측에 배치된 이미지 센서(30a, 30b)를 이용하여, 초음파 스캐너에 대한 3차원 좌표상의 깊이 정보를 얻어, 초음파 스캐너(100)의 위치 및 초음파 스캐너의 입사각을 산출하는 것이 선호된다.
본 발명에서, 상기 피팅 정도 판별은 SSD(Sum of Squared Difference), SAD(Sum of Absolute Difference), KNN (K-nearest neighbor algorithm), NCC(Normalized Cross Correlation) 기법 중 어느 하나의 기법을 사용하여 산출하는 것이 선호된다.
또한, 스마트 미러(700)는 신체 지도상의 얼굴부위의 이미지와 사전에 등록된 환자의 안면 데이터베이스를 서로 비교하여 해당 얼굴이 누구인지를 인식하는 환자 인증부(91)를 구비한다. 제어부(70)는 얼굴인식이 된 환자에 대해서만 열화상 카메라 모드, 초음파 스캐너 모드 및 자가 검사 모드를 활성화시키는 것이 선호된다.
환자 인증부(91)의 또 다른 측면은, 지문 내지 ID 번호 입력에 의해 환자를 인증하고. 제어부(70)는 인증이 된 환자에 대해서만 열화상 카메라 모드, 초음파 스캐너 모드 및 자가 검사 모드를 활성화시키는 것이 선호된다.
상기 이미지 센서(50a, 50b)는 디스플레이 패널(20b)과 거울(20a)상에 준비된 개구부(미도시)를 통해 설치하는 것이 바람직하다.
상기 열화상 카메라(200)는 거울(20a) 내에 설치될 수 있으며, 이 경우 거울(20a)의 미러(mirror) 필름은 열화상 카메라(200)가 적외선을 잘 센싱하도록 적외선 대역의 빛이 잘 통과하는 게르마늄, 칼코게나이드, 징크세레나이드 중 선택된 재료로 처리되는 것이 바람직하다.
도면부호 55는 스마트 미러(700)의 각 부분에 전기를 공급하기 위한 전원부이다.
본 발명의 실시예에 따른 유방암 추적 관리부(72)는 초음파 스캐너 모드 동안 초음파 인공지능 신경망(41)에 의해 얻어진 종양, 종괴 나 석회화 군집(cluster)의 크기, 모양에 따른 환자의 유방 위험도 정보를 수집하고, 환자의 유방암 위험도에 따라 다음 유방암 초음파 검사의 일정을 조정하여 환자에게 알려줄 뿐만 아니라, 이에 따른 환자에 대한 주기적 초음파 추적 검사를 통해 시간에 따른 추이를 관찰하여 유방암 위험도를 판별할 수 있다.
바람직하게는 유방암 추적 관리부(72)는 초음파 스캐너가 유방 핫 스폿 영역을 스캔하는 동안 초음파 인공지능 신경망(41)으로부터 얻어진 환자의 유방 위험도 정보를 수집하여 초음파 추적 검사에 활용하는 것이 선호된다
또한, 유방암 추적 관리부(72)는 초음파 인공지능 신경망(41)에 의해 초음파 스캐너 모드동안 종양, 종괴 나 석회화 군집(cluster)으로 의심되는 영역을 유방암 핫 스폿으로서 유방암 핫 스폿 메모리(84)에 추가 등록시키는 것이 선호되고, 주기적 초음파 추적 검사에 이 추가된 유방암 핫 스폿을 포함시키는 것이 선호된다.
또한, 유방암 추적 관리부(72)는 열화상 카메라(200)에 의한 주기적 추적 검사에 따른 유방암 핫 스폿의 크기, 개수 변화 추이를 관찰하여 환자에게 유방암 위험도를 알려주거나 다음 유방암 열화상 카메라 검사 일정을 환자에게 알려줄 수 있다.
또한, 스마트 미러(700)는 와이파이, 블루투스 연결, 유무선 인터넷, 사물 인터넷을 제공하는 통신수단(미도시)을 더 구비할 수 있다.
또한 제어부(70)는 유방암 추적관리부(72), 바디 피팅 체크부(95), 초음파 인공지능 신경망(41)의 동작에 따라 가상 사물 영상부(88), 스피커(60)를 제어하는 기능을 수행한다.
도 3은 신체 이미지(31)로부터 신체지도(33)를 얻기 위한 바디 네비게이터(90)의 여러 실시예로, 도 3의 (a)는 얼굴(36a), 유방(36b), 팔(36c), 겨드랑이(36d), 배(36e), 다리(36f), 발(37g)을 포함하는 신체 기관으로 표지된 신체 이미지(31)들에 의해 학습된 인공지능 신경망에 의해 신체지도(33)를 얻음으로서 바디 네이게이터(90)를 구현한다.
예컨대, 유방암 진단동안 환자의 겨드랑이(34d)를 체크해야 할 필요가 있는 경우, 바디 네비게이터(90)는 환자의 신체 이미지(31)를 시맨틱 분할에 의해 얻어진 신체지도를 체크함으로서 겨드랑이(34d) 위치를 파악할 수 있다.
본 발명의 가상의 사물 영상은 가상의 신체 기관을 구별하는 경계선을 포함하는 것이 선호된다.
상기 가상의 신체 기관들은 환자의 유방 외곽선 과 신체 외곽선을 포함하는 것을 특징으로 한다.
도 3의 (b)는 바디 네비게이터(90)의 또 다른 실시예로, 신체 이미지(31)로부터 신체 외곽선 이미지(35)를 얻고, 신체 기관들(얼굴, 팔, 유방, 배, 다리, 발)간의 의학적, 물리적 배치 상황과 신체 기관들간의 크기 비율에 대한 통계화된 신체 기관 배치법에 의해 상기 신체 외곽선 이미지(35)상에 신체 기관들을 표지하여 신체 지도(33)를 얻을 수 있다
또한, 도 3의 (b)의 또 다른 측면은, 신체 이미지(31)로부터 신체 외곽선 이미지(35)를 얻고, 신체 기관들을 구분하는 경계선을 포함하는 신체 외곽선 이미지(34) 들로 표지된(labeled) 이미지들에 의해 학습된 인공지능 신경망에 의해, 신체 지도(33)를 얻는 실시예를 보인다.
도 3(b)의 신체 외곽선 이미지(35)는 주어진 신체 이미지(31)에 대해 신체 외곽선 이미지로 표지된(labeled) 이미지들에 의해 인공지능 신경망을 학습시키고, 이후 이미지 센서로부터 주어진 환자의 신체 이미지(31)에 대해 상기 학습된 인공지능 신경망을 이용하여 신체 외곽선 이미지를 얻을 수 있다
도 3(b)의 신체 외곽선 이미지(35)의 또 다른 측면은 환자가 스마트 미러(700) 앞에 환자가 없을 때의 이미지와 있을 때의 이미지 간의 차등연산을 통해 차등 이미지를 획득하고, 이의 테두리 엣지(edge) 성분을 취함으로써 신체 외곽선 이미지(35)를 얻을 수 있다.
도 4a는 환자(77)가 스마트 미러(700) 앞에 섰을 때 유방암 진단에 유리한 최적의 스탠딩 장소(Standing place)에 대한 위치 정보를 환자(77)에게 제공하기 위한 스탠딩 위치 정보 제공 수단(미도시)의 여러 실시예를 보인다.
상기 스탠딩 위치 정보 제공 수단은 이미지 센서(50a, 50b)에 의해 환자의 신장(height)을 계측하여 유방암 진단에 유리한 스탠딩 장소를 산출하여 레이저 빔 조사 수단(30a, 30b)에 의해 레이저 발자국 패턴(99a)을 해당 바닥 위치에 레이저 빔 주사(laser beam illumination) 함으로서 이루어 질 수 있다.
예컨대, 레이저 빔 조사 수단(30a, 30b)에 의해 스마트 미러(700)의 설치 바닥면에 발자국 모양의 레이저 발자국 패턴(99a)을 형성하여 시각적으로 발자국 위치 정보를 환자(77)에게 제공할 수 있다.
상기 스탠딩 위치 정보 제공 수단의 또 다른 측면은 가상 사물 영상부(88)를 통해 자세 피팅용 신체 외곽선 이미지(32) 내지 피팅용 발자국 외곽선(99b)을 디스플레이 패널(20b)상에 사물영상으로 표시함으로서 이루어 질 수 있다.
상기 자세 피팅용 신체 외곽선 이미지(32)는 스탠딩 장소를 원점 좌표으로 하여 디스플레이 패널(20b)에 표시한 환자의 신체 외곽선 이미지(35)이다. 이때 바디 피팅 체크부(95)는 환자가 현재 서있는 좌표 기준의 신체 외곽선 이미지(35)와 상기 자세 피팅용 신체 외곽선 이미지(32) 간의 피팅 정도를 산출하여 제어부(70)를 통해 환자에게 피드백 해주는 것이 선호된다.
제어부(70)는, 스마트 미러의 스피커(60) 및 디스플레이 패널(20b) 상의 가상 사물영상에 의해 환자에게 피팅 가이드를 제공해 준다.
상기 스탠딩 위치 정보 제공 수단은 초음파 스캐너 모드 내지 자가 검사 모드 동안에도 열화상 카메라 모드때 사용했던 것과 동일한 스탠딩 장소를 환자에게 제공하는 것이 선호된다.
도 4b는 이미지 센서(50a, 50b)에 의해 레이저 발자국 패턴(99a)의 범위 내에 환자의 발바닥(99c)이 들어왔는지 즉, 얼마나 피팅(fitting)이 잘 되었는지 체크하기 위한 바디 피팅 체크부(95)를 이용한 스탠딩 위치 정보 제공 수단의 또 다른 실시예이다.
도면 부호 99b는 피팅용 발자국 외곽선(99b)으로, 레이저 조사에 의해 생성된 레이저 발자국 패턴(99a)에 대한 가상의 사물 영상이거나 원하는 스탠딩 위치에서의 발자국 모양을 디스플레이패널에 표시한 가상의 사물 영상이다.
도면부호 99c는 환자 발바닥 패턴(99c)으로, 환자의 발(36g)에 대한 가상의 사물 영상이다.
실제의 환자 발(36g)과 레이저 발자국 패턴(99a) 간의 거리 차이는 스테레오 비젼을 제공하는 이미지 센서(50a, 50b) 의해 산출할 수 있고, 이러한 거리 차이를 가상 사물영상부(88)를 통해 피팅용 발자국 외곽선(99b)과 환자 발바닥 패턴(99c)으로 디스플레이 패널(20b)상에 표현할 수 있다.
바디 피팅 체크부(95)는 피팅용 발자국 외곽선(99b) 과 환자 발바닥 패턴(99c) 간의 피팅 정도를 산출하여 제어부(70)를 통해 환자에게 피드백해주는 것이 선호되며, 이때 제어부(70)는 스마트 미러의 스피커(60) 및 디스플레이 패널(20b) 상의 가상 사물영상에 의해 환자에게 피팅 가이드를 제공해 준다.
또한, 상기 레이저 발자국 패턴(99a) 범위밖에 환자의 발(36g) 이 머무르는 경우 상기 레이저 발자국 패턴(99a)이 점멸(blinking)되는 것이 선호된다.
본 발명에 따른 제어부(70)는 인증이 되고 동시에 스탠딩 장소에서 환자의 신체 외곽선 이미지(35)가 자세 피팅용 신체 외곽선 이미지(32)와 피팅이 제대로 이루어진 환자에 대해서만 열화상 카메라 모드, 초음파 스캐너 모드 및 자가 검사 모드를 활성화시키는 것이 선호된다.
도 5a 내지 도 5c는, 초음파 스캐너 모드 동안에 가상의 커서(59), 압력 교정 정보, 입사각 교정 정보를 나타내는 가상의 사물 영상의 여러 실시예를 보인다.
도 5a는 압력 교정 정보를 바(bar) 그라프(87), 파이(pie) 그라프(83) 또는 수치에 의해 요구되는 접촉 압력 정보와 현재 초음파 스캐너의 접촉 압력을 사물 영상으로 표시한 실시예를 보인다.
거울(20a)에 표시된 압력 교정 정보는 환자에게 초음파 스캐너(100)의 압력 교정시에 참조가 된다.
도 5b와 도 5c는 가상의 커서(59)와 입사각 교정 화살표(100a,100b, 100c, 100d)를 통합하여 함께 표현한 가상의 사물 영상의 일실시예로, 초음파 스캐너(100)의 Top view로 쳐다보았을 때의 입사각 교정 화살표의 동서남북 방향을 표시한 것이다
즉, 본 실시예에서는 초음파 스캐너(100)의 위쪽에서 쳐다본 동서남북 방향을 표시한 입사각 교정 화살표(100a, 100b, 100c, 100d) 와 가상의 커서(59)를 함께 표현한 가상의 사물 영상을 스마트 미러(700)를 통해 환자에게 제공한다. 이때 환자는 입사각 교정 화살표에 의해 입사각 교정 정보를 얻고, 가상의 커서(59)의 위치에 의해 현 초음파 스캐너(100)의 위치를 파악할 수 있다.
도 5c 이미지 센서(50a, 50b) 와 바디 자세(body posture) 인터렉션부(51)에 의해 초음파 스캐너(100)의 위치 및 입사각을 체크하여 환자에게 위치 정보와 입사각 교정 정보를 피드백해주는 사물 영상의 일 실시예로, 거울에 비친 초음파 스캐너(100)의 모습 위에 겹쳐진 입사각 교정 화살표(100a, 100b, 100c, 100d)는 입사각 교정 정보로서, 환자에게 초음파 스캐너의 입사각 교정시에 참고가 된다.
또한, 거울에 비친 초음파 스캐너(100)의 모습 위에 겹쳐진 가상의 커서는 "위치 정보"로서, 환자에게 초음파 스캐너의 위치 교정시에 참고가 된다.
초음파 스캐너(100)의 입사각 교정 정보는 상하좌우 방향을 포함하는 입사각 교정 화살표를 사용하는 것이 선호되며, 검사 부위에 따라 미리 경험적으로 알려진 이상적인 초음파 스캐너(100)의 입사각에 도달하는 방법을 화살표 방향 지시를 통해 자가진단을 진행하는 사람에게 알려주는 가상의 사물 영상이다.
현 초음파 스캐너의 입사각이 요구되는 입사각과 불일치한 경우, 교정이 필요한 방향의 입사각 교정 화살표가 스마트 미러 상에 사물 영상으로서 점멸(blinking)하면서 표시되어 환자에게 입사각 교정에 대한 가이드하는 것이 선호된다.
예를 들면, 초음파 스캐너(100)를 서쪽 방향으로 기울여야 하는 경우, 서쪽 입사각 교정 화살표(102a)를 표시되거나 점멸하게 된다.
도면부호 102b는 동쪽 입사각 교정 화살표이고, 도면부호 102c는 북쪽 입사각 교정 화살표이고, 도면부호 102d는 남쪽 입사각 교정 화살표이고, 도면부호 102f와 102g는 대각선 방향 입사각 교정 화살표를 보인다.
도 6a 내지 도 6b는 스마트 미러(700)를 이용하여 거울(20a)에 비친 환자(77) 자신의 모습 위에 유방암 진단에 필요한 가상의 사물 영상을 디스플레이 패널(20b)에 오버랩(overlap)하여 초음파 자가진단을 진행하는 실시예들을 보여준다.
가상의 커서(59)는 초음파 스캐너 모드 동안 거울에 비친 환자 자신의 모습 위에 초음파 스캐너(100)의 현 위치를 나타낸다.
도 6a는 열화상 카메라 모드에서 얻어진 유방암 핫 스폿(84a) 영역에 대해 초음파 스캐너(100)를 사용하여 재검사하는 실시예로, 디스플레이 패널(20b) 상에 나타난 가상의 커서(59)에 의해 초음파 스캐너(100)의 현 위치를 파악하면서 유방암 초음파 자가진단을 수행한다. 신체 외곽선 이미지(32)는 유방 외곽선(32b)과 신체 외곽선(32a)을 포함한다.
열화상 카메라 모드에서 얻어진 유방암 핫 스폿(84a) 과 초음파 스캐너(100)의 현 위치를 나타내는 가상의 커서(59)를 사물 영상으로 환자에게 보여줌으로써, 환자(77)는 초음파 스캐너(100)의 현 위치를 쉽게 파악할 수 있고, 초음파 스캐너(100)를 어느 쪽 방향으로 움직여야 유방암 핫 스폿(84a) 영역에 도달할 수 있는지 쉽게 이해할 수 있게 해준다.
초음파 스캐너 모드 동안, 핫 스폿 가이더(86)는 유방 외곽선(32b)을 기준으로, 열화상 카메라 모드에서 얻어진 유방암 핫 스폿(84a) 영역과 위치를 사물 영상을 통해 거울에 비친 환자의 유방에 중첩하여 증강 현실로 보여준다.
또한, 유방암 추적 관리부(72)는 스마트 미러(700)의 디스플레이 패널(20b)을 통해 환자에게 유방암 위험도 내지 다음 유방암 검사 스케줄 일정을 사물 영상 내지 문자 전송을 통해 환자에게 알려주는 것이 선호된다.
도 6b는 열화상 카메라 모드에서 얻어진 유방암 핫 스폿(84a) 영역에 대해 초음파 스캐너(100)를 사용하여 재검사하는 또 다른 실시예로, 디스플레이 패널(20b) 상에 나타난 가상의 커서와 입사각 교정 화살표에 의해 초음파 스캐너(100)의 현 위치 및 입사각을 파악하면서 초음파 자가진단을 수행한다.
압력 교정 정보(82)는 초음파 스캐너가 환부에 대해 표준치 압력 대비 얼마나 센 압력으로 누르고 있는지를 압력 레벨로서 보여준다.
본 발명의 실시예를 따르는 핫 스폿 가이더(86)는 초음파 스캐너(100) 의해 재검사가 완료된 유방 핫 스폿 영역(84b)은 파란 계열의 색으로 표시하고, 초음파 스캐너(100)에 의해 재검사가 완료 안 된 유방 핫 스폿 영역(84c)은 빨간 계열의 색으로 표시하는 것이 선호된다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다. 도면에 도시하진 않았으나 유방암 자가 진단 방법은 앞서 설명된 인공지능형 열화상 초음파 스캐너 장치에 의하여 수행될 수 있다. 이하에서는 설명의 편의를 위해 인공지능형 열화상 초음파 스캐너 장치에 의해 수행되는 것으로 설명하고자 한다.
단계 S100에서, 스탠딩 위치 정보 제공 수단에 의해 유방암 진단에 유리한 최적의 위치 정보를 환자에게 제공할 수 있다.
단계 S101에서, 열화상 카메라에 의해 유방암 핫 스폿을 찾을 수 있다.
단계 S102에서, 열화상 카메라에 의해 유방암 핫 스폿이 발견된 경우, 환자에게 초음파 검사 또는 자가 검사를 요청할 수 있다.
단계 S103에서, 초음파 스캐너 모드 동안 초음파 스캐너의 자세 교정 정보를 스마트 미러 상에 가상의 사물 영상으로 제공할 수 있다.
단계 S104에서, 자가 진단 동안, 발견된 유방암 핫 스폿을 거울에 비추어진 환자 모습에 증강현실로 중첩하여 스마트 미러 상에 표시해 줄 수 있다.
단계 S105에서, 유방암 추적 관리부에 의해 주기적인 초음파 추적 검사를 시행하여 시간에 따른 종양, 종괴 나 석회화 군집(cluster)의 크기 변화 추이를 관찰하여 유방암 위험도 내지 다음 유방암 검사 스케줄 일정을 환자에게 알려줄 수 있다.
단계 S106에서, 유방암 추적 관리부에 의해 열화상 카메라에 의한 주기적 추적 검사에 따른 유방암 핫 스폿의 크기, 개수 변화 추이를 관찰하여 유방암 위험도 내지 다음 유방암 검사 스케쥴 일정을 환자에게 알려줄 수 있다.
상술한 설명에서, 단계 S100 내지 S106은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 유방암 자가 진단 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 유방암 자가 진단 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
20a 거울 20b 디스플레이 패널
30a, 30b 이미지 센서(레이저 빔 조사 수단)
31 신체 이미지 32 자세 피팅용 신체 외곽선 이미지
32a 신체 외곽선 32b 유방 외곽선
33 신체지도 35 신체 외곽선 이미지
36a 얼굴 36b 유방 36c 팔 36d 겨드랑이 36e 배
36f 다리 36g 발
40 무선 수신부 41 초음파 인공지능 신경망
43 압력 센싱 인공지능 신경망
50a 이미지 센서 50b 이미지 센서
51 바디 자세 인터렉션 52 열화상 유방암 탐색부
55 전원부 59 가상의 커서
60 스피커 70 제어부
72 유방암 추적 관리부 77 환자 80 유방 열화상 이미지 맵퍼
82 컷오프치 조절부 82 압력 교정정보
83 파이(pie) 그라프 84 유방암 핫 스폿 메모리
84a 유방암 핫 스폿 84b 재 검사가 완료된 유방 핫 스폿 영역
84c 재 검사가 완료 안된 유방 핫 스폿 영역
86 핫 스폿 가이더 88 가상 사물 영상부 88 가상 사물 영상부
90 바디 네비게이터 91 환자 인증부
92 신체 자세 교정 요청부 93 입사각 계산부
95 바디 피팅 체크부 99a 레이저 발자국 패턴
99b 피팅용 발자국 외곽선 99c 환자 발바닥 패턴
100 초음파 스캐너 100a,100b,100c,100d 입사각 교정 화살표
200 열화상 카메라 420 무선 송신부
600 열화상 초음파 스캐너 장치 700 스마트 미러

Claims (18)

  1. 스마트 미러 및 초음파 스캐너를 포함하되,
    상기 스마트 미러는,
    환자의 환부 표면 온도 분포에 따라 방출되는 적외선 변화를 2차원 이미지로 만든 열화상 이미지를 얻기 위한 열화상 카메라;
    상기 환자의 신체 이미지를 얻기 위한 이미지 센서;
    상기 초음파 스캐너로부터 수집된 초음파 이미지 정보를 수신하기 위한 수신부;
    상기 초음파 스캐너의 자세 정보를 체크하여, 환자에게 피드백 제어 명령 또는 초음파 진단에 필요한 지시사항을 음성 서비스로 알려주는 스피커;
    상기 초음파 스캐너의 자세 정보를 체크하여, 검사부위별로 초음파 스캐너 자세를 유도하기 위해 피드백 제어 명령을 가상의 사물 영상을 통해 전달하거나 또는 초음파 진단에 필요한 지시사항을 가상의 사물 영상을 통해 알려주는 디스플레이 패널;
    상기 디스플레이 패널 상에 가상의 사물 영상을 발생시키는 가상 사물 영상부;
    상기 열화상 이미지로부터 유방암이 의심되는 영역인 유방암 핫 스폿을 탐지하는 열화상 유방암 탐색부; 및
    상기 초음파 이미지 정보로부터 유방암 징후를 판별하기 위해, 유방암 위험도 등급에 따라 표지된 학습용 유방암 초음파 이미지들에 의해 사전에 학습된 초음파 인공지능 신경망,
    을 포함하고,
    상기 스마트 미러는 상기 가상의 사물 영상을 상기 디스플레이 패널 상에 표시함과 동시에 거울에 비친 환자의 모습과 서로 중첩 시켜서 표시하고, 환자로부터 얻은 상기 초음파 이미지 정보를 상기 초음파 인공지능 신경망에 의해 분석하여, 환자의 유방암 위험도를 자동으로 판별하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  2. 제 1 항에 있어서,
    상기 초음파 스캐너가 작동하는 모드에서, 상기 스마트 미러의 거울에 비치는 환자의 모습을 관찰하면서 상기 초음파 스캐너를 사용하여 질병을 진단하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 초음파 스캐너는,
    환자의 유방과의 접촉을 통해 환부로부터 초음파 이미지 정보를 얻기 위한 초음파 프로브 (probe); 및
    상기 초음파 이미지 정보를 상기 스마트 미러의 수신부로 송신하기 위한 송신부,
    를 포함하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  5. 제1항에 있어서,
    상기 열화상 유방암 탐색부는,
    소정의 기간 동안 소정의 횟수 이상 촬영된 유방 영역의 열화상 이미지들에 대한 픽셀 별 누적 합의 평균값으로 구성된 유방 열화상 이미지를 생성하는 유방 열화상 이미지 맵퍼(mapper);
    상기 유방 열화상 이미지에서 소정치 이상의 온도값을 나타내는 유방암 핫 스폿으로 구성된 열화상 핫 스폿 이미지를 생성하기 위한 컷오프(cutoff)치 조절부; 및
    상기 열화상 핫 스폿 이미지 내지 상기 유방암 핫 스폿 정보를 저장하기 위한 유방암 핫 스폿(hot spot) 메모리,
    를 포함하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  6. 제1항에 있어서,
    상기 스마트 미러는,
    초음파 스캐너 모드 내지 자가 검사 모드 동안 열화상 카메라 모드에서 얻어진 유방암 핫 스폿 영역과 위치를 가상의 사물 영상을 통해 환자의 모습이 투영된 거울에 중첩하여 증강현실로 알려주는 핫 스폿 가이더(hot spot guider)를 더 포함하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  7. 제1항에 있어서,
    상기 스마트 미러는,
    다양한 압력 레벨의 크기에 따라 라벨링(labeling)된 유방 초음파 이미지들에 의해 사전에 학습된 압력 센싱 인공지능 신경망을 추가 포함하여, 초음파 스캐너 모드 동안 얻어진 유방 초음파 이미지로부터 초음파 스캐너의 압력 레벨의 크기를 판별하는 것인,인공지능형 열화상 초음파 스캐너 장치.
  8. 제1항에 있어서,
    상기 스마트 미러는 바디 자세 인터렉션(body posture interaction)부를 더 포함하고,
    상기 바디 자세 인터렉션은,
    상기 이미지 센서에 의해 상기 초음파 스캐너의 위치 및 입사각을 산출하여 상기 초음파 스캐너의 위치 및 입사각 교정 정보를 제공하는 입사각 계산부;
    상기 신체 이미지로부터 신체 외곽선과 신체 기관들을 구별하는 경계선을 포함하는 신체 지도를 만드는 바디 네비게이터;
    유방암 진단 동안 환자가 취해야 할 신체 자세를 자세 피팅용 신체 외곽선 이미지를 보여주는 가상의 사물 영상을 통해 제공해주는 신체 자세 요청부;
    환자의 신체 외곽선 이미지와 상기 자세 피팅용 신체 외곽선 이미지 간의 피팅(fitting) 정도를 산출하여 환자에게 피드백 해주는 바디 피팅 체크부; 및
    환자가 누구인지를 확인하는 환자 인증부,
    를 포함하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  9. 제 8 항에 있어서,
    상기 환자 인증부는,
    신체 지도상의 얼굴부위의 이미지와 사전에 등록된 추적 대상자의 안면 데이터베이스를 서로 비교하여 얼굴이 누구인지를 인식하는 얼굴 인식부인 것인, 인공지능형 열화상 초음파 스캐너 장치.
  10. 제 8 항에 있어서,
    상기 바디 네비게이터는,
    신체 기관에 대해 서로 다른 색으로 시맨틱 분할(Sematic Segmentation) 표지된(labled) 신체 이미지들에 의해 딥런닝 학습된 인공지능 신경망을 구비하여, 상기 이미지 센서로부터 주어진 환자의 신체 이미지에 대해 상기 인공지능 신경망을 이용하여 신체 지도를 얻는 것인,인공지능형 열화상 초음파 스캐너 장치.
  11. 제 8 항에 있어서,
    상기 바디 네비게이터는,
    신체 기관들을 구분하는 경계선을 포함하는 신체 외곽선 이미지로 표지된 신체 이미지들에 의해 사전 학습된 인공 지능 신경망을 구비하여, 상기 이미지 센서로부터 주어진 환자의 신체 이미지에 대해 상기 인공지능 신경망을 이용하여 신체 지도를 얻는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  12. 제1항에 있어서,
    상기 스마트 미러는,
    열화상 카메라 모드 동안 유방암 진단에 대응하는 위치 정보를 산출하여 환자에게 제공하기 위한 스탠딩(standing) 위치 정보 제공 수단을 추가 포함하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  13. 제 12 항에 있어서,
    상기 스탠딩 위치 정보 제공 수단은,
    상기 이미지 센서에 의해 환자의 신장(height)을 계측하여 유방암 진단에 유리한 스탠딩 장소를 표시하는 피팅용 신체 외곽선 이미지 내지 피팅용 발자국 외곽선을 상기 디스플레이 패널 상에 가상의 사물 영상을 통해 표시하거나 레이저 빔 주사(laser beam scanning) 수단에 의해 스탠딩 장소(standing place)를 제공하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  14. 제1항에 있어서,
    상기 가상의 사물 영상은,
    가상의 커서(cursor), 압력 교정 정보, 입사각 교정 정보, 유방 외곽선, 신체 외각선, 피팅용 발자국 외곽선, 신체 기관을 구별하는 경계선, 유방암 핫 스폿 중 선택된 어느 하나 이상의 사물 영상인 것인, 인공지능형 열화상 초음파 스캐너 장치.
  15. 제 6 항에 있어서,
    상기 핫 스폿 가이더는,
    초음파 스캐너 모드 내지 자가 검사 모드 동안, 거울에 비친 환자의 유방 이미지에 상기 유방암 핫 스폿을 증강현실로 중첩시켜 상기 디스플레이 패널에 표시하여, 환자로 하여금 상기 유방암 핫 스폿 영역에 대해 재검사를 하도록 유도하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  16. 제 5 항에 있어서,
    상기 스마트 미러는 주기적 초음파 추적 검사를 시행하여 시간에 따른 종양, 종괴 나 석회화 군집(cluster)의 크기 변화 추이를 관찰하여 환자에게 위험도를 알려거나, 초음파 스캐너 모드 동안 발견된 종양, 종괴, 또는 석회화 군집(cluster)을 상기 유방암 핫 스폿 메모리에 추가 등록시키거나, 다음 유방암 초음파 검사 일정을 환자에게 알려주는 유방암 추적 관리부를 더 포함하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  17. 제1항에 있어서,
    상기 스마트 미러는,
    열화상 카메라에 의한 주기적 추적 검사에 따른 유방암 핫 스폿의 크기, 개수 변화 추이를 관찰하여 환자에게 위험도를 알려주거나 다음 유방암 열화상 카메라 검사 일정을 환자에게 알려주는 유방암 추적 관리부를 더 포함하는 것인, 인공지능형 열화상 초음파 스캐너 장치.
  18. 제1항, 제2항, 제4항 내지 제17항 중 어느 한 항에 따른 인공지능형 열화상 초음파 스캐너 장치에 의해 수행되는 유방암 자가 진단 방법에 있어서,
    스탠딩 위치 정보 제공 수단에 의해 유방암 진단에 유리한 최적의 위치 정보를 환자에게 제공하는 단계;
    열화상 카메라에 의해 유방암 핫 스폿을 찾는 단계;
    상기 열화상 카메라에 의해 유방암 핫 스폿이 발견된 경우, 초음파 검사 또는 자가 검사를 요청하는 단계;
    초음파 스캐너 모드 동안 초음파 스캐너의 자세 교정 정보를 스마트 미러 상에 가상의 사물 영상으로 제공하는 단계;
    자가 진단 동안, 발견된 유방암 핫 스폿을 거울에 비추어진 환자 모습에 증강현실로 중첩하여 스마트 미러 상에 표시해주는 단계;
    유방암 추적 관리부에 의해 주기적인 초음파 추적 검사를 시행하여 시간에 따른 종양, 종괴나 석회화 군집(cluster)의 크기 변화 추이를 관찰하여 유방암 위험도 내지 다음 유방암 검사 스케쥴 일정을 환자에게 알려주는 단계; 및
    유방암 추적 관리부에 의해 열화상 카메라에 의한 주기적 추적 검사에 따른 유방암 핫 스폿의 크기, 개수 변화 추이를 관찰하여 유방암 위험도 내지 다음 유방암 검사 스케쥴 일정을 환자에게 알려주는 단계;
    를 포함하는 것인, 유방암 자가 진단 방법.
KR1020210036638A 2021-03-22 2021-03-22 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법 KR102313667B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210036638A KR102313667B1 (ko) 2021-03-22 2021-03-22 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
US18/253,666 US20240008839A1 (en) 2021-03-22 2022-03-02 Artificial intelligence-type thermal imaging ultrasound scanner apparatus for breast cancer diagnosis using smart mirror, and breast cancer self-diagnosis method using same
PCT/KR2022/002933 WO2022203229A1 (ko) 2021-03-22 2022-03-02 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210036638A KR102313667B1 (ko) 2021-03-22 2021-03-22 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법

Publications (1)

Publication Number Publication Date
KR102313667B1 true KR102313667B1 (ko) 2021-10-15

Family

ID=78150936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210036638A KR102313667B1 (ko) 2021-03-22 2021-03-22 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법

Country Status (3)

Country Link
US (1) US20240008839A1 (ko)
KR (1) KR102313667B1 (ko)
WO (1) WO2022203229A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203229A1 (ko) * 2021-03-22 2022-09-29 성균관대학교산학협력단 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
WO2023075151A1 (ko) * 2021-10-26 2023-05-04 주식회사 제이시스메디칼 초음파 발생 장치의 제어 장치 및 그 제어 방법
KR102543555B1 (ko) * 2022-07-11 2023-06-14 성균관대학교산학협력단 인공지능형 유방암 진단 장치 및 이를 이용한 유방암 자가 진단 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022088A (ko) * 2015-08-19 2017-03-02 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
WO2017127571A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
KR20170115269A (ko) * 2016-04-07 2017-10-17 (주)유신씨앤씨 원격 진료 부스
US20180253840A1 (en) * 2017-03-06 2018-09-06 Bao Tran Smart mirror
KR102144671B1 (ko) * 2020-01-16 2020-08-14 성균관대학교산학협력단 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
KR102199020B1 (ko) * 2020-05-08 2021-01-06 성균관대학교산학협력단 천장형 인공지능 건강 모니터링 장치 및 이를 이용한 원격 의료 진단 방법
KR20210063188A (ko) * 2019-11-21 2021-06-01 주식회사 지비소프트 스마트 미러 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313667B1 (ko) * 2021-03-22 2021-10-15 성균관대학교산학협력단 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022088A (ko) * 2015-08-19 2017-03-02 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
WO2017127571A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US20190371028A1 (en) * 2016-01-19 2019-12-05 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
KR20170115269A (ko) * 2016-04-07 2017-10-17 (주)유신씨앤씨 원격 진료 부스
US20180253840A1 (en) * 2017-03-06 2018-09-06 Bao Tran Smart mirror
KR20210063188A (ko) * 2019-11-21 2021-06-01 주식회사 지비소프트 스마트 미러 장치
KR102144671B1 (ko) * 2020-01-16 2020-08-14 성균관대학교산학협력단 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
KR102199020B1 (ko) * 2020-05-08 2021-01-06 성균관대학교산학협력단 천장형 인공지능 건강 모니터링 장치 및 이를 이용한 원격 의료 진단 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203229A1 (ko) * 2021-03-22 2022-09-29 성균관대학교산학협력단 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
WO2023075151A1 (ko) * 2021-10-26 2023-05-04 주식회사 제이시스메디칼 초음파 발생 장치의 제어 장치 및 그 제어 방법
KR102543555B1 (ko) * 2022-07-11 2023-06-14 성균관대학교산학협력단 인공지능형 유방암 진단 장치 및 이를 이용한 유방암 자가 진단 방법

Also Published As

Publication number Publication date
US20240008839A1 (en) 2024-01-11
WO2022203229A1 (ko) 2022-09-29

Similar Documents

Publication Publication Date Title
KR102313667B1 (ko) 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법
US11253171B2 (en) System and method for patient positioning
EP3669942B1 (en) Systems and methods for determining a region of interest of a subject
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
KR102144671B1 (ko) 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
US20180271484A1 (en) Method and systems for a hand-held automated breast ultrasound device
CN112022201A (zh) 机器引导的成像技术
US20120293511A1 (en) Method for displaying an area to be medically examined and/or treated
CN110464301A (zh) 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
CN102670177B (zh) 皮肤光学诊断装置及其操作方法
US20210052247A1 (en) Medical information processing system and medical information processing method
KR20090020347A (ko) 적외선 체열 검출 및 분석 방법
CN117084697A (zh) 一种成像系统和方法
US10993625B1 (en) System, method, and apparatus for temperature asymmetry measurement of body parts
KR102543555B1 (ko) 인공지능형 유방암 진단 장치 및 이를 이용한 유방암 자가 진단 방법
US20220353409A1 (en) Imaging systems and methods
JP4924250B2 (ja) 断層面画像生成装置、プログラム、および断層面画像生成方法
US20230263500A1 (en) Determining a configuration of a medical x-ray imaging system for detecting a marker device
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
US20240090864A1 (en) Radiographic imaging support system, radiographic imaging support method, and recording medium
US20230196576A1 (en) Thermal scanner for joint health
US20240164730A1 (en) Cone beam computed tomography centering with augmented reality
Ivanescu et al. Vision system for human body infrared thermography
US20220296158A1 (en) System, method, and apparatus for temperature asymmetry measurement of body parts

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant