KR102370167B1 - 인공지능 기반 초음파 병변 진단 보조시스템 - Google Patents

인공지능 기반 초음파 병변 진단 보조시스템 Download PDF

Info

Publication number
KR102370167B1
KR102370167B1 KR1020210142344A KR20210142344A KR102370167B1 KR 102370167 B1 KR102370167 B1 KR 102370167B1 KR 1020210142344 A KR1020210142344 A KR 1020210142344A KR 20210142344 A KR20210142344 A KR 20210142344A KR 102370167 B1 KR102370167 B1 KR 102370167B1
Authority
KR
South Korea
Prior art keywords
lesion
ultrasound
image information
diagnosis
ultrasound image
Prior art date
Application number
KR1020210142344A
Other languages
English (en)
Inventor
최춘기
Original Assignee
주식회사 파인트리시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 파인트리시스템 filed Critical 주식회사 파인트리시스템
Priority to KR1020210142344A priority Critical patent/KR102370167B1/ko
Application granted granted Critical
Publication of KR102370167B1 publication Critical patent/KR102370167B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Abstract

본 발명은 초음파 검사 시 인공지능기반의 객체추적 기술(obeject tracing)을 통해 실시간으로 병변에 대한 추적 관찰을 수행하여 예측된 결과를 제공함으로써, 진료과정에서 보다 효과적이고 향상된 의료서비스를 제공하여 주는 인공지능 기반 초음파 병변 진단 보조시스템에 관한 것으로, 환자의 신체부위에 배치되어 초음파신호를 획득하는 초음파 프로브(110), 그 획득되는 초음파신호를 토대로 해당 환자의 초음파 영상정보를 생성하는 영상생성부(120), 상기 해당 환자의 초음파 영상정보에 딥런닝 학습된 병변추적모델(131)을 기반으로 객체 추적하여 해당 환자의 병변 여부 및 병변으로 판단된 경우 병변에 해당하는 위치를 인지가능하게 안내하는 영상정보인 병변진단 초음파 영상정보로 가공하는 병변탐지추적부(130), 상기 초음파 영상정보를 출력하는 정보출력부(140)가 구비된 초음파영상 진단보조단말(100)과; 기 확정된 환자의 병변을 나타내는 초음파 영상정보들을 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하여 병변추적모델(131)을 생성하는 딥러닝엔진(220)을 포함하고, 그 생성된 병변추적모델(131)을 상기 초음파영상 진단보조단말(100)로 전송하는 진료내역 공유서버(200);를 포함하는 것을 특징으로 한다.

Description

인공지능 기반 초음파 병변 진단 보조시스템{Assistance system for diagnosing ultrasound based on artificial intelligence.}
본 발명은 초음파 검사 시 인공지능기반의 객체추적 기술(obeject tracing)을 통해 실시간으로 병변에 대한 추적 관찰을 수행하여 예측된 결과를 제공함으로써, 진료과정에서 보다 효과적이고 향상된 의료서비스를 제공하여 주는 인공지능 기반 초음파 병변 진단 보조시스템에 관한 것이다.
일반적으로, 병원에서 스트림 데이터(stream date)를 기반으로 운용되는 의료 장비로는 초음파 장비가 대표적이며, 초음파 장비에 연결된 탐촉자(probe or transducer) 프로브의 종류에 따라 복부초음파검사, 비뇨생식기 초음파 검사, 여성초음파검사, 유방초음파 검사, 근골격 초음파 검사, 갑상선 초음파 검사, 심장초음파 검사 및 혈관 초음파 검사 등을 수행한다.
초음파 장비의 경우 초음파장비에서 생성되는 초음파(20,000Hz 이상)를 신체내에 투과를 시켜 반사되는 반사파로서 스트림(stream) 기반의 신호(data)를 탐촉자(probe or transducer)가 수신하여 이를 증폭, 변환하여 영상정보로 표현함으로써, 병변을 파악하는 진단하는 의료 장비이다. 이때 증폭, 변환되어 영상으로 나타나는 것을 소노그래피(sonography) 또는 소노그램(sonogram)이라고도 부른다.
보다 자세히 설명하면, 초음파 장비를 통해 생성된 초음파는 그 특성상 인체와 여러 상호 작용을 통해서 스트림 데이터가 확보되는데, 초음파의 인체와의 작용은 크게 반사(reflection), 굴절(refraction), 흡수(absorption), 산란(scattering),투과(transmission) 및 감쇠(attenuation) 현상을 통해 의료진이 병변을 감별 할 수 있게 증폭, 변환된 스트림 영상으로 출력되는 것이다.
이렇듯 초음파를 활용한 진단 방법은 초음파장비에 연결된 탐촉자(probe or transducer)를 의료진이 어떻게 효율적으로 다루느냐에 따라 그 병변 진단의 정확도와 변별의 정교함이 조건 지어지며, 송출되는 Stream 데이터를 분석하는데 있어서 의료진으로서 쌓아온 경험적 판단에 근거하는 한계가 있음에도 불구하고, 명확한 병변을 확증할 수 있는 장비로서 CT 나 MRI에 비해 방사선 피폭의 위험성이 적고, 저렴하며, 실시간 검사가 가능하다는 장점이 있어 현대의학에서 폭 넓게 사용되고 있다.
그럼에도 불구하고 초음파장비를 통해 송출되는 초음파를 통해 의료영상의 판독에 있어서 탐촉자(probe or transducer)를 의료진인 검사자가 출력된 초음파 의료영상 만으로 악성인지 혹은 양성인지와 같은 병변 판단을 수행해야 하는데 충분한 기술과 지식을 습득해야 원활한 수행이 가능하고, 동일한 초음파 의료영상에 대해서도 검사자별로 판독 능력에 차이를 보일 수 있으며, 초음파 의료영상에서 미세하게 표시되는 징후에 대해서는 숙련된 검사자라 하더라도 판독 능력이 떨어져 오진 확률이 높다는 문제점이 있다.
KR 10-1670335 B1
본 발명은 상기 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 초음파 검사 시 인공지능기반의 객체추적 기술(obeject tracing)을 통해 실시간으로 병변에 대한 추적 관찰을 수행하여 예측된 결과를 제공함으로써, 진료과정에서 보다 효과적이고 향상된 의료서비스를 제공하여 주는 인공지능 기반 초음파 병변 진단 보조시스템을 제공하는데 있다.
본 발명을 달성하기 위한 기술적 사상으로 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템은, 환자의 신체부위에 배치되어 초음파신호를 획득하는 초음파 프로브, 그 획득되는 초음파신호를 토대로 해당 환자의 초음파 영상정보를 생성하는 영상생성부, 상기 해당 환자의 초음파 영상정보에 딥런닝 학습된 병변추적모델을 기반으로 객체 추적하여 해당 환자의 병변 여부 및 병변으로 판단된 경우 병변에 해당하는 위치를 인지가능하게 안내하는 영상정보인 병변진단 초음파 영상정보로 가공하는 병변탐지추적부, 상기 초음파 영상정보를 출력하는 정보출력부가 구비된 초음파영상 진단보조단말과; 기 확정된 환자의 병변을 나타내는 초음파 영상정보들을 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하여 병변추적모델을 생성하는 딥런닝엔진을 포함하고, 그 생성된 병변추적모델을 상기 초음파영상 진단보조단말로 전송하는 진료내역 공유서버;를 포함한다.
상기 진료내역 공유서버에는, DB부;를 포함하고, 상기 DB부에는, 병원별로 구분되어 저장되는 정보로서, 병변진단 초음파 영상정보가 누적 저장되어 관리되는 병원별 누적 초음파 영상정보 DB;를 포함하며, 상기 초음파영상 진단보조단말은, 정보통신부를 통해 병변진단 초음파 영상정보를 진료내역 공유서버로 전송하고, 상기 진료내역 공유서버는, 수신되는 병변진단 초음파 영상정보를 병원별 누적 초음파 영상정보 DB에 해당 병원별로 구분하여 저장하며, 상기 진료내역 공유서버는, 딥런닝엔진을 운영하여, 기지정주기마다 병원별 누적 초음파 영상정보 DB에 해당 병원별로 구분되어 누적저장되는 전체 병변진단 초음파 영상정보들을 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하여 병변추적모델을 갱신하여, 상기 초음파영상 진단보조단말로 전송하고, 초음파영상 진단보조단말은, 병변탐지추적부에 구비되는 기존의 병변추적모델을 상기 진료내역 공유서버로부터 정보통신부를 통해 수신되는 갱신된 병변추적모델로 대체하는 기능을 수행한다.
상기 DB부에는, 병원별로 구분되어 저장되는 정보로서, 생성된 병변진단 초음파 영상정보와 동일한 신체부위를 MRI(Magnetic Resonance Imaging)를 통해 촬영한 병변진단 자기공명 영상정보 및 생성된 병변진단 초음파 영상정보와 동일한 신체부위를 CT(Computed Tomography)를 통해 촬영한 병변진단 단층촬영 영상정보가 누적 저장되어 관리되는 병원별 누적 고해상도 영상정보 DB;를 더 포함하고, 상기 진료내역 공유서버의 딥런닝엔진은, 기지정주기마다 병원별 누적 초음파 영상정보 DB에 해당 병원별로 구분되어 누적저장되는 전체의 병변진단 초음파 영상정보들에 상기 병원별 누적 고해상도 영상정보 DB에서 해당 병원별로 구분되어 누적저장되는 전체의 병변진단 자기공명 영상정보 및 전체의 병변진단 단층촬영 영상정보를 추가한 상태에서 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하되, 교차 검증(cross validation)을 통한 가중치를 조절하여 병변추적모델을 갱신하는 기능을 수행한다.
상기 병변추적모델을 구비한 병변탐지추적부는, FPGA(Field Programmable Gate Array)에 탑재되어, 병변진단 초음파 영상정보를 가공하는 기능을 수행한다.
상기 초음파영상 진단보조단말에는, 상기 초음파영상 진단보조단말의 시작 후 정지하는 시간인 장비 사용시간을 카운팅하는 세션카운트부;를 포함하고, 상기 초음파영상 진단보조단말은 장비 사용시간에 따른 대금을 포함하는 대금결제 요청정보를 생성하는 기능을 수행한다.
본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에는, 환자별로 구분되어 저장관리되는 전자 진료 기록(Electronic Medical Record, EMR)으로서, 해당 환자의 진료기록부, 처방전, 수술기록, 검사소견기록 및 진료영상을 포함하는 환자 진료 정보를 저장관리하는 병원서버;를 더 포함하고, 상기 초음파영상 진단보조단말에는, 의사인 검사자가 발화하는 음성을 입력받아 전기적인 음성신호인 검사소견 음성정보로 가공하는 마이크와; 그 가공된 검사소견 음성정보를 텍스트인 검사소견 문자정보로 가공하는 STT부;를 포함하며, 상기 초음파영상 진단보조단말은, 그 가공된 텍스트인 검사소견 문자정보를 정보통신부를 통해 상기 병원서버로 전송하고, 상기 병원서버는, 전송되는 검사소견 문자정보를 해당 환자의 환자 진료 정보에 저장관리하는 기능을 수행한다.
상기 정보출력부는, 디스플레이부 및 스피커로 이루어지고, 병변으로 판단된 병변진단 초음파 영상정보는, 상기 디스플레이부에 출력되며, 상기 병변탐지추적부는, 병변으로 판단된 병변진단 초음파 영상정보를 획득한 신체부위를 중심으로 병변이 더 확장 진행되었는지를 확인하고자 상기 디스플레이부에 출력된 병변으로 판단된 병변진단 초음파 영상정보 상에 숫자로 표시되는 길이정보(㎝단위)를 포함하는 예측 길이선 이미지를 오버랩하여 표시하여, 초음파 프로브의 이동을 안내하고, 이동된 환자의 신체부위에서 초음파 프로브의 작동 조작을 안내하며, 그 작동 조작에 의해 재차 생성되는 해당 환자의 초음파 영상정보인 예측 병변진단 초음파 영상정보에 딥런닝 학습된 병변추적모델을 기반으로 객체 추적하여 해당 환자의 병변의 확장 여부 및 병변이 확장된 것으로 판단된 경우 확장된 병변에 해당하는 위치를 인지가능하게 안내하는 영상정보인 확장 병변진단 초음파 영상정보로 가공하여 디스플레이부를 통해 출력되도록 제어하는 기능을 수행한다.
상기 초음파영상 진단보조단말에는, 병변진단 초음파 영상정보를 획득한 환자의 신체부위에 배치된 초음파 프로브가 예측 길이선 이미지에 해당하는 길이로 이동 시 그 이동거리를 계측하여 이동거리정보를 기설정 주기마다 생성하는 이동거리 계측부;를 포함하고, 상기 초음파영상 진단보조단말은 이동거리 계측부를 통해 기설정 주기마다 입력되는 이동거리정보를 토대로 예측 길이선 이미지에 해당하는 길이까지 초음파 프로브가 이동된 경우 스피커를 통해 검사자가 인지할 수 있게 안내하는 기능을 수행한다.
상기 이동거리 계측부는, 일부가 상기 초음파 프로브의 노출되어, 상기 초음파 프로브가 환자의 신체부위에 접촉되어 이동 시 연동하여 회전하는 원형의 회전구와; 상기 회전구에 고정연결되는 회전축과; 상기 회전축의 일측에 연결되어, 회전하면서 거리를 측정하는 엔코더;로 이루어진다.
본 발명은 초음파 검사 시 인공지능기반의 객체추적 기술(obeject tracing)을 통해 실시간으로 병변에 대한 추적 관찰을 수행하여 예측된 결과를 제공함으로써, 검사자인 의료진의 진단을 보조하는 진료과정에서 보다 효과적이고 향상된 의료서비스를 제공하여 주는 효과를 발휘한다.
또한, 본 발명은 인공신경망 알고리즘 종류나 파라메터에 변화를 줄 경우, 정밀도나 재현율도 함께 변하기에 파라메터들에 다양한 변화를 주고 mAP를 확인하여 최적의 파라메터를 활용한 mAP가 가장 높은 수치를 갖는 모델을 특정함으로써, 스트림 데이터인(stream data)인 초음파 영상정보에 대한 객체추적(object tracing)의 검증에 대한 정교함을 구현하여 의료진의 병변 진료와 진단을 보조할 수 있게 안내하여 주는 효과도 있다.
또한, 본 발명은 전국각지에 분포되어 있는 병원에서 초음파 검사 시 생성되는 초음파 영상정보를 실시간으로 수집하고, 기지정된 주기마다 수집된 초음파 영상정보를 반영하여 딥러닝 학습을 수행함으로써, 보다 정밀한 객체추적을 수행할 수 있게 안내하여 주는 효과도 있다.
또한, 본 발명은 인공지능 기반 초음파 병변 진단 보조시스템에서는 초음파 영상정보와 동일한 신체부위를 촬영한 고해상도의 MRI(Magnetic Resonance Imaging) 및 CT(Computed Tomography) 관련 영상정보도 학습데이터로 활용하되, 가중치까지 부여하여 활용함으로서, 학습 정밀도를 가일층 향상시켜주는 효과도 있다.
또한, 본 발명은 병변추적모델을 구비한 병변탐지추적부를 FPGA(Field Programmable Gate Array)에서 구현가능하게 제작함으로써, 보다 신속하게 객체 추적을 수행하여주는 효과도 있다.
또한, 본 발명은 환자에게 초음파 검사를 위한 초음파영상 진단보조단말 이용 시 이용요금을 일정액이 아닌 사용시간에 따라 지불하도록 하여 병변이 없는 건강한 상태이면 보다 적은 비용으로 본 서비스를 이용가능한 효과도 있다.
또한, 본 발명은 의료진인 검사자가 초음파영상 진단보조단말의 디스플레이부를 통해 출력된 병변진단 초음파 영상정보를 참조하여 환자에게 구두 안내하는 병변 관련 검사 내용을 문서정보로 변환하여 전자 진료 기록(Electronic Medical Record)으로 활용가능하게 안내하는 효과도 있다.
또한, 본 발명은 환자의 초음파 영상정보를 객체 추적하여 병변으로 판단된 경우 해당 병변진단 초음파 영상정보를 획득한 신체부위를 중심으로 병변이 다른 쪽으로 확장이 예상되는 신체부위를 딥런닝 학습된 병변추적모델을 이용하여 병변 확장 여부를 추적하되, 다른 쪽으로 확장이 예상되는 신체부위까지의 거리를 ㎝단위로 확장 길이 및 예상 위치를 의료진인 검사자가 인지할 수 있게 안내하여 주는 효과도 있다.
또한, 본 발명은 의료진인 검사자에게 병변진단 초음파 영상정보를 획득한 환자의 신체부위에 배치된 초음파 프로브가 예측 길이선 이미지에 해당하는 길이가지 이동하면 이를 인지가능하게 안내하여 주는 효과도 있다.
도 1은 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템을 나타낸 시스템 구성도.
도 2는 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템을 나타낸 시스템을 이루는 구성 중 초음파영상 진단보조단말의 세부구성을 나타낸 블록구성도.
도 3은 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템을 나타낸 시스템을 이루는 구성 중 진료내역 공유서버의 세부구성을 나타낸 블록구성도.
도 4는 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템을 나타낸 시스템을 이루는 구성 중 초음파영상 진단보조단말에 구비되는 이동거리 계측부 부분을 나타낸 도면.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하면서 상세히 설명하기에 앞서, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 하기의 실시예들은 본 발명을 상세히 설명하고자 언급된 것일 뿐이지, 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 각 도면에서 구성요소들은 이해의 편의 등을 고려하여 크기나 두께를 과장되게 표현하거나, 또는 단순화하여 표현하고 있으나 이에 의하여 본 발명의 보호범위가 제한적으로 해석되어서는 아니되며, 동일한 기능을 수행하는 경우에는 가급적 동일한 도면부호를 명기하기로 한다. 이와 더불어, 본 발명에서 사용한 용어는 단지 하기의 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템은 크게, 초음파영상 진단보조단말(100) 및 진료내역 공유서버(200)로 이루어진다.
먼저, 초음파영상 진단보조단말(100)은 환자의 신체부위 중 초음파 검사가 필요로 하는 해당 신체부위에 초음파검사를 수행하여 획득되어지는 초음파 영상정보를 딥런닝 학습된 병변추적모델(131)을 이용하여 해당 환자의 병변 여부 및 병변으로 판단된 경우 병변에 해당하는 위치를 인지가능하게 안내하는 초음파 장비이다.
여기서, 초음파검사에는 복부초음파검사, 비뇨생식기 초음파 검사, 여성초음파검사, 유방초음파 검사, 근골격 초음파 검사, 갑상선 초음파 검사, 심장초음파 검사 및 혈관 초음파 검사와 같이, 초음파를 통해 검사가 가능한 모든 검사가 해당된다.
이러한 기능을 수행하는 초음파영상 진단보조단말(100)의 세부구성은 초음파 프로브(110), 영상생성부(120), 병변탐지추적부(130) 및 정보출력부(140)를 포함한다.
먼저, 초음파 프로브(110)는 환자의 신체부위에 배치되어 초음파신호를 획득하는 부재로서, 초음파를 환자의 신체부위에 송신하고 환자의 신체부위로부터 반사되는 에코 신호를 수신함으로써, 환자의 신체부위로부터 초음파 이미지인 초음파신호를 획득할 수 있다.
상기 영상생성부(120)는 초음파 프로브(110)로부터 입력되는 초음파신호를 토대로 해당 환자의 초음파 영상정보를 생성하는 부재이다.
이와 같은, 기능을 수행하는 영상생성부(120)는 상용화된 기술로서, 펄서(pulser), 드라이버(TD), T/R 스위치, 가변증폭기(VGA), AD변환기를 포함하는 아날로그 회로와, 초음파 송신을 위한 송신 빔집속기 및 수신된 초음파를 각 영상점에서 집속하는 수신 빔 집속기로 구성되어, 빔 집속된 신호는 동적 필터링, 포락선 검출, 로그 압축기, Color/Spectral Doppler 처리, 주사선 변환기를 통한 신호처리과정을 거쳐 초음파 영상정보를 생성한다.
상기 병변탐지추적부(130)는 영상생성부(120)로부터 입력되는 해당 환자의 초음파 영상정보에 딥런닝 학습된 병변추적모델(131)을 기반으로 객체 추적하여 해당 환자의 병변 여부 및 병변으로 판단된 경우 병변에 해당하는 위치를 인지가능하게 안내하는 영상정보인 병변진단 초음파 영상정보로 가공하는 부재이다.
상기 정보출력부(140)는 초음파 영상정보가 출력되는 부재로서, 초음파 영상정보가 출력되는 디스플레이부(141) 및 사운드가 출력되는 스피커(142)로 이루어진다.
여기서, 디스플레이부(141)의 경우에는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스 플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등 다양한 출력부재가 선택 적용되어질 수 있다.
상기 진료내역 공유서버(200)는 기 확정된 환자의 병변을 나타내는 초음파 영상정보들을 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하여 병변추적모델(131)을 생성하는 딥러닝엔진(220)을 포함하고, 그 생성된 병변추적모델(131)을 초음파영상 진단보조단말(100)로 전송하는 서버부재이다.
여기서, 인공신경망을 통해, 학습한 결과물인 병변추적모델(131)의 검증(validation)을 위한 방법으로, mAP(mean Average Precision) 평가지표를 사용한다. mAP는 정확도를 측정하는 방법으로서 Precision(정밀도)과 recall(재현율)을 이용하여 정확도를 측정하는데, 정밀도가 좋은 성능을 갖는다 하더라도 재현율의 성능이 좋지 않으면 정확도는 반감되는 바, 정밀도나 재현율 어느 한 값으로 모델의 성능을 판단하기엔 불가능하여 두 값을 합하여 평가하기 위한 것이 AP(Average Precision)이다.
이에 근거해 스트림 데이터인(stream data)인 초음파 영상정보에 대한 객체추적(object tracing)을 위한 병변 추적에 있어서 라벨링의 대상을 클래스라 할 때 이러한 각각의 클래스들에 대한 각각의 AP의 평균을 mAP(mean Average Precision)라고 한다. 또한, mAP는 PR(Precision-Recall) Curve의 면적으로 계산한다.
한편, 객체추적의 학습과 검증, 추론 시 mAP를 확인할 수 있는데 이 mAP는 다양한 요소에 영향을 받는다.
Figure 112021121750328-pat00001
표1은 mAP에 영향을 주는 Yolov5에서 제공되는 알고리즘의 종류를 나타낸 표이다.
표1에 보이는 바와 같이, Yolov5 내에서도 기본으로 제공되는 알고리즘이 4종류 존재한다. 여기서, Yolov5는 YOLO(You Only Look Once)의 가장 최신 버전으로, 2020년 6월 공개된 라이브러리이며, YOLO는 one-stage object detection 딥러닝 기법이다.
이러한, Yolov5의 각 알고리즘마다 속도와 정확도가 다르며, 이미지 샘플들로 학습한 결과는 표2와 같다.
Figure 112021121750328-pat00002
표2는 Yolov5의 각 모델에 따른 PR(Precision-Recall) Curve를 나타낸 표이다. 여기서, y축은 Precision(정밀도)이고, x축은 recall(재현율)이다.
이와 더불어, 인공지능 학습 시 파라메터에 변화를 줄 경우 결과도 바뀌게 되는데 학습 사이클인 epoch(학습 시 데이터-초음파 영상정보 사용회수)에 변화를 줄 경우 표3과 같은 결과가 도출되었다.
Figure 112021121750328-pat00003
이처럼, 알고리즘 종류나 파라메터에 변화를 줄 경우, 정밀도나 재현율도 함께 변하기에 파라메터들에 다양한 변화를 주고 mAP를 확인하여 최적의 파라메터를 활용한 mAP가 가장 높은 수치를 갖는 모델을 사용하였다. 이를 통해, 스트림 데이터인(stream data)인 초음파 영상정보에 대한 객체추적(object tracing)의 검증에 대한 정교함을 구현하여 의료진의 병변 진료와 진단을 보조할 수 있게 안내한다.
이와 더불어, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에서는 전국각지에 분포되어 있는 병원에서 초음파 검사 시 생성되는 초음파 영상정보를 실시간으로 수집하고, 기지정된 주기마다 수집된 초음파 영상정보를 반영하여 딥러닝 학습을 수행함으로써, 보다 정밀한 객체추적을 수행할 수 있게 안내하여 주는 이점을 제공한다.
이를 위해, 진료내역 공유서버(200)에는 DB부(210)를 포함한다.
상기 DB부(210)에는 병원별로 구분되어 저장되는 정보로서, 병변진단 초음파 영상정보가 누적 저장되어 관리되는 병원별 누적 초음파 영상정보 DB(211)가 구비되어진다.
그리고 초음파영상 진단보조단말(100)에는 정보통신부(150)가 구비되어진다.
이처럼, 구비되는 정보통신부(150)는 초음파영상 진단보조단말(100)과 진료내역 공유서버(200) 간에 정보를 송수신 하기 위한 인터페이싱부재로서, 이더넷(Ethernet)을 포함하는 유선 네트워크 또는 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wireless Broadband, Wibro), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet Access)을 포함하는 무선 네트우크 등과 같은 다양한 네트워크를 선택하여 사용할 수 있다.
이를 통해, 초음파영상 진단보조단말(100)은, 정보통신부(150)를 통해 병변진단 초음파 영상정보를 진료내역 공유서버(200)로 전송한다.
진료내역 공유서버(200)는 수신되는 병변진단 초음파 영상정보를 병원별 누적 초음파 영상정보 DB(211)에 해당 병원별로 구분하여 저장한다.
이후, 진료내역 공유서버(200)는 딥러닝엔진(220)을 운영하여, 기지정주기마다 병원별 누적 초음파 영상정보 DB(211)에 해당 병원별로 구분되어 누적저장되는 전체 병변진단 초음파 영상정보들을 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하여 병변추적모델(131)을 갱신하여, 초음파영상 진단보조단말(100)로 전송한다. 한편, 기지정된 주기는 일정 시간 별 또는 누적저장되는 병변진단 초음파 영상정보의 일정 개수 중에서 필요에 따라 선택하여 사용할 수 있다.
그리고 초음파영상 진단보조단말(100)은 병변탐지추적부(130)에 구비되는 기존의 병변추적모델(131)을 진료내역 공유서버(200)로부터 정보통신부(150)를 통해 수신되는 갱신된 병변추적모델(131)로 대체하여 사용한다.
또한, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에서는 초음파 영상정보와 동일한 신체부위를 촬영한 고해상도의 MRI(Magnetic Resonance Imaging) 및 CT(Computed Tomography) 관련 영상정보도 학습데이터로 활용하되, 가중치까지 부여하여 활용함으로서, 학습 정밀도를 가일층 향상시켜주는 이점을 제공한다.
이를 위해, 진료내역 공유서버(200)의 DB부(210)에는 병원별로 구분되어 저장되는 정보로서, 생성된 병변진단 초음파 영상정보와 동일한 신체부위를 MRI(Magnetic Resonance Imaging)를 통해 촬영한 병변진단 자기공명 영상정보 및 생성된 병변진단 초음파 영상정보와 동일한 신체부위를 CT(Computed Tomography)를 통해 촬영한 병변진단 단층촬영 영상정보가 누적 저장되어 관리되는 병원별 누적 고해상도 영상정보 DB(212)를 더 포함한다.
이를 통해, 진료내역 공유서버(200)의 딥러닝엔진(220)은 기지정주기마다 병원별 누적 초음파 영상정보 DB(211)에 해당 병원별로 구분되어 누적저장되는 전체의 병변진단 초음파 영상정보들에 병원별 누적 고해상도 영상정보 DB(212)에서 해당 병원별로 구분되어 누적저장되는 전체의 병변진단 자기공명 영상정보 및 전체의 병변진단 단층촬영 영상정보를 추가한 상태에서 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하되, 교차 검증(cross validation)을 통한 가중치를 조절하여 병변추적모델(131)을 갱신하는 기능을 수행한다.
또한, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에서는 병변추적모델(131)을 구비한 병변탐지추적부(130)를 FPGA(Field Programmable Gate Array)에서 구현가능하게 제작함으로써, 보다 신속하게 객체 추적을 수행하여주는 이점을 제공하도록, 병변추적모델(131)을 구비한 병변탐지추적부(130)는, 회로소자인 FPGA(Field Programmable Gate Array)에 탑재되어, 병변진단 초음파 영상정보를 가공하는 기능을 수행한다.
즉, 일반적인 프로세서는 메모리에 있는 프로그램을 불러와서 CPU에서 해독하여 작업을 실행하지만, FPGA는 아예 프로세서 내부 회로를 프로그램에 맞게 직접 설계해 놓고 곧바로 병렬적으로 실행시킴으로서 CPU인 병변탐지추적부(130)가 보다 신속하게 연산을 수행할 수 있는 것이다.
이에 따라, 진료내역 공유서버(200)의 딥러닝엔진(220)은 GPU Instance를 통해 생성되는 병변추적모델(131)을 실시간 Pull Down 형태로 FPGA에 Update함으로서 병변 추적의 정교함 및 정합성을 지속적으로 강화 시킬 수 있게 제공한다.
또한, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에서는 환자에게 초음파 검사를 위한 초음파영상 진단보조단말(100) 이용 시 이용요금을 일정액이 아닌 사용시간에 따라 지불하도록 하여 병변이 없는 건강한 상태이면 보다 적은 비용으로 본 서비스를 이용가능한 이점을 제공한다.
이를 위해, 초음파영상 진단보조단말(100)에는 초음파영상 진단보조단말(100)의 시작 후 정지하는 시간인 장비 사용시간을 카운팅하는 세션카운트부(160)를 포함한다.
이를 통해, 초음파영상 진단보조단말(100)은 장비 사용시간에 따른 대금을 포함하는 대금결제 요청정보를 생성하는 기능을 수행한다. 여기서, 세션카운트부(160)도 FPGA에 탑재되어 제공되어진다.
한편, 대금결제 요청정보가 현금을 이용한 결제요청인지 아니면 신용카드를 이용한 대금요청인지에 따라 대금결제 요청정보를 이루는 데이터가 다를 수 있다.
먼저, 현금결제인 경우 대금결제 요청정보는 결제일자, 환자인 대금지불자 신상, 대금지불자 주민등록번호 및 장비 사용시간에 따른 대금을 포함한다.
또한, 현금결제인 경우 대금결제 요청정보는 진료내역 공유서버(200)로 전송되어 대금결제가 수행될 수 있게 제공한다.
여기서, 진료내역 공유서버(200)는 의료서비스 이용에 따른 대금결제와 더불어 환자별로 구분되어 저장관리되는 전자 진료 기록(Electronic Medical Record, EMR)으로서, 해당 환자의 진료기록부, 처방전, 수술기록, 검사소견기록 및 진료영상을 포함하는 환자 진료 정보를 저장관리하는 기능도 수행한다.
그리고 신용카드결제인 경우 대금결제 요청정보는 결제일자, 환자의 신용카드번호를 포함하는 신용카드 식별자 및 장비 사용시간에 따른 대금을 포함한다.
또한, 신용카드결제인 경우 대금결제 요청정보는 병원서버(300)를 경유하여 신용카드 결제를 수행하는 결제서버(400)로 전송되어 신용카드결제가 수행될 수 있게 제공한다.
여기서, 결제서버(400)는 초음파 병변 진단 서비스의 대금결제를 신용카드 결제로 수행하는 서버부재이다.
또한, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에서는 의료진인 검사자가 초음파영상 진단보조단말(100)의 디스플레이부(141)를 통해 출력된 병변진단 초음파 영상정보를 참조하여 환자에게 구두 안내하는 병변 관련 검사 내용을 문서정보로 변환하여 전자 진료 기록(Electronic Medical Record)으로 활용가능하게 안내하는 이점을 제공한다.
이를 위해, 초음파영상 진단보조단말(100)에는 의사인 검사자가 발화하는 음성을 입력받아 전기적인 음성신호인 검사소견 음성정보로 가공하는 마이크(170) 및 그 가공된 검사소견 음성정보를 텍스트인 검사소견 문자정보로 가공하는 STT부(180)가 추가 구비되어진다. 여기서, STT부(180)도 FPGA에 탑재되어 제공되어진다.
이를 통해, 초음파영상 진단보조단말(100)은 그 가공된 텍스트인 검사소견 문자정보를 정보통신부(150)를 통해 병원서버(300)로 전송한다.
병원서버(300)는 전송되는 검사소견 문자정보를 해당 환자의 환자 진료 정보에 저장관리함으로써, 전자 진료 기록(Electronic Medical Record)으로 활용한다.
또한, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에서는 환자의 초음파 영상정보를 객체 추적하여 병변으로 판단된 경우 해당 병변진단 초음파 영상정보를 획득한 신체부위를 중심으로 병변이 다른 쪽으로 확장이 예상되는 신체부위를 딥런닝 학습된 병변추적모델(131)을 이용하여 병변 확장 여부를 추적하되, 다른 쪽으로 확장이 예상되는 신체부위까지의 거리를 ㎝단위로 확장 길이 및 예상 위치를 의료진인 검사자가 인지할 수 있게 안내하여 주는 이점을 제공한다.
이를 위해, 병변탐지추적부(130)는, 병변으로 판단된 병변진단 초음파 영상정보를 획득한 신체부위를 중심으로 병변이 더 확장 진행되었는지를 확인하고자 디스플레이부(141)에 출력된 병변으로 판단된 병변진단 초음파 영상정보 상에 숫자로 표시되는 길이정보(㎝단위)를 포함하는 예측 길이선 이미지를 오버랩하여 표시하여, 초음파 프로브(110)의 이동을 안내하고, 이동된 환자의 신체부위에서 초음파 프로브(110)의 작동 조작을 안내하며, 그 작동 조작에 의해 재차 생성되는 해당 환자의 초음파 영상정보인 예측 병변진단 초음파 영상정보에 딥런닝 학습된 병변추적모델(131)을 기반으로 객체 추적하여 해당 환자의 병변의 확장 여부 및 병변이 확장된 것으로 판단된 경우 확장된 병변에 해당하는 위치를 인지가능하게 안내하는 영상정보인 확장 병변진단 초음파 영상정보로 가공하여 디스플레이부(141)를 통해 출력되도록 제어하는 기능을 수행한다.
이때, 본 발명의 인공지능 기반 초음파 병변 진단 보조시스템에서는 의료진인 검사자에게 병변진단 초음파 영상정보를 획득한 환자의 신체부위에 배치된 초음파 프로브(110)가 예측 길이선 이미지에 해당하는 길이가지 이동하면 이를 인지가능하게 안내하여 주는 이점을 제공한다.
이를 위해, 초음파영상 진단보조단말(100)에는 병변진단 초음파 영상정보를 획득한 환자의 신체부위에 배치된 초음파 프로브(110)가 예측 길이선 이미지에 해당하는 길이로 이동 시 그 이동거리를 계측하여 이동거리정보를 기설정 주기마다 생성하는 이동거리 계측부(190)가 추가로 구비되어진다.
이를 통해, 초음파영상 진단보조단말(100)은 이동거리 계측부(190)를 통해 기설정 주기마다 입력되는 이동거리정보를 토대로 예측 길이선 이미지에 해당하는 길이까지 초음파 프로브(110)가 이동된 경우 스피커(142)를 통해 검사자가 인지할 수 있게 사운드(음성 또는 부저음)로 안내하는 기능을 수행한다.
이와 같은 기능을 수행하는 이동거리 계측부(190)의 세부구성은 일부가 초음파 프로브(110)의 노출되어, 초음파 프로브(110)가 환자의 신체부위에 접촉되어 이동 시 연동하여 회전하는 원형의 회전구(191), 회전구(191)에 고정연결되는 회전축(192) 및 회전축(192)의 일측에 연결되어, 회전하면서 거리를 측정하는 엔코더(미도시)로 이루어진다.
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 이 기술분야에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100 : 초음파영상 진단보조단말 110 : 초음파 프로브
120 : 영상생성부 130 : 병변감지추적부
131 : 병변추적모델 140 : 정보출력부
141 : 디스플레이부 142 : 스피커
150 : 정보통신부 160 : 세션카운트부
170 : 마이크 180 : STT부
190 : 이동거리 계측부 191 : 회전구
192 : 회전축 200 : 진료내역 공유서버
210 : DB부
211 : 병원별 누적 초음파 영상정보 DB
212 : 병원별 고해상도 영상정보 DB
220 : 딥러닝엔진 300 : 병원서버
400 : 결제서버

Claims (9)

  1. 환자의 신체부위에 배치되어 초음파신호를 획득하는 초음파 프로브(110), 그 획득되는 초음파신호를 토대로 해당 환자의 초음파 영상정보를 생성하는 영상생성부(120), 상기 해당 환자의 초음파 영상정보에 딥런닝 학습된 병변추적모델(131)을 기반으로 객체 추적하여 해당 환자의 병변 여부 및 병변으로 판단된 경우 병변에 해당하는 위치를 인지가능하게 안내하는 영상정보인 병변진단 초음파 영상정보로 가공하는 병변탐지추적부(130), 상기 초음파 영상정보를 출력하는 정보출력부(140)가 구비된 초음파영상 진단보조단말(100)과;
    기 확정된 환자의 병변을 나타내는 초음파 영상정보들을 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하여 병변추적모델(131)을 생성하는 딥러닝엔진(220)을 포함하고, 그 생성된 병변추적모델(131)을 상기 초음파영상 진단보조단말(100)로 전송하는 진료내역 공유서버(200);를 포함하고,
    상기 정보출력부(140)는, 디스플레이부(141) 및 스피커(142)로 이루어지고,
    병변으로 판단된 병변진단 초음파 영상정보는, 상기 디스플레이부(141)에 출력되며,
    상기 병변탐지추적부(130)는, 병변으로 판단된 병변진단 초음파 영상정보를 획득한 신체부위를 중심으로 병변이 더 확장 진행되었는지를 확인하고자 상기 디스플레이부(141)에 출력된 병변으로 판단된 병변진단 초음파 영상정보 상에 숫자로 표시되는 길이정보(㎝단위)를 포함하는 예측 길이선 이미지를 오버랩하여 표시하여, 초음파 프로브(110)의 이동을 안내하고, 이동된 환자의 신체부위에서 초음파 프로브(110)의 작동 조작을 안내하며, 그 작동 조작에 의해 재차 생성되는 해당 환자의 초음파 영상정보인 예측 병변진단 초음파 영상정보에 딥런닝 학습된 병변추적모델(131)을 기반으로 객체 추적하여 해당 환자의 병변의 확장 여부 및 병변이 확장된 것으로 판단된 경우 확장된 병변에 해당하는 위치를 인지가능하게 안내하는 영상정보인 확장 병변진단 초음파 영상정보로 가공하여 디스플레이부(141)를 통해 출력되도록 제어하는 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
  2. 제1항에 있어서,
    상기 진료내역 공유서버(200)에는, DB부(210);를 포함하고,
    상기 DB부(210)에는, 병원별로 구분되어 저장되는 정보로서, 병변진단 초음파 영상정보가 누적 저장되어 관리되는 병원별 누적 초음파 영상정보 DB(211);를 포함하며,
    상기 초음파영상 진단보조단말(100)은, 정보통신부(150)를 통해 병변진단 초음파 영상정보를 진료내역 공유서버(200)로 전송하고,
    상기 진료내역 공유서버(200)는, 수신되는 병변진단 초음파 영상정보를 병원별 누적 초음파 영상정보 DB(211)에 해당 병원별로 구분하여 저장하며,
    상기 진료내역 공유서버(200)는, 딥러닝엔진(220)을 운영하여, 기지정주기마다 병원별 누적 초음파 영상정보 DB(211)에 해당 병원별로 구분되어 누적저장되는 전체 병변진단 초음파 영상정보들을 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하여 병변추적모델(131)을 갱신하여, 상기 초음파영상 진단보조단말(100)로 전송하고,
    초음파영상 진단보조단말(100)은, 병변탐지추적부(130)에 구비되는 기존의 병변추적모델(131)을 상기 진료내역 공유서버(200)로부터 정보통신부(150)를 통해 수신되는 갱신된 병변추적모델(131)로 대체하는 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
  3. 제2항에 있어서,
    상기 DB부(210)에는, 병원별로 구분되어 저장되는 정보로서, 생성된 병변진단 초음파 영상정보와 동일한 신체부위를 MRI(Magnetic Resonance Imaging)를 통해 촬영한 병변진단 자기공명 영상정보 및 생성된 병변진단 초음파 영상정보와 동일한 신체부위를 CT(Computed Tomography)를 통해 촬영한 병변진단 단층촬영 영상정보가 누적 저장되어 관리되는 병원별 누적 고해상도 영상정보 DB(212);를 더 포함하고,
    상기 진료내역 공유서버(200)의 딥러닝엔진(220)은, 기지정주기마다 병원별 누적 초음파 영상정보 DB(211)에 해당 병원별로 구분되어 누적저장되는 전체의 병변진단 초음파 영상정보들에 상기 병원별 누적 고해상도 영상정보 DB(212)에서 해당 병원별로 구분되어 누적저장되는 전체의 병변진단 자기공명 영상정보 및 전체의 병변진단 단층촬영 영상정보를 추가한 상태에서 인공신경망(Convolutional Neural Network, CNN)을 통해 학습하되, 교차 검증(cross validation)을 통한 가중치를 조절하여 병변추적모델(131)을 갱신하는 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
  4. 제1항에 있어서,
    상기 병변추적모델(131)을 구비한 병변탐지추적부(130)는, FPGA(Field Programmable Gate Array)에 탑재되어, 병변진단 초음파 영상정보를 가공하는 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
  5. 제1항에 있어서,
    상기 초음파영상 진단보조단말(100)에는, 상기 초음파영상 진단보조단말(100)의 시작 후 정지하는 시간인 장비 사용시간을 카운팅하는 세션카운트부(160);를 포함하고,
    상기 초음파영상 진단보조단말(100)은 장비 사용시간에 따른 대금을 포함하는 대금결제 요청정보를 생성하는 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
  6. 제1항에 있어서,
    환자별로 구분되어 저장관리되는 전자 진료 기록(Electronic Medical Record, EMR)으로서, 해당 환자의 진료기록부, 처방전, 수술기록, 검사소견기록 및 진료영상을 포함하는 환자 진료 정보를 저장관리하는 병원서버(300);를 더 포함하고,
    상기 초음파영상 진단보조단말(100)에는, 의사인 검사자가 발화하는 음성을 입력받아 전기적인 음성신호인 검사소견 음성정보로 가공하는 마이크(170)와;
    그 가공된 검사소견 음성정보를 텍스트인 검사소견 문자정보로 가공하는 STT부(180);를 포함하며,
    상기 초음파영상 진단보조단말(100)은, 그 가공된 텍스트인 검사소견 문자정보를 정보통신부(150)를 통해 상기 병원서버(300)로 전송하고,
    상기 병원서버(300)는, 전송되는 검사소견 문자정보를 해당 환자의 환자 진료 정보에 저장관리하는 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 초음파영상 진단보조단말(100)에는, 병변진단 초음파 영상정보를 획득한 환자의 신체부위에 배치된 초음파 프로브(110)가 예측 길이선 이미지에 해당하는 길이로 이동 시 그 이동거리를 계측하여 이동거리정보를 기설정 주기마다 생성하는 이동거리 계측부(190);를 포함하고,
    상기 초음파영상 진단보조단말(100)은 이동거리 계측부(190)를 통해 기설정 주기마다 입력되는 이동거리정보를 토대로 예측 길이선 이미지에 해당하는 길이까지 초음파 프로브(110)가 이동된 경우 스피커(142)를 통해 검사자가 인지할 수 있게 안내하는 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
  9. 제8항에 있어서,
    상기 이동거리 계측부(190)는, 일부가 상기 초음파 프로브(110)의 노출되어, 상기 초음파 프로브(110)가 환자의 신체부위에 접촉되어 이동 시 연동하여 회전하는 원형의 회전구(191)와;
    상기 회전구(191)에 고정연결되는 회전축(192)과;
    상기 회전축(192)의 일측에 연결되어, 회전하면서 거리를 측정하는 엔코더;로 이루어진 것을 특징으로 하는 인공지능 기반 초음파 병변 진단 보조시스템.
KR1020210142344A 2021-10-25 2021-10-25 인공지능 기반 초음파 병변 진단 보조시스템 KR102370167B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142344A KR102370167B1 (ko) 2021-10-25 2021-10-25 인공지능 기반 초음파 병변 진단 보조시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142344A KR102370167B1 (ko) 2021-10-25 2021-10-25 인공지능 기반 초음파 병변 진단 보조시스템

Publications (1)

Publication Number Publication Date
KR102370167B1 true KR102370167B1 (ko) 2022-03-04

Family

ID=80813826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142344A KR102370167B1 (ko) 2021-10-25 2021-10-25 인공지능 기반 초음파 병변 진단 보조시스템

Country Status (1)

Country Link
KR (1) KR102370167B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269335A (zh) * 2023-05-10 2023-06-23 深圳市爱博医疗机器人有限公司 病灶长度测量方法、装置、设备及存储介质
WO2023210893A1 (ko) * 2022-04-28 2023-11-02 가톨릭대학교 산학협력단 초음파 이미지 분석 장치 및 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583889U (ja) * 1992-04-01 1993-11-12 ミクロン機器株式会社 カラオケ機器課金装置
JP2002345726A (ja) * 2001-05-30 2002-12-03 Asahi Optical Co Ltd 電子内視鏡システムおよび電子内視鏡システムの利用状況記録方法
JP2006508760A (ja) * 2002-12-09 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 分散医用イメージングシステム
KR20140065594A (ko) * 2012-11-16 2014-05-30 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
KR101670335B1 (ko) 2015-10-07 2016-10-28 금오공과대학교 산학협력단 고해상도 영상 획득이 가능한 초음파 및 핵의학 융합 영상 프로브시스템
KR20180055234A (ko) * 2016-11-16 2018-05-25 (주)라우기술 음성을 이용한 치과진료 시스템
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR101955225B1 (ko) * 2017-11-03 2019-03-08 주식회사 셀바스에이아이 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR20200109093A (ko) * 2019-03-12 2020-09-22 삼성메디슨 주식회사 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583889U (ja) * 1992-04-01 1993-11-12 ミクロン機器株式会社 カラオケ機器課金装置
JP2002345726A (ja) * 2001-05-30 2002-12-03 Asahi Optical Co Ltd 電子内視鏡システムおよび電子内視鏡システムの利用状況記録方法
JP2006508760A (ja) * 2002-12-09 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 分散医用イメージングシステム
KR20140065594A (ko) * 2012-11-16 2014-05-30 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
KR101670335B1 (ko) 2015-10-07 2016-10-28 금오공과대학교 산학협력단 고해상도 영상 획득이 가능한 초음파 및 핵의학 융합 영상 프로브시스템
KR20180055234A (ko) * 2016-11-16 2018-05-25 (주)라우기술 음성을 이용한 치과진료 시스템
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR101955225B1 (ko) * 2017-11-03 2019-03-08 주식회사 셀바스에이아이 전자의무기록 서비스의 편집 인터페이스를 제공하는 방법 및 장치
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR20200109093A (ko) * 2019-03-12 2020-09-22 삼성메디슨 주식회사 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210893A1 (ko) * 2022-04-28 2023-11-02 가톨릭대학교 산학협력단 초음파 이미지 분석 장치 및 방법
CN116269335A (zh) * 2023-05-10 2023-06-23 深圳市爱博医疗机器人有限公司 病灶长度测量方法、装置、设备及存储介质
CN116269335B (zh) * 2023-05-10 2023-07-25 深圳市爱博医疗机器人有限公司 病灶长度测量装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102370167B1 (ko) 인공지능 기반 초음파 병변 진단 보조시스템
CN104739452B (zh) 一种超声成像装置及方法
US10966685B2 (en) Method and ultrasound apparatus for providing ultrasound elastography image
CN110415248B (zh) 一种基于超声的血管监测方法、装置、设备及存储介质
JP2004527266A (ja) プログラムされた特定用途向けデータ収集装置によって得られた超音波情報の遠隔評価システム
EP3592242B1 (en) Blood vessel obstruction diagnosis apparatus
US9508154B2 (en) Medical imaging apparatus and method of operating the same
CN107296628A (zh) 内瘘血栓的实时检测系统、实时检测装置及其血流速度的检测方法
CN108231180A (zh) 医学图像显示设备及其方法
US20180368812A1 (en) Ultrasound imaging apparatus and control method thereof
RU2718312C2 (ru) Способ обработки морфологической информации и информации об эластичности тканей и устройство определения эластичности
US20210345986A1 (en) Automatic evaluation of ultrasound protocol trees
Teefey et al. The accuracy of high-resolution ultrasound for evaluating focal lesions of the hand and wrist
JP2017169793A (ja) 超音波診断装置及び超音波画像処理方法
Zeng et al. Machine Learning-Based Medical Imaging Detection and Diagnostic Assistance
CN115153634A (zh) 一种智能超声检查诊断方法及系统
JP2006524096A (ja) 壁厚の計算
EP4289364A1 (en) Method and apparatus for evaluating contact state of ultrasound probe on basis of soft tissue morphology
KR20110028916A (ko) 혈관 내 초음파 영상을 이용한 혈관 내 죽상 경화반 성분 측정 장치 및 방법
CN106028946A (zh) 用于监测病变尺寸趋势的系统及其操作方法
CN110327074A (zh) 肝脏评价方法、装置、设备及计算机可读存储介质
US10987084B2 (en) Ultrasound system and method
US20210186411A1 (en) Transvaginal Fast-Scanning Optical-Resolution Photoacoustic Endoscopy
CN113133781A (zh) 超声诊断设备及用于超声诊断设备的操作方法
CN113950722A (zh) 用于分析成像数据的方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant