KR102362087B1 - 신체의 목적 타겟 위치 확인 방법 - Google Patents

신체의 목적 타겟 위치 확인 방법 Download PDF

Info

Publication number
KR102362087B1
KR102362087B1 KR1020210019773A KR20210019773A KR102362087B1 KR 102362087 B1 KR102362087 B1 KR 102362087B1 KR 1020210019773 A KR1020210019773 A KR 1020210019773A KR 20210019773 A KR20210019773 A KR 20210019773A KR 102362087 B1 KR102362087 B1 KR 102362087B1
Authority
KR
South Korea
Prior art keywords
target
information
image data
final
determining
Prior art date
Application number
KR1020210019773A
Other languages
English (en)
Other versions
KR20210097063A (ko
Inventor
이혜성
김윤명
Original Assignee
주식회사 아티큐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아티큐 filed Critical 주식회사 아티큐
Priority to KR1020210019773A priority Critical patent/KR102362087B1/ko
Publication of KR20210097063A publication Critical patent/KR20210097063A/ko
Priority to KR1020220010264A priority patent/KR102488568B1/ko
Priority to KR1020220010265A priority patent/KR102488569B1/ko
Application granted granted Critical
Publication of KR102362087B1 publication Critical patent/KR102362087B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/15—Devices for taking samples of blood
    • A61B5/153—Devices specially adapted for taking samples of venous or arterial blood, e.g. with syringes
    • A61B5/1535—Devices specially adapted for taking samples of venous or arterial blood, e.g. with syringes comprising means for indicating vein or arterial entry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/42—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests having means for desensitising skin, for protruding skin to facilitate piercing, or for locating point where body is to be pierced
    • A61M5/427—Locating point where body is to be pierced, e.g. vein location means using ultrasonic waves, injection site templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Anesthesiology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은, 기계 학습을 이용하여 전자 연산 장치가 신체의 목적 타겟을 결정하는 방법에 관한 것으로서, 초음파 프로브가, 피검자의 신체의 영상 데이터를 획득하는 제1 단계와; 제1 단계에서 획득한 영상 데이터를 기계 학습을 통해 분석하여 목적 타겟과 회피 타겟의 위치를 특정하는 제2 단계와; 제2 단계에서 특정된 목적 타겟과 회피 타겟의 정보를 참조하여 최종 목적 타겟의 위치를 결정하는 제3 단계를 포함한다.
제3 단계는, 목적 타겟의 크기 기반 제1 정보와, 목적 타겟의 깊이 기반 제2 정보와, 목적 타겟과 피부 표면 사이의 직선 경로에 회피 타겟 존재 여부에 대한 제3 정보 중 적어도 어느 하나에 기초하여 최종 목적 타겟으로 판단하는 단계이다.

Description

신체의 목적 타겟 위치 확인 방법{Method for Recognizing Object Target of Body}
본 발명은 신체의 목적 타겟의 위치를 확인하는 방법에 대한 것으로서 좀 더 구체적으로는 채혈 또는 주사액 주입을 위해 주사기 바늘을 꽂을 표재 정맥 등의 혈관의 위치를 확인하는 방법에 대한 것이며, 특히 기계 학습을 이용하여 혈관의 위치를 확인하는 방법에 대한 것이다.
병의원 등 의료 기관에서 채혈이나 주사액 주입을 위해 사람의 표재 정맥에 주사침을 꽂는 경우가 매우 많다. 현재는 표재 정맥 등의 혈관의 위치를 찾도록 교육 받고 수련을 한 의사, 간호사 또는 임상병리사가 표재 정맥을 찾아 주사기를 꽂고 있는데 교육에 오랜 시간이 걸리고 전문 인력 고용을 위한 비용도 지속적으로 발생하며 한 번에 성공하지 못하고 여러 번 찔러야 하는 경우가 많은 문제가 있다. 아기, 노인, 항암치료 중인 환자와 같이 혈관 상태가 양호하지 않은 경우 또는 피부가 어두운 색이어서 혈관이 시각적으로 잘 보이지 않는 경우에는 숙련된 전문가도 혈관을 찾기가 매우 어려운 한계가 있다.
또한, 교육을 잘 받고 숙련된 의료진이라고 하더라도 반복적인 채혈 작업 등은 피로도가 높고 거부감을 많이 야기하는 술기이기도 하며, 채혈 과정에서 실수로 피검자의 혈액이 술기자에게 튀거나 술기자의 신체로 들어가서 감염될 위험성도 상존하고 있는 등, 사람에 의한 채혈 등은 많은 문제점을 가지고 있었다.
한편, 채혈 과정을 자동화는 방법의 예가 다음과 같은 선행 특허 문헌에 공개되어 있다.
[선행특허문헌]
한국특허등록 제10-1601421호(발명의 명칭: 자동채혈방법; 2016년 3월 10일 공고)
본 발명은, 컨볼루션 신경망 학습 등의 기계 학습을 통해 피검자의 표재 정맥(목적 타켓) 등의 혈관의 위치를 정확하게 탐지하고, 탐지된 목적 타겟의 중심 좌표를 산출함으로써 주사침을 꽂거나 다른 목적을 위해 위치 확인이 필요한 목적 타겟의 지점을 정확하게 결정할 수 있는 신체의 목적 타겟의 위치 확인 방법을 제공하는 것을 목적으로 한다.
본 발명은, 기계 학습을 이용하여 전자 연산 장치가 신체의 목적 타겟을 결정하는 방법에 관한 것으로서, 초음파 프로브가, 피검자의 신체의 영상 데이터를 획득하는 제1 단계와; 제1 단계에서 획득한 영상 데이터를 기계 학습을 통해 분석하여 목적 타겟과 회피 타겟의 위치를 특정하는 제2 단계와; 제2 단계에서 특정된 목적 타겟과 회피 타겟의 정보를 참조하여 최종 목적 타겟의 위치를 결정하는 제3 단계를 포함한다.
제3 단계는, 목적 타겟의 크기 기반 제1 정보와, 목적 타겟의 깊이 기반 제2 정보와, 목적 타겟과 피부 표면 사이의 직선 경로에 회피 타겟 존재 여부에 대한 제3 정보 중 적어도 어느 하나에 기초하여 최종 목적 타겟으로 판단하는 단계이다.
제1 정보는, 목적 타겟의 최대 내접원 크기 정보, 목적 타겟 내에 그릴 수 있는 가로선과 세로선의 길이 정보, 목적 타겟의 무게 중심으로부터 목적 타겟의 경계선까지의 거리 정보 및 목적 타겟의 면적 정보 중 적어도 어느 하나일 수 있다.
영상 데이터는, 신체로부터 소정의 거리만큼 이격된 시점부터 신체에 접촉하는 시점까지의 제1 영상 데이터, 및 피검자의 신체가 압박되는 시간 동안의 제2 영상 데이터 중 적어도 어느 하나일 수 있다.
목적 타겟은 표재 정맥이 될 수 있다.
목적 타겟이 복수 개로 특정되는 경우에 본 발명은, 복수 개의 목적 타겟 각각에 대해서 제1 정보 내지 제3 정보 중 적어도 하나를 산출하고, 산출된 정보 중에서 적어도 하나의 정보를 서로 비교하여 최종 목적 타겟의 후보를 선정하는 제3-1-1 단계와; 최종 목적 타겟의 후보에 대해서 제3 단계를 수행하여 최종 목적 타겟을 결정하는 제3-1-2 단계를 더 포함할 수 있다.
제3-1-1 단계는, 복수 개의 목적 타겟 각각의 제1 정보를 비교하여 가장 기준에 부합하는 목적 타겟을 최종 목적 타켓의 후보로 선정하되, 그 다음으로 기준에 부합하는 목적 타겟과의 차이가 소정의 범위 이내인 경우에는 두 목적 타겟 중에서 초음파 프로브의 접촉면의 소정의 지점으로부터 가까운 목적 타겟을 최종 목적 타겟의 후보로 선정하는 단계를 포함할 수 있다.
본 발명은, 목적 타겟의 경계가 영상 데이터의 경계에 겹치는지 여부를 판단하는 제4 단계를 더 포함할 수 있으며, 제4 단계에서 경계에 겹치는 것으로 판단되면, 초음파 프로브를 경계면 좌표가 영상 데이터의 내측에 위치하도록 이동시킨 후에 상기 제1 단계 내지 제3 단계를 수행할 수 있다.
영상 데이터는, 도플러 효과를 통해 분석한 혈류의 음파 신호 영상 데이터를 포함할 수 있다.
본 발명에 의한 최종 목적 타겟의 중심 좌표 산출 방법은, 최종 목적 타겟의 픽셀만을 포함하는 최대 내접원을 산출하는 제5 단계와; 상기 최대 내접원의 픽셀 좌표(xi)와의 거리가 최대가 되는 지점의 좌표를 산출하여 중심 좌표로 결정하는 제6 단계를 포함한다.
본 발명에 의한 최종 목적 타겟의 중심 좌표 산출 방법은, 최종 목적 타겟 내의 모든 픽셀에 대해서 소정의 직경을 가지는 원을 산출하는 제7 단계와; 상기 제7 단계에서 산출된 원 내에 존재하는 최종 목적 타겟의 픽셀이 소정의 범위 이상이면, 원의 산출 중심인 픽셀을 최종 목적 타겟으로 분류하고, 그렇지 않으면 해당 픽셀은 제거하는 제8 단계를 더 포함할 수 있다.
본 발명에 의한 최종 목적 타겟의 중심 좌표 산출 방법은, 산출된 중심 좌표와 피부 표면 사이의 직선 경로 내에, 혈관의 표면을 소정의 횟수 이상 지나는 경우에는 해당 최종 목적 타겟을 배제하는 단계를 더 포함할 수 있다
제1 영상 데이터는, 피검자의 상완이 압박되기 전의 영상 데이터와 피검자의 상완이 압박된 후의 영상 데이터를 포함할 수 있으며, 제2 영상 데이터는, 도플러 효과를 통해 분석한 혈류의 음파 신호 영상 데이터를 포함할 수 있다.
상기 기계 학습은 컨볼루션 신경망 학습일 수 있으며, 컨볼루션 신경망 학습은, 획득한 영상 데이터에 대해서 데이터 증강기법을 통해 데이터의 일반성을 증가시키도록 처리한 데이터를 컨볼루션 신경망에 입력하여 학습시키는 제9 단계와; 목적 타겟과 회피 타겟의 특징 정보를 획득하고 저장하는 제10 단계를 포함한다.
상기 목적 타겟 및 회피 타겟의 특징 정보는, 목적 타겟 및 회피 타겟의 echogenecity의 세기와, echogenic 성분의 분포 패턴과, 목적 타겟 및 회피 타겟의 상대적 위치와, 피검자의 신체 정보 및 초음파 프로브가 신체에 접촉했을 때의 크기 변화 정보 중 적어도 어느 하나일 수 있다.
본 발명에 의한 기계 학습을 이용하여 신체의 목적 타겟의 위치를 정확하게 결정할 수 있으므로 예를 들어 채혈 또는 정맥 주사를 위한 주사침 침습 위치를 정확하게 결정하고 해당 위치에 주사침을 꽂을 수 있어서 채혈 또는 정맥 주사의 완전 자동화가 가능해지는 작용 효과가 있다.
도 1은 본 발명에 의한 목적 타겟의 위치 확인을 수행하는 자동 채혈 장치의 블록도.
도 2는 본 발명에 의해 주사침을 침습시킬 표재 정맥의 위치를 결정하는 방법의 흐름도.
도 3은 최종 목적 타겟을 결정하는 상세한 과정의 흐름도.
도 4는 최종 목적 타겟의 중심 좌표를 결정하는 과정의 흐름도.
도 5는 목적 타겟의 경계면을 부드럽게 만드는 과정을 설명하기 위한 도면.
이하에서는 첨부 도면을 참조하여 본 발명에 대해서 자세하게 설명한다.
본 명세서에서 수행되는 정보(데이터) 전송/수신 과정은 필요에 따라서 암호화/복호화가 적용될 수 있으며, 본 명세서 및 특허청구범위에서 정보(데이터) 전송 과정을 설명하는 표현은 별도로 언급되지 않더라도 모두 암호화/복호화하는 경우도 포함하는 것으로 해석되어야 한다. 본 명세서에서 "A로부터 B로 전송(전달)" 또는 "A가 B로부터 수신"과 같은 형태의 표현은 중간에 다른 매개체가 포함되어 전송(전달) 또는 수신되는 것도 포함하며, A로부터 B까지 직접 전송(전달) 또는 수신되는 것 만을 표현하는 것은 아니다. 본 발명의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행 단계로 설명된 과정보다 앞서서 수행되더라도 발명의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 “A 또는 B”은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서 "모듈"은 범용적인 하드웨어와 그 기능을 수행하는 소프트웨어의 논리적 결합을 의미한다.
본 명세서에서는 본 발명의 설명에 필요한 최소한의 구성요소만을 설명하며, 본 발명의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 언급되지 않은 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
본 발명은 전자적 연산이 가능한 컴퓨터, 서버 컴퓨터, 스마트폰과 같은 모바일 디바이스 등의 전자적 연산 장치에 의해서 수행되며, 후술하는 본 발명의 각 단계는 해당 작동 또는 산출을 하기 위해 공지되어 있는 코딩 방법 및/또는 본 발명에 적합하게 고안된 코딩에 의해서 컴퓨터 프로그램의 실행에 따른 연산으로 구현될 수 있다. 본 발명을 실행하는 컴퓨터 프로그램은 컴퓨터에 의해 판독 가능한 기록 매체에 저장될 수 있다.
본 명세서에서 설명하는 예시적인 실시예는 본 명세서에 개시(開示)되는 장치의 구조, 기능, 제작 및 용도와 방법의 원리에 대한 전반적인 이해를 제공한다. 이러한 하나 이상의 실시예가 첨부 도면에 도시되어 있다. 당업자라면 여기에 구체적으로 기재되고 첨부 도면에 도시되어 있는 장치 및 방법이 비제한적이고 예시적인 실시예이며 본 발명의 권리범위는 특허청구범위에 의해서 정의된다는 점을 이해할 것이다. 하나의 예시적인 실시예와 관련되어 도시되고 설명되는 특징은 다른 실시예의 특징과도 결합될 수 있다. 그러한 수정(modification) 또는 변경(variation)은 본 발명의 권리범위에 포함되도록 의도된다.
본 명세서의 첨부 도면에 도시되어 있는 장치의 각 구성요소는 도면에 명시적으로 도시된 형태, 크기, 치수뿐만 아니라 본 발명이 의도하는 기능을 수행할 수 있는 형태, 크기, 치수라면 어느 것이든 적용될 수 있다.
본 명세서에서는 신체의 목적 타겟이 표재 정맥인 경우에 대해서 주로 설명한다. 그러나 각 실시예의 설명에서 명시되지 않더라도 동맥 또는 심부 정맥이 목적 타겟이 될 수도 있으며, 혈관이라면 어느 것이든 목적 타겟에 포함되는 것으로 이해되어야 하며, 표재 정맥 위치 확인 방법만으로 본 발명의 권리범위가 제한되지 않는다.
도 1에는 본 발명에 의한 표재 정맥의 위치 결정 방법을 수행하고 결정된 표재 정맥에 주사침을 꽂는 자동 채혈 장치(1)의 블록도가 도시되어 있다. 본 명세서에서는 설명의 편의를 위해 "채혈"로 기재하지만, 정맥 주사를 위해 표재 정맥을 찾는 방법과 그 방법을 수행하는 장치 또는 목적 타겟의 위치를 확인한 후 다른 기능을 수행하는 장치 역시 본 발명의 권리범위에 포함된다.
본 발명에 의한 목적 타겟 위치 확인 장치(1)는, 중앙 연산 모듈(10)과, 제어 모듈(20)과, 영상 데이터 처리 모듈(30)과, 통신 모듈(40)과, 디스플레이 모듈(50)과, 조작 모듈(60)과, 저장 모듈(7)과, 제1 구동 유니트(80)와, 초음파 프로브(90)와, 제2 구동 유니트(100)와, 주사침 유니트(110)와, 상완 압박 유니트(120)를 포함한다.
목적 타겟 위치 확인 장치(1)의 구조는 후술하는 특허청구범위에 따라서 당업자에 의해 적절한 방식으로 변경될 수 있다. 또한, 목적 타겟 위치 확인 장치(1)의 각 구성요소 역시 후술하는 특허청구범위에 따라서 당업자에 의해 적절한 방식으로 변경될 수 있다. 그러므로, 도 1에 도시된 장치의 구조는 단지 예시적이며 본 발명의 권리범위를 제한하는 것으로 해석되어서는 아니된다.
중앙 연산 모듈(10)은, 본 발명의 방법을 위해 수행되는 각종 연산과 전체적인 장치의 작동을 제어한다. 제어 모듈(20)은 초음파 프로브(90)를 이동시키는 제1 구동 유니트(80)의 작동과, 주사침 유니트(110)를 이동시키는 제2 구동 유니트(100)의 작동을 제어한다.
영상 데이터 처리 모듈(30)은, 초음파 프로브(9)가 획득한 영상 데이터를 본 발명에 의한 방법에서 활용할 수 있는 포맷 및 크기로 변환하는 처리를 수행한다.
통신 모듈(40)은, 통신망(130)을 통해서 기계 학습 서버(140)와 통신하여 영상 데이터 처리 모듈(30)이 처리한 영상 데이터를 분석할 수 있도록 한다.
정보 현출(現出) 모듈(50)은 조작자가 장치의 상태 확인 또는 제어를 위해 표시되는 메시지를 확인하거나 조작 상황을 확인할 수 있는 장치로서 시각적으로 정보를 현출하는 모니터일 수도 있고, 청각적으로 정보를 현출하는 스피커 등의 장치가 될 수도 있다.
조작 모듈(60)은, 조작자가 조작 명령을 입력할 수 있는 버튼 또는 키보드, 청각적으로 조작 명령을 입력할 수 있는 마이크가 될 수 있다.
저장 모듈(70)은, 자동 채혈 장치(1)의 작동 및 제어에 필요한 프로그램 또는 데이터를 저장할 수 있으며, 하드 디스크, SSD, 플래시 메모리 등 그 종류에는 제한이 없다. 저장 모듈(70)은 자동 채혈 장치(1)에 탑재하지 않고 통신망(130)을 통해 원격 접속 가능한 클라우드 저장소가 될 수도 있다.
제1 구동 유니트(80)는 제어 모듈(20)의 명령에 따라서 초음파 프로브(90)를 구동하며, 초음파 프로브(90)를 2차원 또는 3차원적으로 이동시킬 수 있다.
초음파 프로브(90)는 후술하는 바와 같이 피검자의 상완측으로 접근하고 상완에 접촉 및 압박하면서 영상 데이터를 획득하는 구성요소이다.
제2 구동 유니트(100)는 제어 모듈(20)의 명령에 따라서 주사침 유니트(110)를 후술하는 방법에 의해서 결정된 표재 정맥의 중심 좌표로 이동시킨다.
주사침 유니트(110)는 피검자의 혈관에 꽂혀서 채혈을 하거나 정맥 주사를 주입시키는 구성요소이다. 목적 타겟 위치 확인 장치(1)의 목적이 채혈이나 정맥 주사가 아닌 경우에는 주사침 유니트(110)는 생략될 수도 있다.
상완 압박 유니트(120)는 표재 정맥의 위치를 찾기 쉽도록 상완을 압박하는 환형 부재(도시되지 않음)를 포함하는 구성요소이다. 피검자가 상완을 환형 부재에 넣으면 자동으로 또는 조작자의 조작에 의해서 환형 부재의 직경이 줄어들면서 피검자의 상완을 미리 지정되어 있는 압력으로 압박한다.
기계 학습 서버(140)는, 표재 정맥인 목적 타겟과, 그렇지 않은 신체 부분인 회피 타겟을 찾기 위해 기계 학습을 수행하는 서버이다. 기계 학습은 예를 들어, PC, 스마트폰, 태블릿 PC, 기계 학습 서버에 의해 수행될 수 있다. 기계 학습 서버(140)에는 컨볼루션 신경망 등을 통한 학습 데이터가 탑재되어 있으므로 통신망(130)을 통해 다수의 자동 채혈 장치(1)에 학습 데이터를 통한 분석을 가능하게 한다.
도 2에는 본 발명에 의한 표재 정맥 위치 결정 방법의 흐름도가 도시되어 있다.
표재 정맥의 위치 탐색을 위해선 피검자가 먼저 상완 압박 유니트(120)에 상완을 넣고 상완 압박을 수행한다(단계 200). 상완 압박 유니트(120)는 1 내지 5cm의 압박 수단을 포함하며, 압박 수단은 팔꿈치 위쪽 3 내지 12 cm, 바람직하게는 6 내지 8 cm에서 상완을 압박한다. 압박 압력은 10 내지 60 mmHg, 바람직하게는 20 내지 30 mmHg의 압력일 수 있다. 상완 압박 유니트(120)가 상완을 압박하지 않고 후술하는 과정을 수행해도 무방하다.
도 2에는 상완 압박이 초음파 프로브(90)의 이동 전에 수행되는 것으로 도시되어 있지만, 초음파 프로브(90)를 이동시킨 후에 초음파 프로브(90)가 제1 영상 데이터 획득을 시작한 후에 상완 압박이 수행될 수도 있다. 제1 영상 데이터 획득을 시작한 후에 상완 압박을 수행하는 경우에는, 상완 압박 수행 전의 제1 영상 데이터와, 상완 압박 수행 후의 제1 영상 데이터를 획득할 수 있다.
도 2로 돌아오면, 상완 압박 후에 피검자의 신체로부터 소정의 거리 예를 들어 1mm 만큼 이격된 위치로 제1 구동 유니트(80)가 제어 모듈(20)의 명령을 받아 초음파 프로브(90)를 이동시킨다(단계 205). 초음파 프로브(90)가 배치되는 피검자의 신체 위치는, 팔오금중간정맥(median cubital vein)이 위치하는, 팔 오금으로부터 손 방향으로 0 내지 8 cm, 바람직하게는 1 내지 3 cm일 수 있다.
단계(210)에서는 초음파 프로브(90)를 피검자의 신체쪽으로 이동시키면서 제1 영상 데이터를 획득한다. 제1 영상 데이터는, 피검자의 신체에 초음파 프로브(90)가 접촉하기 전의 영상 데이터이며, 상완이 압박되기 전의 영상 데이터와 상완이 압박된 후의 영상 데이터를 포함할 수 있다.
초음파 프로브(90)가 피검자의 신체에 접촉하고 압박하는 동안에는 제2 영상 데이터가 수집된다. 본 발명의 다른 실시예에 의하면 초음파 프로브(90)가 아닌 다른 수단에 의해서 피검자의 신체가 압박될 수도 있다.
제1 및 제2 영상 데이터는 혈류의 음파 신호 중 도플러 효과를 통해 분석된 영상 데이터를 포함할 수 있다. 본 발명의 다른 실시예에 의하면 제1 영상 데이터 및 제2 영상 데이터 중 어느 하나만 사용할 수도 있다.
획득된 제1 및 제2 영상 데이터는 영상 데이터 처리 모듈(30)에 의해서 본 발명에 의한 방법을 실행하는 프로그램이 사용할 수 있는 포맷과 크기로 변환된다(단계 220). 본 발명의 다른 실시예에 의하면 영상 데이터의 변환 없이 후술하는 영상 데이터 분석이 수행될 수 있다.
중앙 연산 모듈(10)은 통신망(130)을 통해 접속 가능한 기계 학습 서버(140)의 예를 들어 컨볼루션 신경망을 통해서, 변환된 영상 데이터를 분석해서 영상 데이터에 목적 타겟과 회피 타겟의 픽셀을 표시한다(단계 225).
본 명세서에서 목적 타겟은 표재 정맥 또는 동맥과 같은 혈관을, 회피 타겟은 동맥, 신경, 뼈 조직 등을 의미하며, 용도에 따라서 목적 타겟과 회피 타겟이 결정될 수 있다. 예를 들어 용도에 따라서는, 표재 정맥 위치 확인시 회피 타겟으로 결정되는 동맥이나, 신경, 뼈 조직 등이 오히려 목적 타겟으로 설정될 수도 있다.
목적 타겟과 회피 타겟을 표시하는 방법은, 픽셀 단위로 표시될 수 있으며, 중앙 값과 경계 및 거리를 통해서 bound-box로 표시될 수도 있다. 또는, 중앙 값, 원형/타원형, 직사각형 등 형태에 대한 정보와, 반지름/두 지점 이상의 거리 정보/한 변의 길이 등 형태를 특정할 수 있는 정보를 함께 저장할 수도 있다.
본 발명에서 활용하기 위한 기계 학습의 일례인 컨볼루션 신경망 학습에 대해서 설명한다.
컨볼루션 신경망 학습을 위해서는 사전에 학습 데이터를 통한 학습을 수행해야 한다. 컨볼루션 신경망 학습에 사용되는 영상 데이터는 전술한 바와 같은 제1 및 제2 영상 데이터의 랜덤 크롭, 크기 변환, 수평 플립 등을 포함하는 데이터 증강 기법으로 데이터의 일반성을 증가시키도록 전처리될 수 있다.
기계 학습 서버(140)는 컨볼루션 신경망 학습을 통해서 목적 타겟과 회피 타겟의 특징에 부합하는 정보를 획득하고 저장한다.
그러한 특징 정보에는, 초음파 영상 데이터에서 확인되는 성분들이 가지는 echogenicity의 세기, echogenic한 성분들이 분포하는 패턴 정보, 영상 데이터내에서 확인되는 성분들이 분포하는 상대적인 위치 정보, 피검자의 키, 체중, 성별, 나이, 이환된 질환, 과거에 받았거나 현재 받고 있는 치료 정보, 초음파 프로브 또는 다른 수단에 의해서 압박될 때의 정보, 도플러 영상을 통해 분석한 혈류의 실시간 흐름 정보 중 적어도 어느 하나를 포함할 수 있다.
압박될 때의 정보는, 초음파 프로브 또는 다른 수단으로 피부 표면을 누르면 동맥과 달리 정맥은 직접 압박되어 크기가 줄어들거나 근위부가 압박되어 울혈이 유발됨으로써 크기가 부풀게 되는데 그에 관한 정보를 포함할 수 있다.
혈류의 실시간 정보는, 회피 타겟의 하나인 동맥의 경우 정맥과 달리 혈류가 빨라서 도플러 신호가 강하고 주기적으로 커지고 작아지며 박동을 하기 때문에 타겟 탐지에 유용하다.
컨볼루션 신경망 학습은, 상기 특징 정보를 바탕으로 영상 데이터 내에서 목적 타겟과 회피 타겟의 위치에 대응하는 픽셀을 표시하도록 훈련할 수 있다.
상기 학습(훈련)은 예를 들어 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 반지도 학습(semi-supervised learning)일 수 있다.
지도 학습의 경우 정답이 있는 영상과 비교하면서 훈련할 수 있는데 정답과 컨볼루션 신경망이 찾은 목적 타겟 및 회피 타겟이 다른 경우에는 손실 함수의 손실을 감소시키는 방향으로 학습시킬 수 있다. 손실 함수는 BCEloss(Binary Cross Entropy loss), Crossentropy 등이 될 수 있으며, 옵티마이저(optimizer)는 adam, RMSprop, 확률적 경사하강법을 사용할 수 있다. 그리고 평가는 dice coefficient loss 등을 통해서 수행할 수 있다.
컨볼루션 신경망 학습과 같은 기계 학습을 통해 목적 타겟과 회피 타겟이 결정되면, 단계(230)로 이행하여 최종 목적 타겟을 결정한다. 단계(230)와 단계(235)는 중앙 연산 모듈(10)에 의해 수행될 수 있지만, 반드시 그에 제한되는 것은 아니고, 예를 들어, 전처리된 제1 및 제2 영상 데이터를 통신망(130)을 통해 원격의 제3의 연산 서버 등에 전송해서 본 발명에 의한 단계들을 실행할 수도 있다.
도 3에는 단계(230)의 구체적인 과정의 흐름도가 도시되어 있다.
단계(300)에서는 단계(225)에서 찾은 목적 타겟이 존재하는지 여부를 판단한다. 목적 타겟이 존재하면 단계(305)로 이행하여 탐색된 목적 타겟이 1개인지, 2개 이상인지를 판단한다. 먼저 목적 타겟이 한 개인 경우에 대해서 설명한다.
목적 타겟이 한 개인 경우 해당 목적 타겟의 경계가 영상 데이터의 경계에 겹치는지를 판단한다(단계 335). 겹치지 않으면 단계(310)으로 이행하고, 겹치는 경우에는 단계(355)로 이행하여 경계면 좌표가 영상 데이터의 내측 예를 들어 중앙에 위치하도록 초음파 프로브(90)를 이동하고 단계(210)으로 복귀하여 그 이후의 절차를 수행한다. 초음파 프로브(90)를 이동하지 않고 피검자의 신체를 이동하게 할 수도 있다.
단계(310)에서는 목적 타겟의 크기 기반 정보 중 하나인 최대 내접원 직경을 산출한다. 최대 내접원은, 목적 타겟의 픽셀만 들어갈 수 있는 원 중에서 크기가 가장 큰 내접원을 의미한다. 목적 타겟의 크기 기반 정보는 최대 내접원 직경 이외에 목적 타겟 내에 그릴 수 있는 가로선과 세로선의 최대 및 최소 길이, 목적 타겟의 무게 중심으로부터 목적 타겟의 경계선까지의 최대 및 최소 거리, 목적 타겟의 면적 등의 다른 정보가 될 수 있다.
그리고 목적 타겟의 깊이 기반 정보인 깊이를 산출하고(단계 315), 제1 판단 기준과 제2 판단 기준을 해당 목적 타겟이 만족하는지 여부를 판단한다(단계 320). "깊이 기반 정보"는 단순한 깊이 뿐만 아니라 깊이와 관련된 다양한 다른 정보들도 포함한다.
목적 타겟이 표재 정맥인 경우, 제1 판단 기준은, 최대 내접원 직경이 소정의 값(제1 값)보다 크거나 또는 같은지 여부를 판단하는 기준이다. 제1 값은, 기기 작동 오차 범위 내에서 결정될 수 있다. 예를 들어, 최대 내접원 직경이 2 mm 미만인 경우라면 해당 목적 타겟은 회피 타겟으로 분류할 수 있다(단계 375). 제1 값보다 최대 내접원 직경이 크거나 또는 같으면 제1 판단 기준을 만족하는 것으로 판단한다.
크기 기반 정보가 목적 타겟 내에 그릴 수 있는 가로선과 세로선의 길이 정보인 경우, 가로선과 세로선의 최대 및 최소 길이가 각각 소정의 값보다 크거나 또는 같은지 여부를 판단하는 것이 제1 판단 기준이 될 수 있다. 예를 들어, 가로선과 세로선의 최소 길이가 2 mm 미만인 경우에 목적 타겟을 회피 타겟으로 분류할 수 있다. 목적 타겟이 단수가 아닌 경우에는 가로선과 세로선들의 합, 곱, 평균 등이 더 큰 목적 타겟을 최종 목적 타겟 후보로 선정할 수도 있으며(단계 370).
크기 기반 정보가 목적 타겟의 무게 중심으로부터 경계선까지의 최대 및 최소 거리인 실시예에서는, 상기 최대 및 최소 거리가 소정의 값보다 크거나 같은지 여부를 판단하는 기준이 제1 판단 기준이 될 수 있다. 예를 들어, 목적 타겟의 무게 중심으로부터 목적 타겟의 경계선까지의 최소 거리가 2mm 미만인 경우에 목적 타겟을 회피 타겟으로 분류할 수 있다. 목적 타겟이 복수 개인 경우 무게 중심으로부터 목적 타겟 경계선까지의 거리들의 합, 곱, 평균 등이 더 큰 목적 타겟을 최종 목적 타겟 후보로 선정할 수 있다(단계 370).
크기 기반 정보가 면적 정보인 실시예에서는, 면적이 소정의 값보다 크거나 또는 같은지 여부를 판단하는 기준이 제1 판단 기준이 될 수 있다. 예를 들어, 목적 타겟의 면적이 10mm2 미만인 경우에 해당 목적 타겟을 회피 타겟으로 분류할 수 있으며, 목적 타겟이 복수 개인 경우에는 면적이 더 큰 목적 타겟을 최종 목적 타겟 후보로 선정할 수 있다(단계 370)
제2 판단 기준은, 목적 타겟의 깊이가 소정의 값(제2 값) 예를 들어, 1cm 보다 작거나 또는 같은지 여부를 판단하는 기준이다. 목적 타겟의 깊이가 제2 값보다 깊으면 해당 목적 타겟은 회피 타겟으로 결정한다(단계 375). 이는, 표재 정맥이 아니라 심부 정맥의 경우 표재 정맥보다 지혈이 어렵기 때문에 배제하고, 회피 타겟인 동맥 역시 배제하기 위함이다. 그리고 제2 값보다 깊은 경우 주사침이 진입하다가 상처를 깊게 낼 수 있으며, 그 침습 경로 내에 중요한 해부학적 구조물 내지 신경이 있을 수 있기 때문에 제2 판단 기준을 적용한다. 목적 타겟의 깊이가 제2 값보다 같거나 또는 작으면 제2 판단 기준을 통과한 것으로 판단한다.
제1 판단 기준과 제2 판단 기준을 만족하면, 목적 타겟과 피부 표면 사이의 직선 경로에 회피 타겟이 존재하는지 여부를 판단한다(단계 325; 제3 판단 기준). 직선 경로에 회피 타겟이 존재하면 그 회피 타겟은 팔의 측면의 신경일 수가 있다.
단계(325)의 판단 결과 "아니오"이면 해당 목적 타겟을 최종 목적 타겟으로 결정한다(단계 330).
제1 판단 기준 내지 제3 판단 기준 중 모든 기준을 만족할 때 최종 목적 타겟으로 결정할 수도 있지만, 제1 판단 기준 내지 제3 판단 기준 중 적어도 어느 하나를 만족하면 최종 목적 타겟으로 결정할 수도 있다.
단계(225)에서 탐색된 목적 타겟이 복수인 경우에 대해서 설명한다.
목적 타겟이 복수개 탐색되면 단계(360)으로 이행하여 목적 타겟 각각의 최대 내접원 크기를 산출한다. 그리고 각각의 최대 내접원 크기를 비교하고(단계 365), 제3 판단 기준에 따라서 최종 목적 타겟의 후보를 선정한다(단계 370).
제3 판단 기준은 다음과 같다. 최대 내접원의 크기가 가장 큰 목적 타겟을 최종 목적 타겟의 후보로 선정하는 것이 원칙이되, 그 다음으로 큰 최대 내접원을 가지는 목적 타겟의 내접원과의 크기 차이가 소정의 값(제3 값) 예를 들어 10% 이내인 경우에는 초음파 프로브의 접촉면으로부터 가까운 예를 들어, 초음파 프로브의 접촉면의 중앙 지점으로부터 가까운 목적 타겟을 최종 목적 타겟의 후보로 결정할 수 있다.
최대 내접원 크기가 아닌 다른 크기 기반 정보를 제1 정보로 사용하는 경우에도, 비교값의 차이가 소정의 값 이내라면 초음파 프로브의 접촉면으로부터 가까운 예를 들어, 초음파 프로브의 접촉면의 중앙 지점으로부터 가까운 목적 타겟을 최종 목적 타겟의 후보로 결정할 수 있다.
단계(370)에서 최종 목적 타겟의 후보가 결정되면 단계(315)로 이행하여 전술한 그 이후의 과정이 실행되어 최종 목적 타겟이 결정되거나 회피 타겟으로 결정된다.
단계(300)에서 목적 타겟이 존재하지 않는 것으로 판단되는 경우에는 목적 타겟 탐색이 소정 횟수 이상인지를 판단한다. 소정의 횟수 예를 들어 2회 또는 3회 이상인 경우에는 단계(380)로 이행하여 반대쪽 팔에 대해서 목적 타겟을 탐색하도록 한다. 소정의 횟수 미만이면 단계(210)로 이행하여 초음파 프로브(90)를 이동시켜 제1 영상 데이터를 획득하도록 한다. 이 때 이전 영상과 겹치지 않는 위치로 초음파 프로브(90)를 이동시켜서 제1 영상 데이터를 획득하도록 한다.
상기 과정을 거쳐서 최종 목적 타겟이 결정되면 단계(235)에서 최종 목적 타겟의 중심 좌표를 산출한다. 제2 구동 유니트(100)는 제어 모듈(20)의 명령을 받아 주사침 유니트(110)를 상기 중심 좌표로 이동시키고 채혈을 수행한다(단계 240).
중심 좌표는 최종 목적 타겟의 픽셀만을 포함하는 최대 내접원 내부의 임의의 지점(xi)와의 거리가 최대인 지점(x)의 좌표로 결정된다.
중심 좌표 산출이 완료된 후에, 해당 중심 좌표와 피부 표면 사이의 직선 경로 내에, 혈관의 표면을 소정의 횟수 예를 들어 2번 이상 지나는 경우에는 해당 최종 목적 타겟을 배제할 수 있다.
한편, 최종 목적 타겟 내의 모든 픽셀에 대해서 소정의 직경 예를 들어 1 mm의 직경을 가지는 원을 그리고, 그 원 내부의 픽셀 중 소정의 비율 예를 들어 30 내지 95% 바람직하게는 50 내지 70%이상의 픽셀이 최종 목적 타겟으로 분류되는 경우에 해당 픽셀을 최종 목적 타겟으로 하고, 그렇지 않으면 해당 픽셀은 삭제한다.
도 5에 도시된 바와 같이, 픽셀(510)을 기준으로 그린 원(520) 내에는 모든 픽셀(소정 비율 이상)이 존재하므로 해당 픽셀(510)은 최종 목적 타겟의 픽셀로 분류될 수 있다. 픽셀(530)을 기준으로 그린 원(511) 내에는 최종 목적 타겟의 픽셀이 아닌 픽셀이 소정 비율 이상 존재하지 않으므로 해당 픽셀(530)은 최종 목적 타겟에서 제거될 수 있다.
이 과정은 최종 목적 타겟의 경계면을 부드럽게 만들고 잘못 분류될 수 있는 픽셀이 존재할 가능성을 배제하고자 하는 과정이지만, 본 발명의 실시에 반드시 필요한 과정은 아니고 부수적인 과정이다.
이상 첨부 도면을 참고하여 본 발명에 대해서 설명하였지만 본 발명의 권리범위는 후술하는 특허청구범위에 의해 결정되며 전술한 실시예 및/또는 도면에 제한되는 것으로 해석되어서는 아니된다. 그리고 특허청구범위에 기재된 발명의, 당업자에게 자명한 개량, 변경 및 수정도 본 발명의 권리범위에 포함된다는 점이 명백하게 이해되어야 한다.
10: 중앙 연산 모듈 20: 제어 모듈
30: 영상 데이터 처리 모듈 40: 통신 모듈
50: 정보 현출 모듈 60: 조작 모듈
70: 저장 모듈 80: 제1 구동 유니트
90: 초음파 프로브 100: 제2 구동 유니트
110: 주사침 유니트 120: 상완 압박 유니트
130: 통신망 140: 기계 학습 서버

Claims (14)

  1. 기계 학습을 이용하여 전자 연산 장치가 신체의 목적 타겟을 결정하는 방법에 있어서,
    초음파 프로브가, 피검자의 신체의 영상 데이터를 획득하는 제1 단계와,
    제1 단계에서 획득한 영상 데이터를 기계 학습을 통해 분석하여 목적 타겟과 회피 타겟의 위치를 특정하는 제2 단계와,
    제2 단계에서 특정된 목적 타겟과 회피 타겟의 정보를 참조하여 최종 목적 타겟의 위치를 결정하는 제3 단계와,
    목적 타겟과 회피 타겟의 특징 정보를 획득하는 제10 단계를 포함하며,
    제3 단계는, 목적 타겟의 크기 기반 제1 정보와, 목적 타겟의 깊이 기반 제2 정보와, 목적 타겟과 피부 표면 사이의 직선 경로에 회피 타겟 존재 여부에 대한 제3 정보 중 적어도 어느 하나에 기초하여 최종 목적 타겟으로 판단하는 단계이며,
    제1 정보는, 목적 타겟의 면적 정보와 최대 내접원 크기 정보를 포함하며,
    상기 목적 타겟 및 회피 타겟의 특징 정보는,
    목적 타겟 및 회피 타겟의 echogenecity의 세기와, echogenic 성분의 분포 패턴과, 목적 타켓 및 회피 타겟의 크기 변화 정보와, 목적 타겟 및 회피 타겟의 상대적 위치와, 피검자의 신체 정보 및 초음파 프로브가 신체에 접촉했을 때의 크기 변화 정보 중 적어도 어느 하나이며,
    신체의 목적 타겟을 결정하는 방법.
  2. 청구항 1에 있어서,
    제1 정보는, 목적 타겟 내에 그릴 수 있는 가로선과 세로선의 길이 정보, 목적 타겟의 무게 중심으로부터 목적 타겟의 경계선까지의 거리 정보를 더 포함하는,
    신체의 목적 타겟을 결정하는 방법.
  3. 청구항 1에 있어서,
    영상 데이터는, 신체로부터 소정의 거리만큼 이격된 시점부터 신체에 접촉하는 시점까지의 제1 영상 데이터, 및 피검자의 신체가 압박되는 시간 동안의 제2 영상 데이터 중 적어도 어느 하나인,
    신체의 목적 타겟을 결정하는 방법.
  4. 청구항 1에 있어서,
    목적 타겟은 표재 정맥인,
    신체의 목적 타겟을 결정하는 방법.
  5. 청구항 1 내지 청구항 4 중 어느 하나의 청구항에 있어서,
    목적 타겟이 복수 개로 특정되는 경우에는,
    복수 개의 목적 타겟 각각에 대해서 제1 정보 내지 제3 정보 중 적어도 일부를 산출하고, 산출된 적어도 하나의 정보를 비교하여 최종 목적 타겟의 후보를 선정하는 제3-1-1 단계와, 최종 목적 타겟의 후보에 대해서 제3 단계를 수행하여 최종 목적 타겟을 결정하는 제3-1-2 단계를 포함하는,
    신체의 목적 타겟을 결정하는 방법.
  6. 청구항 5에 있어서,
    제3-1-1 단계는,
    복수 개의 목적 타겟 각각의 제1 정보를 비교하여 가장 기준에 부합하는 목적 타겟을 최종 목적 타켓의 후보로 선정하되, 그 다음으로 기준에 부합하는 목적 타겟과의 차이가 소정의 범위 이내인 경우에는 두 목적 타겟 중에서 초음파 프로브의 접촉면의 소정의 지점으로부터 가까운 목적 타겟을 최종 목적 타겟의 후보로 선정하는 단계를 포함하는,
    신체의 목적 타겟을 결정하는 방법.
  7. 청구항 1에 있어서,
    목적 타겟의 경계가 영상 데이터의 경계에 겹치는지 여부를 판단하는 제4 단계와,
    제4 단계에서 경계에 겹치는 것으로 판단되면, 초음파 프로브를 경계면 좌표가 영상 데이터의 내측에 위치하도록 이동시킨 후에 상기 제1 단계 내지 제3 단계를 수행하는,
    신체의 목적 타겟을 결정하는 방법.
  8. 청구항 1 내지 청구항 4 중 어느 하나의 청구항에 있어서
    영상 데이터는, 도플러 효과를 통해 분석한 혈류의 음파 신호 영상 데이터를 포함하는,
    신체의 목적 타겟을 결정하는 방법.
  9. 청구항 2의 방법에 의해서 결정된 최종 목적 타겟의 중심 좌표를 전자 연산 장치가 산출하는 방법에 있어서,
    최종 목적 타겟의 픽셀만을 포함하는 최대 내접원을 산출하는 제5 단계와,
    상기 최대 내접원의 픽셀 좌표(xi)와의 거리가 최대가 되는 지점의 좌표를 산출하여 중심 좌표로 결정하는 제6 단계를 포함하는,
    최종 목적 타겟의 중심 좌표 산출 방법.
  10. 청구항 9에 있어서,
    최종 목적 타겟 내의 모든 픽셀에 대해서 소정의 직경을 가지는 원을 산출하는 제7 단계와,
    상기 제7 단계에서 산출된 원 내에 존재하는 최종 목적 타겟의 픽셀이 소정의 범위 이상이면, 원의 산출 중심인 픽셀을 최종 목적 타겟으로 분류하고, 그렇지 않으면 해당 픽셀은 제거하는 제8 단계를 더 포함하는,
    최종 목적 타겟의 중심 좌표 산출 방법.
  11. 청구항 3에 있어서,
    제1 영상 데이터는, 피검자의 상완이 압박되기 전의 영상 데이터와 피검자의 상완이 압박된 후의 영상 데이터를 포함하며,
    제2 영상 데이터는, 도플러 효과를 통해 분석한 혈류의 음파 신호 영상 데이터를 포함하는,
    신체의 목적 타겟을 결정하는 방법.
  12. 삭제
  13. 삭제
  14. 청구항 9에 있어서,
    산출된 중심 좌표와 피부 표면 사이의 직선 경로 내에 혈관의 표면을 소정의 횟수 이상 지나는 경우에는 해당 최종 목적 타겟을 배제하는 제11 단계를 더 포함하는,
    최종 목적 타겟의 중심 좌표 산출 방법.
KR1020210019773A 2020-01-29 2021-02-15 신체의 목적 타겟 위치 확인 방법 KR102362087B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210019773A KR102362087B1 (ko) 2020-01-29 2021-02-15 신체의 목적 타겟 위치 확인 방법
KR1020220010264A KR102488568B1 (ko) 2020-01-29 2022-01-24 신체의 목적 타겟 위치 결정 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
KR1020220010265A KR102488569B1 (ko) 2020-01-29 2022-01-24 목적 타겟 이탈 위험을 최소화하는 신체의 목적 타겟 결정 방법, 최종 목적 타겟의 중심 좌표 산출 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200010302A KR102246966B1 (ko) 2020-01-29 2020-01-29 신체의 목적 타겟 위치 확인 방법
KR1020210019773A KR102362087B1 (ko) 2020-01-29 2021-02-15 신체의 목적 타겟 위치 확인 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010302A Division KR102246966B1 (ko) 2020-01-29 2020-01-29 신체의 목적 타겟 위치 확인 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020220010265A Division KR102488569B1 (ko) 2020-01-29 2022-01-24 목적 타겟 이탈 위험을 최소화하는 신체의 목적 타겟 결정 방법, 최종 목적 타겟의 중심 좌표 산출 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
KR1020220010264A Division KR102488568B1 (ko) 2020-01-29 2022-01-24 신체의 목적 타겟 위치 결정 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램

Publications (2)

Publication Number Publication Date
KR20210097063A KR20210097063A (ko) 2021-08-06
KR102362087B1 true KR102362087B1 (ko) 2022-02-14

Family

ID=75740891

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020200010302A KR102246966B1 (ko) 2020-01-29 2020-01-29 신체의 목적 타겟 위치 확인 방법
KR1020210019773A KR102362087B1 (ko) 2020-01-29 2021-02-15 신체의 목적 타겟 위치 확인 방법
KR1020220010265A KR102488569B1 (ko) 2020-01-29 2022-01-24 목적 타겟 이탈 위험을 최소화하는 신체의 목적 타겟 결정 방법, 최종 목적 타겟의 중심 좌표 산출 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
KR1020220010264A KR102488568B1 (ko) 2020-01-29 2022-01-24 신체의 목적 타겟 위치 결정 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200010302A KR102246966B1 (ko) 2020-01-29 2020-01-29 신체의 목적 타겟 위치 확인 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220010265A KR102488569B1 (ko) 2020-01-29 2022-01-24 목적 타겟 이탈 위험을 최소화하는 신체의 목적 타겟 결정 방법, 최종 목적 타겟의 중심 좌표 산출 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
KR1020220010264A KR102488568B1 (ko) 2020-01-29 2022-01-24 신체의 목적 타겟 위치 결정 방법, 이를 이용한 자동 채혈 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램

Country Status (6)

Country Link
US (1) US20220327704A1 (ko)
EP (1) EP4098204A4 (ko)
JP (1) JP2023512351A (ko)
KR (4) KR102246966B1 (ko)
CN (1) CN115209814A (ko)
WO (1) WO2021153863A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102556390B1 (ko) 2020-09-24 2023-07-17 주식회사 에어스메디컬 신체 자동 침습 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013848B1 (ko) 2018-02-20 2019-08-23 (주)휴톰 혈관 모델을 이용한 혈관 정보 제공 방법 및 장치
US20190357828A1 (en) * 2010-12-22 2019-11-28 Veebot Systems, Inc. Systems and Methods for Autonomous Intravenous Needle Insertion
JP2019212050A (ja) 2018-06-05 2019-12-12 株式会社島津製作所 画像処理方法、画像処理装置および学習モデル作成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1888152A2 (en) * 2005-05-10 2008-02-20 Koninklijke Philips Electronics N.V. Cannula inserting system.
KR20110112159A (ko) * 2010-04-06 2011-10-12 연세대학교 산학협력단 초음파를 이용한 휴대용 혈관 식별 장치 및 방법
JP6243763B2 (ja) * 2014-03-14 2017-12-06 テルモ株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
KR101601421B1 (ko) 2014-05-27 2016-03-10 연세대학교 산학협력단 자동 채혈방법
JP6670607B2 (ja) * 2015-12-28 2020-03-25 キヤノンメディカルシステムズ株式会社 超音波診断装置
KR101971764B1 (ko) * 2016-03-04 2019-04-24 한양대학교 산학협력단 혈관 촬영 영상을 이용한 혈관 분석 방법 및 장치
WO2018209193A1 (en) * 2017-05-11 2018-11-15 Verathon Inc. Probability map-based ultrasound scanning
KR102143940B1 (ko) * 2018-04-03 2020-08-13 고려대학교 산학협력단 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법
KR102143179B1 (ko) * 2018-05-18 2020-08-11 금오공과대학교산학협력단 전자동 무인 채혈기
US11638569B2 (en) * 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
US20210259660A1 (en) * 2018-06-29 2021-08-26 Koninklijke Philips N.V. Biopsy prediction and guidance with ultrasound imaging and associated devices, systems, and methods
EP3818944A4 (en) * 2018-07-02 2021-09-01 FUJIFILM Corporation ACOUSTIC DIAGNOSTIC DEVICE AND METHOD OF CONTROLLING AN ACOUSTIC DIAGNOSTIC DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190357828A1 (en) * 2010-12-22 2019-11-28 Veebot Systems, Inc. Systems and Methods for Autonomous Intravenous Needle Insertion
KR102013848B1 (ko) 2018-02-20 2019-08-23 (주)휴톰 혈관 모델을 이용한 혈관 정보 제공 방법 및 장치
JP2019212050A (ja) 2018-06-05 2019-12-12 株式会社島津製作所 画像処理方法、画像処理装置および学習モデル作成方法

Also Published As

Publication number Publication date
CN115209814A (zh) 2022-10-18
KR102488568B1 (ko) 2023-01-13
WO2021153863A1 (ko) 2021-08-05
KR20210097063A (ko) 2021-08-06
KR102488569B1 (ko) 2023-01-13
EP4098204A4 (en) 2024-01-03
EP4098204A1 (en) 2022-12-07
KR102246966B1 (ko) 2021-04-30
JP2023512351A (ja) 2023-03-24
US20220327704A1 (en) 2022-10-13
KR20220018519A (ko) 2022-02-15
KR20220017955A (ko) 2022-02-14

Similar Documents

Publication Publication Date Title
EP3628215B1 (en) Method for extracting feature of bio-signal
US11141135B2 (en) Ultrasound apparatus and method of displaying ultrasound images
US10228785B2 (en) Ultrasound diagnosis apparatus and method and computer-readable storage medium
EP3132749B1 (en) Ultrasound diagnosis apparatus for analyzing plaque
KR102347038B1 (ko) 초음파 진단 장치 및 초음파 진단 방법
KR102329680B1 (ko) 의료 영상 표시 방법 및 의료 영상 표시 장치
US11564663B2 (en) Ultrasound imaging apparatus and control method thereof
CN105722463B (zh) 用于在超声弹性成像图像上标记肿瘤的方法和超声设备
JP2024516814A (ja) 超音波画像における血管の表示
US20180042578A1 (en) Automated ultrasound image measurement system and method
KR102462391B1 (ko) 초음파 장치 및 그 동작 방법
KR102362087B1 (ko) 신체의 목적 타겟 위치 확인 방법
US20230024178A1 (en) Body-insertion device and method for controlling the same
JP2024514957A (ja) 器具挿入案内
CN116058875A (zh) 超声成像方法和超声成像系统
US20240087147A1 (en) Intravascular ultrasound co-registration with angiographic images
JP2024516973A (ja) 超音波画像における血管の識別
EP3666196A1 (en) Ultrasound imaging apparatus, method of controlling the same, and computer program product
KR20150059098A (ko) 영상에 복수의 모델을 피팅하는 영상 표시 장치 및 그 방법

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant