KR102353842B1 - 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치 - Google Patents

인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치 Download PDF

Info

Publication number
KR102353842B1
KR102353842B1 KR1020200040759A KR20200040759A KR102353842B1 KR 102353842 B1 KR102353842 B1 KR 102353842B1 KR 1020200040759 A KR1020200040759 A KR 1020200040759A KR 20200040759 A KR20200040759 A KR 20200040759A KR 102353842 B1 KR102353842 B1 KR 102353842B1
Authority
KR
South Korea
Prior art keywords
region
interest
artificial intelligence
bounding box
intelligence model
Prior art date
Application number
KR1020200040759A
Other languages
English (en)
Other versions
KR20210124559A (ko
Inventor
조금준
양제파
이현지
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020200040759A priority Critical patent/KR102353842B1/ko
Publication of KR20210124559A publication Critical patent/KR20210124559A/ko
Application granted granted Critical
Publication of KR102353842B1 publication Critical patent/KR102353842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0866—Clinical applications involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Pregnancy & Childbirth (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명의 일 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법은, 기 획득된 복수의 초음파 이미지를 선택 및 전처리하여 관심영역이 라벨링된 복수의 학습 이미지를 획득하는 단계; 상기 복수의 학습 이미지를 이용하여 초음파 이미지 내 관심영역 유무를 판별하기 위한 분류화 인공지능 모델 및 관심영역의 예측을 위한 분할 인공지능 모델을 각각 학습하는 단계; 학습된 상기 분류화 인공지능 모델을 통해 실시간으로 입력되는 초음파 이미지에서 관심영역의 유무를 판별하는 단계; 학습된 상기 분할 인공지능 모델을 통해 관심영역이 있다고 판별된 초음파 이미지에서 관심영역을 분할하여 예측하는 단계; 예측된 관심영역에서 복수의 특징점을 추출하는 단계; 상기 초음파 이미지의 이전 프레임과 현재 프레임에서 추출된 복수의 특징점 또는 객체 크기 비교를 통해 경계 상자를 보정하는 단계; 및 보정된 경계 상자를 기초로 도플러 영상 추출영역을 고정하여 표시하는 단계를 포함할 수 있다.

Description

인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치 {Method and Apparatus for Automatic Recognition of Region of Interest and Automatic Fixation of Doppler Image Extraction Region Based on Artificial Intelligence Model}
본 출원은 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치에 관한 것이다.
초음파 영상 기술 중에서 도플러 초음파 검사(doppler sonography)는 도플러 효과를 이용한 검사 방법으로, 이를 통해 초음파로 평가가 가능한 부위의 모든 혈관에서의 혈류 움직임을 실시간으로 평가할 수 있다.
예를 들어, 도플러 초음파 검사를 이용하여, 태아의 탯줄 내 혈류량 측정, 태아 두경부의 혈류량 측정 등과 같은 태아 진단을 수행할 수 있다. 그러나, 이 경우, 태아의 지속적인 움직임, 산모의 심장박동 및 호흡 등으로 인해 태아의 위치가 고정되지 않으므로, 도플러 영상 추출영역을 특정하는데 어려움이 있다.
따라서, 당해 기술분야에서는 도플러 초음파 검사 시에 유동성이 있는 관심영역을 자동으로 인식하고 도플러 영상 추출영역을 자동으로 고정하기 위한 방안이 요구되고 있다.
상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법을 제공한다.
상기 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법은, 기 획득된 복수의 초음파 이미지를 선택 및 전처리하여 관심영역이 라벨링된 복수의 학습 이미지를 획득하는 단계; 상기 복수의 학습 이미지를 이용하여 초음파 이미지 내 관심영역 유무를 판별하기 위한 분류화 인공지능 모델 및 관심영역의 예측을 위한 분할 인공지능 모델을 각각 학습하는 단계; 학습된 상기 분류화 인공지능 모델을 통해 실시간으로 입력되는 초음파 이미지에서 관심영역의 유무를 판별하는 단계; 학습된 상기 분할 인공지능 모델을 통해 관심영역이 있다고 판별된 초음파 이미지에서 관심영역을 분할하여 예측하는 단계; 예측된 관심영역에서 복수의 특징점을 추출하는 단계; 상기 초음파 이미지의 이전 프레임과 현재 프레임에서 추출된 복수의 특징점 또는 객체 크기 비교를 통해 경계 상자를 보정하는 단계; 및 보정된 경계 상자를 기초로 도플러 영상 추출영역을 고정하여 표시하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 실시예는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치를 제공한다.
상기 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치는, 상술한 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법에 따라서, 도플러 초음파 기기에서 제공되는 초음파 이미지에서 관심영역을 자동으로 인식하고, 인식된 관심영역에서 도플러 영상 추출영역을 자동으로 고정하여 표시할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예는 도플러 초음파 검사 시에 관심영역의 움직임에 의해 혈류량의 정확한 측정이 어려운 경우에 적용되어, 관심영역을 자동으로 인식하고 도플러 영상 추출영역을 자동으로 고정할 수 있다. 이에 따라, 도플러 초음파 검사를 통해 손쉽고 보다 정확하게 혈류량을 측정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치와 도플러 초음파 기기의 연동 구조를 도시하는 도면이다.
도 2는 본 발명의 다른 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 분류화 인공지능 모델을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 분할 인공지능 모델을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 관심영역 특징 추출 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 경계 상자 보정 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 도플러 영상 추출영역 표시 단계를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치와 도플러 초음파 기기의 연동 구조를 도시하는 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치(200)는, 초음파 프로브(110)를 통해 환자의 신체(1)를 촬영하여 초음파 이미지를 획득 및 제공하는 도플러 초음파 기기(100)와 연동하여 동작할 수 있다.
본 발명의 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치(200)는 도플러 초음파 기기(100)에서 제공된 초음파 이미지에서 인공지능 모델을 기반으로 관심영역을 자동으로 인식하고, 인식된 관심영역에서 도플러 영상 추출영역(예를 들어, 태아의 탯줄, 태아 두경부 혈관 등)을 자동으로 고정해 줌으로써 관심영역이 움직이는 경우에도 손쉽고 보다 정확하게 혈류량을 측정하도록 할 수 있다.
본 발명의 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치(200)는 도 2 내지 도 8을 참조하여 구체적으로 후술하는 바에 따라 초음파 이미지에서 관심영역을 자동으로 인식하고 도플러 영상 추출영역을 자동으로 고정할 수 있다.
또한, 본 발명의 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치(200)은 데이터 입력 수단, 데이터 저장 수단 및 학습 엔진을 구비하는 프로세싱 장치에 의해 구현될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법의 흐름도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법은, 학습 이미지 획득 단계(S310), 분류화 인공지능 모델 및 분할 인공지능 모델 학습 단계(S320), 분류화 인공지능 모델을 통한 관심영역 유무 판별 단계(S330), 분할 인공지능 모델을 통한 관심영역 예측 단계(S340), 관심영역 특징 추출 단계(S350), 경계 상자 보정 단계(S360), 및 도플러 영상 추출영역 표시 단계(S370)를 포함하여 구성될 수 있다.
학습 이미지 획득 단계(S310)에서는, 기 획득된 복수의 초음파 이미지를 선택 및 전처리하여 관심영역이 라벨링된 복수의 학습 이미지를 획득할 수 있다.
일 실시예에 따르면, 복수의 초음파 이미지를 선택하고, 임계값에 기반한 이진화를 수행하여 결과값이 1인 픽셀들만 남기며, 이미지들을 기 설정된 크기로 조절한 후, 관심영역 유무 판별 결과 및 관심영역 검출 결과를 라벨링하여 복수의 학습 이미지를 획득할 수 있다.
분류화 인공지능 모델 및 분할 인공지능 모델 학습 단계(S320)에서는, 관심영역이 라벨링된 복수의 학습 이미지를 이용하여 분류화 인공지능 모델과 분할 인공지능 모델을 각각 학습시킬 수 있다.
여기서, 분류화 인공지능 모델은 초음파 이미지 내 관심영역 유무를 판별하기 위한 것으로, 예를 들어 도 3을 참조하여 후술하는 바와 같은 에피션트넷(EfficientNet) 모델로 구현될 수 있으나, 반드시 이로 제한되는 것은 아니다.
또한, 분할 인공지능 모델은 관심영역의 예측을 위한 것으로, 예를 들어 도 4를 참조하여 후술하는 바와 같이 유-넷(U-Net) 모델로 구현될 수 있으나, 반드시 이로 제한되는 것은 아니다.
분류화 인공지능 모델을 통한 관심영역 유무 판별 단계(S330)에서는, 기 학습된 분류화 인공지능 모델을 통해 실시간으로 입력되는 초음파 이미지에서 관심영역의 유무를 판별할 수 있다.
분할 인공지능 모델을 통한 관심영역 예측 단계(S340)에서는, 분할 인공지능 모델을 통해 S330 단계에서 관심영역이 있다고 판별된 이미지에서 관심영역을 분할하여 예측할 수 있다.
관심영역 특징 추출 단계(S350)에서는, 예측된 관심영역에서 복수의 특징점을 추출할 수 있다. 관심영역 특징 추출 단계(S350)에서 특징점을 추출하는 방법은 도 5 및 도 6을 참조하여 구체적으로 후술한다.
경계 상자 보정 단계(S360)에서는, 이전 프레임과 현재 프레임에서 추출된 복수의 특징점 또는 객체 크기 비교를 통해 경계 상자를 보정할 수 있으며, 추가적으로 경계 상자의 떨림을 보정할 수 있다. 여기서, 경계 상자의 떨림 보정은 예를 들어 롱 쇼트-텀 메모리(Long Short-Term Memory; LSTM) 모델로 구현될 수 있다. 경계 상자 보정 단계(S360)에서 경계 상자를 보정하는 방법은 도 7을 참조하여 구체적으로 후술한다.
도플러 영상 추출영역 표시 단계(S370)에서는, 보정된 경계 상자를 기초로 도플러 영상 추출영역을 고정하여 표시할 수 있다. 도플러 영상 추출영역 표시 단계(S370)에서 추출영역을 고정하여 표시하는 방법은 도 8을 참조하여 구체적으로 후술한다.
상술한 S330 내지 S370 단계는 도플러 초음파 검사가 수행되는 동안 반복적으로 수행됨으로써, 도플러 초음파 검사시 실시간으로 초음파 이미지에서 관심영역을 자동으로 인식하고 도플러 영상 추출영역을 자동으로 고정하여 표시해 줄 수 있다.
도 3은 본 발명의 일 실시예에 따른 분류화 인공지능 모델을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 분류화 인공지능 모델로서 분류화(Classification)에 사용되는 에피션트넷 모델을 사용할 수 있다.
일 예로, 도 3에 도시된 바와 같이, EfficientNet-B6를 사용할 수 있으며, 완전연결 계층(Fully Connected Layer)을 추가하여 "어댑티브에버리지풀(AdaptiveAvgPool2d) -> 드롭아웃(Dropout) -> 리니어(Linear) -> 리니어(Linear)"를 추가적으로 동작시킬 수 있다.
여기서, 어댑티브에버리지풀은 입력값의 형태를 리니어하게 바꾸어 주는 역할을 하고, 드랍아웃은 오버피팅(overfitting)을 막기 위한 것으로 계수는 예를 들어 0.5로 설정하여 절반의 네트워크를 생략할 수 있다. 또한, 리니어를 이용하여 출력 피쳐(feature)의 수를 결정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 분할 인공지능 모델을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 분할 인공지능 모델로서 의료 이미지 분할(Segmentation)에 주로 사용되고 있는 유-넷(U-Net) 모델을 사용할 수 있다.
유-넷 모델은 이미지를 줄여나가는 인코더(Encoder)와 이미지를 키워나가는 디코더(Decoder) 부분으로 나누어질 수 있으며, 후술하는 바와 같이 구동될 수 있다.
인코더의 경우, "컨볼루션(Convolution) -> 배치 정규화(Batch Normalization) -> 렐루 활성화 함수(ReLu) -> 컨볼루션(Convolution) -> 배치 정규화(Batch Normalization) -> 렐루 활성화 함수(ReLu) -> 맥스풀링(MaxPooling)" 순으로 6번에 걸쳐 반복될 수 있으며, 6번째 반복에서는 맥스풀링을 하지 않아 맥스풀링은 총 5번 실행될 수 있다.
일 예로, 컨볼루션에서 사용하는 커널은 3*3이고, 패딩(padding) 값은 0을 주며, 첫 번째 컨볼루션의 경우 출력채널은 입력채널의 2배로 컨볼루션을 할 때마다 채널의 수가 늘어나게 된다. 맥스풀링은 2*2 맥스풀링을 사용하여 가장 큰 특징을 추출할 수 있으며, 맥스풀링 계산 시 이미지의 크기는 기존의 크기에 비해 1/2씩 줄어들게 된다.
한편, 디코더의 경우, 업샘플, 어텐션, 업컨볼루션의 3 부분으로 나누어질 수 있다.
업샘플 단계는 "업샘플링(Upsample) -> 컨볼루션(Convolution) -> 배치 정규화(Batch Normalization) -> 렐루 활성화 함수(ReLu)"로 이루어지며, 일 예로 업샘플링에서 scale_factor 값을 2로 주어 출력 이미지의 크기가 입력 이미지의 크기의 2배가 되도록 할 수 있다.
어텐션 단계는 "(컨볼루션(Convolution) -> 배치 정규화(Batch Normalization) + 컨볼루션(Convolution) -> 배치 정규화(Batch Normalization)) -> 렐루 활성화 함수(ReLu) -> 컨볼루션(Convolution) -> 배치 정규화(Batch Normalization) -> 시그모이드(Sigmoid)"로 이루어질 수 있다.
업컨볼루션 단계는 "컨볼루션(Convolution) -> 배치 정규화(Batch Normalization) -> 렐루 활성화 함수(ReLu) -> 컨볼루션(Convolution) -> 배치 정규화(Batch Normalization) -> 렐루 활성화 함수(ReLu)"로 이루어질 수 있다. 첫 번째 컨볼루션의 경우 출력채널은 입력채널의 1/2배로 컨볼루션을 할 때마다 채널의 수는 줄어들게 된다.
상술한 디코더는 "업샘플 -> 어텐션 -> 업컨볼루션"순으로 5번에 걸쳐 반복될 수 있으며, 마지막에 컨볼루션(Convolution)을 한번 더 거쳐 구동될 수 있다. 여기서, 마지막 컨볼루션(Convolution)은 입력 이미지의 채널의 수를 1로 바꾸어 줄 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 관심영역 특징 추출 단계를 설명하기 위한 도면이다.
도 5 및 도 6을 참조하면, 관심영역 특징 추출 단계(S350)는 가장 큰 객체 영역 추출 단계(S351), 추출된 영역의 좌표 값 획득 단계(S352), 경계상자 생성 단계(S353) 및 특징점 추출 단계(S354)를 포함하여 구성될 수 있다.
구체적으로, 상술한 S330 및 S340 단계를 통해 예측된 관심영역은 픽셀값이 0 또는 1의 값을 가지는 상태일 수 있다(도 6의 (a)).
가장 큰 객체 영역 추출 단계(S351)에서는 예를 들어 "Connected Component With Stats 함수"를 이용하여 인접 픽셀들을 연결 및 그룹핑한 후 라벨링하여 가장 픽셀 수가 많은 객체만 남기고 나머지 픽셀 값을 0으로 만들어 가장 큰 객체 영역을 추출할 수 있다(도 6의 (b)).
이후, 추출된 영역의 좌표 값 획득 단계(S352)에서는 추출된 객체 영역의 외곽선을 기준으로 복수의 지점(예를 들어, 좌측, 우측, 상단 및 하단의 최말단 지점)의 좌표 값을 획득할 수 있다(도 6의 (c)).
이후, 경계상자 생성 단계(S353)에서는 추출된 영역의 (최좌즉 좌표의 x값, 최상측 좌표의 y값)을 경계상자의 좌측 상단의 시작 지점으로 하여 경계상자를 생성할 수 있다. 여기서, 경계상자의 너비는 (최우측 좌표의 x값 - 최좌측 좌표의 x값)이고, 경계상자의 높이는 (최상측 좌표의 y값 - 최하측 좌표의 y값)일 수 있다(도 6의 (d)).
이후, 특징점 추출 단계(S354)에서는 예를 들어 호그(Histogram of Oriented Gradients; HOG), 시프트(Scale Invariant Feature Transform; SIFT) 및 광학 흐름(Optical flow) 중 적어도 하나를 이용하여 경계상자 내부의 복수의 특징점을 추출할 수 있다(도 6의 (e)).
도 7은 본 발명의 일 실시예에 따른 경계 상자 보정 단계를 설명하기 위한 도면으로, 이전 프레임과 현재 프레임을 비교하여 경계 상자를 보정하는 과정의 예를 도시한다.
이전 프레임과 현재 프레임에서의 관심영역의 크기가 서로 상이한 경우, 예를 들어, 현재 프레임에서의 관심영역 크기가 이전 프레임에서의 관심영역 크기에 비해 작아진 경우 경계 상자를 조절할 필요가 있다.
이와 같은 관심영역의 크기 변화에 따른 경계 상자의 보정은 특징점 기준 또는 객체 크기 기준으로 수행될 수 있다.
우선, 특징점 기준으로 경계 상자를 보정하는 경우, 도 7의 (a)에 도시된 이전 프레임에서의 경계 상자 내부의 특징점들 중 도 7의 (b)에 도시된 현재 프레임에서의 특징점에서 없어진 특징점들은 제외할 수 있으며, 이전 프레임과 현재 프레임에서 모두 존재하는 특징점들만 포함하도록 경계 상자를 조절하여 보정할 수 있다.
다음으로, 객체 크기 기준으로 경계 상자를 보정하는 경우, 도 7의 (d)에 도시된 현재 프레임의 관심영역에서 해당 영역에 내접하는 가장 큰 원을 계산할 수 있다. 예를 들어, opencv의 "distanceTransform 함수"를 이용하여 원의 중심과 반지름을 구할 수 있다. 이와 같이 구한 원의 반지름 r이 도 7의 (c)에 도시된 이전 프레임의 경계 상자의 지름에 비해 기 설정된 값(예를 들어, 5 픽셀) 이상 차이가 나는 경우 현재 프레임에서 계산된 내접하는 원에 외접하도록 경계 상자를 조절하여 보정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 도플러 영상 추출영역 표시 단계를 설명하기 위한 도면이다.
일 실시예에 따르면, 상술한 과정에 따라 추출된 도플러 영상 추출영역을 고정하여 표시하기 위해 보정된 경계 상자에 외접하는 직선을 표시해 줄 수 있다. 이 경우, 직선은 경계 상자의 중점을 지나도록 하며, 경계 상자는 삭제하고 해당 직선만 영상에 표시되도록 하여 도플러 영상 추출영역을 표시해 줄 수 있다(도 8의 (b)).
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 도플러 초음파 기기
110: 초음파 프로브
200: 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치

Claims (8)

  1. 기 획득된 복수의 초음파 이미지를 선택 및 전처리하여 관심영역이 라벨링된 복수의 학습 이미지를 획득하는 단계;
    상기 복수의 학습 이미지를 이용하여 초음파 이미지 내 관심영역 유무를 판별하기 위한 분류화 인공지능 모델 및 관심영역의 예측을 위한 분할 인공지능 모델을 각각 학습하는 단계;
    학습된 상기 분류화 인공지능 모델을 통해 실시간으로 입력되는 초음파 이미지에서 관심영역의 유무를 판별하는 단계;
    학습된 상기 분할 인공지능 모델을 통해 관심영역이 있다고 판별된 초음파 이미지에서 관심영역을 분할하여 예측하는 단계;
    예측된 관심영역에서 추출된 객체 영역을 포함하도록 생성된 경계상자 내부에서 복수의 특징점을 추출하는 단계;
    상기 초음파 이미지의 이전 프레임과 현재 프레임에서 추출된 복수의 특징점 또는 객체 크기 비교를 통해 상기 경계 상자를 보정하는 단계; 및
    보정된 경계 상자를 기초로 도플러 영상 추출영역을 고정하여 표시하는 단계를 포함하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법.
  2. 제 1 항에 있어서, 상기 복수의 학습 이미지를 획득하는 단계는,
    상기 복수의 초음파 이미지를 선택하고, 임계값에 기반한 이진화를 수행하여 결과값이 1인 픽셀들만 남기며, 이미지들을 기 설정된 크기로 조절한 후, 관심영역 유무 판별 결과 및 관심영역 검출 결과를 라벨링하여 복수의 학습 이미지를 획득하는 것을 특징으로 하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법.
  3. 제 1 항에 있어서, 상기 복수의 특징점을 추출하는 단계는,
    예측된 관심영역에서 가장 큰 객체 영역을 추출하는 단계;
    추출된 객체 영역의 외곽선을 기준으로 좌측, 우측, 상단 및 하단의 최말단 지점의 좌표 값을 획득하는 단계;
    획득한 좌표 값을 이용하여 상기 경계상자를 생성하는 단계; 및
    호그(Histogram of Oriented Gradients; HOG), 시프트(Scale Invariant Feature Transform; SIFT) 및 광학 흐름(Optical flow)을 중 적어도 하나를 이용하여 상기 경계상자 내부의 복수의 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법.
  4. 제 1 항에 있어서, 상기 경계 상자를 보정하는 단계는,
    상기 이전 프레임과 현재 프레임에서 경계 상자 내부의 특징점들을 비교하여 상기 이전 프레임과 현재 프레임에서 모두 존재하는 특징점들만 포함하도록 상기 경계 상자를 조절하는 것을 특징으로 하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법.
  5. 제 1 항에 있어서, 상기 경계 상자를 보정하는 단계는,
    상기 현재 프레임의 관심영역에 내접하는 가장 큰 원의 반지름이 상기 이전 프레임의 경계 상자의 지름에 비해 기 설정된 값 이상 차이가 나는 경우 상기 가장 큰 원에 외접하도록 경계 상자를 조절하는 것을 특징으로 하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법.
  6. 제 1 항에 있어서, 상기 경계 상자를 보정하는 단계는,
    롱 쇼트-텀 메모리(Long Short-Term Memory; LSTM) 모델에 의해 상기 경계 상자의 떨림을 보정하는 것을 특징으로 하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법.
  7. 제 1 항에 있어서, 상기 도플러 영상 추출영역을 고정하여 표시하는 단계는,
    상기 보정된 경계 상자에 외접하며, 상기 경계 상자의 중점을 지나는 직선을 표시하는 것을 특징으로 하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법.
  8. 제 1 항에 따른 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법에 따라서, 도플러 초음파 기기에서 제공되는 초음파 이미지에서 관심영역을 자동으로 인식하고, 인식된 관심영역에서 도플러 영상 추출영역을 자동으로 고정하여 표시하는 것을 특징으로 하는 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 장치.
KR1020200040759A 2020-04-03 2020-04-03 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치 KR102353842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200040759A KR102353842B1 (ko) 2020-04-03 2020-04-03 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200040759A KR102353842B1 (ko) 2020-04-03 2020-04-03 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210124559A KR20210124559A (ko) 2021-10-15
KR102353842B1 true KR102353842B1 (ko) 2022-01-25

Family

ID=78115492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200040759A KR102353842B1 (ko) 2020-04-03 2020-04-03 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102353842B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011224346A (ja) 2010-03-31 2011-11-10 Toshiba Corp 超音波診断装置、画像処理装置および画像処理方法
US20190261949A1 (en) 2018-02-27 2019-08-29 Siemens Medical Solutions Usa, Inc. Region of interest placement for quantitative ultrasound imaging

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150114285A (ko) * 2014-04-01 2015-10-12 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011224346A (ja) 2010-03-31 2011-11-10 Toshiba Corp 超音波診断装置、画像処理装置および画像処理方法
US20190261949A1 (en) 2018-02-27 2019-08-29 Siemens Medical Solutions Usa, Inc. Region of interest placement for quantitative ultrasound imaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김태식 등, 초음파 영상에서 효과적인 관심영역의 추출, 한국해양정보통신학회.(2007)
유양모, 의료용 초음파 영상 시스템 기초, 전자공학회지.(2013.07.)

Also Published As

Publication number Publication date
KR20210124559A (ko) 2021-10-15

Similar Documents

Publication Publication Date Title
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
US11200693B2 (en) Image processing
US10595727B2 (en) Machine learning-based segmentation for cardiac medical imaging
US9311570B2 (en) Method of, and apparatus for, segmentation of structures in medical images
CN105022719B (zh) 医学造影系统及方法
US20240252148A1 (en) Method and system for generating a three-dimensional ultrasound image of a tissue volume
CN104546000B (zh) 一种基于形状特征的超声图像膀胱容积测量方法及装置
EP4360057A1 (en) Detecting and segmenting regions of interest in biomedical images using neural networks
US12159404B2 (en) Detecting and segmenting regions of interest in biomedical images using neural networks
JP7019104B2 (ja) 閾値の学習方法
US9947094B2 (en) Medical image processing device, operation method therefor, and medical image processing program
CN111685740A (zh) 一种心脏功能参数检测方法及装置
KR102353842B1 (ko) 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치
US20230017138A1 (en) System and Method for Generating Training Images
Bhalla et al. Automatic fetus head segmentation in ultrasound images by attention based encoder decoder network
CN113744201B (zh) Ct切片图像的处理方法、装置、设备和ct扫描仪
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
KR20230052045A (ko) 연하장애 환자용 비디오형광투시 분석 장치 및 방법
CN116601670A (zh) 用于对跨医学图像中的变化进行域泛化的系统和方法
CN115937219B (zh) 一种基于视频分类的超声图像部位识别方法及系统
CN117853467A (zh) 一种脊椎椎体识别方法、设备及介质
CN114119484A (zh) 一种甲状腺癌或乳腺癌的检测方法及相关装置
CN118379487A (zh) 一种图像分割方法、装置及电子设备
Su et al. Tongue Segmentation with Geometrically Constrained Snake Model.
CN116309593A (zh) 基于数学模型的肝脏穿刺活检b超图像处理方法及系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200403

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210805

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220105

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220117

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220118

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241223

Start annual number: 4

End annual number: 4