KR20160047921A - 초음파 영상 장치 및 그 제어 방법 - Google Patents

초음파 영상 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20160047921A
KR20160047921A KR1020140144463A KR20140144463A KR20160047921A KR 20160047921 A KR20160047921 A KR 20160047921A KR 1020140144463 A KR1020140144463 A KR 1020140144463A KR 20140144463 A KR20140144463 A KR 20140144463A KR 20160047921 A KR20160047921 A KR 20160047921A
Authority
KR
South Korea
Prior art keywords
image
virtual
ultrasound image
ultrasound
neural network
Prior art date
Application number
KR1020140144463A
Other languages
English (en)
Other versions
KR102328269B1 (ko
Inventor
장정우
김선권
방원철
류지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140144463A priority Critical patent/KR102328269B1/ko
Priority to US14/818,536 priority patent/US10736609B2/en
Publication of KR20160047921A publication Critical patent/KR20160047921A/ko
Application granted granted Critical
Publication of KR102328269B1 publication Critical patent/KR102328269B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

대상체를 촬영하여 초음파 영상을 획득하는 영상 생성부와 서로 정합된 영상에 기초하여 가상 초음파 영상 생성이 학습된 신경망과 신경망을 이용하여 대상체를 촬영하여 미리 획득한 의료 영상을 가상 초음파 영상으로 변환하는 영상 변환부와 초음파 영상과 가상 초음파 영상에 기초하여 의료 영상에 적용할 가상 프로브 위치를 결정하고, 가상 프로브 위치에 기초하여 초음파 영상과 의료 영상을 정합하는 정합부를 포함하는 초음파 영상 장치를 제공한다.

Description

초음파 영상 장치 및 그 제어 방법{Ultrasound imaging apparatus and control method for the same}
대상체에 초음파 영상을 획득하는 초음파 영상 장치 및 그 제어 방법에 관한 것이다.
초음파 영상 장치(Ultrasound imaging apparatus)는 대상체 표면에서 대상체로 초음파를 조사하고 대상체로부터 반사된 초음파, 즉 에코 초음파를 검출하여, 연부 조직의 단층이나 혈류와 같은 대상체 내부의 피검 부위에 대한 영상을 생성함으로 필요한 피검 부위에 대한 정보를 제공한다.
초음파 영상 장치는 실시간 영상을 얻을 수 있다는 장점이 있으나, 다수의 잡음이 포함되므로 장기의 윤곽, 내부 구조나 병변을 식별해내기가 어렵다는 단점이 있다.
최근에는 환부의 정확한 진단 또는 정교한 시술을 위해서 다른 의료 장치에서 획득된 의료 영상을 초음파 영상과 정합하여 제공한다. 예를 들어, 영상 촬영 조건이 상대적으로 자유롭고, 연부 조직에서의 우수한 대조도와 다양한 영상을 제공하는 자기공명영상 또는 해상도가 더 높은 컴퓨터 단층 촬영 영상과 초음파 영상을 정합하여 제공한다.
미리 획득된 의료 영상과 대상체를 촬영하여 획득한 초음파 영상을 정합하여 제공하는 초음파 영상 장치 및 그 제어 방법을 제공한다.
일 양상에 따른 대상체를 촬영하여 초음파 영상을 획득하는 영상 생성부;와 서로 정합된 영상에 기초하여 가상 초음파 영상 생성이 학습된 신경망;과 신경망을 이용하여 대상체를 촬영하여 미리 획득한 의료 영상을 가상 초음파 영상으로 변환하는 영상 변환부;와 초음파 영상과 가상 초음파 영상에 기초하여 의료 영상에 적용할 가상 프로브 위치를 결정하고, 가상 프로브 위치에 기초하여 초음파 영상과 의료 영상을 정합하는 정합부;를 포함한다.
이때, 정합부는, 초음파 영상과 가상 초음파 영상의 오차에 기초하여 가상 프로브 위치를 결정할 수 있다.
또한, 영상 변환부는 가상 프로브 위치를 기준으로 가상 초음파 영상을 생성할 수 있다.
또한, 영상 변환부는, 가상 프로브의 위치에 기초하여 의료 영상에서 제1 영역을 선택하고, 선택된 제1 영역을 신경망에 입력하여 가상 초음파 영상의 제2 영역의 영상을 획득할 수 있다.
여기서, 제1 영역의 길이는 대상체 내부에서 초음파가 도달하는 거리에 기초하여 결정되고, 제1 영역의 폭은 초음파 영상의 해상도에 기초하여 결정될 수 있다.
또한, 정합부에서 정합된 초음파 영상과 의료 영상을 이용하여, 신경망을 학습시키는 학습부;를 더 포함할 수 있다.
한편, 의료 영상은 자기 공명 영상 촬영(Magnetic Resonance Imaging, MRI) 영상, 컴퓨터 단층 촬영(Computed Tomography, CT) 영상, 양전자 단층 촬영(Positron Emission Tomography, PET) 영상, 및 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 영상 중 하나일 수 있다.
또한, 학습부은정합된 의료 영상을 입력되면 의료 영상과 정합된 초음파 영상이 출력되도록 신경망을 학습시킬 수 있다.
또한, 신경망은 다층 퍼셉트론(multilayer perceptron) 구조일 수 있다.
일 양상에 따른 초음파 영상 장치의 제어 방법은 대상체를 촬영하여 초음파 영상을 획득하는 단계;와 서로 정합된 영상에 기초하여 가상 초음파 영상 생성이 학습된 신경망을 이용하여 대상체를 촬영하여 미리 획득한 의료 영상을 가상 초음파 영상으로 변환하는 변환 단계;와 초음파 영상과 가상 초음파 영상에 기초하여 의료 영상에 적용할 가상 프로브의 위치를 결정하고, 가상 프로브 위치에 기초하여 초음파 영상과 의료 영상을 정합하는 정합 단계;를 포함할 수 있다.
또한, 변환 단계는 의료 영상에 설정된 가상 프로브 위치에 기초하여 가상 초음파 영상으로 변환하는 단계;를 포함할 수 있다.
또한, 정합 단계는 초음파 영상과 가상 초음파 영상의 오차에 기초하여 가상 프로브 위치를 재설정하는 단계;를 포함할 수 있다.
또한, 정합 단계는 의료 영상에 신경망을 적용하여 재설정된 가상 프로브의 위치에 기준으로 가상 초음파 영상을 생성하는 단계를 더 포함할 수 있다.
또한, 정합 단계는 가상 프로브의 위치를 기준으로 의료 영상과 초음파 영상을 정합하는 단계;를 더 포함할 수 있다.
또한, 변환 단계는, 가상 프로브 위치에 기초하여 의료 영상에서 제1 영역을 선택하는 단계;와 선택된 제1 영역을 신경망에 입력하여 가상 초음파 영상의 제2 영역의 영상을 획득하는 단계;를 포함할 수 있다.
또한, 제1 영역의 길이는 대상체 내부에서 초음파가 도달하는 거리에 기초하여 결정되는 것이고, 제2 영역의 폭은 실제 초음파 영상의 해상도에 기초하여 획득된 것일 수 있다,
또한, 정합 단계에서 서로 정합된 의료 영상과 초음파 영상을 이용하여 신경망을 학습시키는 학습 단계;를 더 포함할 수 있다.
상술한 바와 같이 미리 학습된 신경망을 이용하여 의료 영상과 초음파 영상을 정합하므로, 의료 영상과 초음파 영상의 정합을 보다 정확하게 수행할 수 있다.
도 1은 일 실시예에 따른 초음파 영상 장치의 일 실시예를 도시한 사시도이다.
도 2는 일 실시예에 따른 초음파 영상 장치의 제어 블록도이다.
도 3은 초음파 영상 장치의 영상 정합부의 일 실시예를 설명하기 위한 제어 블록도이다.
도 4는 신경망의 일 실시예를 개략적으로 도시한 도면이다.
도 5은 지도 학습의 대하여 설명하기 위한 도면이다.
도 6는 신경망 학습 방법의 일 실시예를 설명하기 위한 순서도이다.
도 7는 초음파 영상의 특징을 설명하기 위한 도면이다.
도 8는 의료 영상과 초음파 영상의 영역 선택에 일 실시예에 대하여 설명하기 위한 도면이다.
도 9는 의료 영상과 초음파 영상의 영역 선택에 다른 실시예에 대하여 설명하기 위한 도면이다.
도 10은 신경망을 적용한 가상 초음파 영상 생성에 대하여 설명하기 위한 도면이다.
도 11은 의료 영상에 설정되는 가상 프로브를 설명하기 위한 도면이다.
도 12은 의료 영상에 재설정되는 가상 프로브를 설명하기 위한 도면이다.
도 13은 초음파 영상 장치의 영상 정합부의 다른 실시예를 설명하기 위한 제어 블록도이다.
도 15는 도 14의 S609 단계를 구체적으로 설명하기 위한 순서도이다.
도 15는 일 실시예에 따른 초음파 영상 장치의 제어 방법의 다른 실시예를 설명하기 위한 순서도이다.
도 16은 다른 실시예에 따른 초음파 영상 장치의 제어 방법의 일 실시예를 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부", "모듈", "유닛" 등의 용어는 적어도 하나의 기능 또는 동작을 처리하는 단위를 의미하며, 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소, 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다. 그렇지만 "부", "모듈", "유닛" 등의 용어가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부", "모듈", "유닛" 등은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 ""부", "모듈", "유닛" 등의 용어는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
"제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
일 실시예에 따른 초음파 영상 장치는 대상체(ob)를 촬영하여 획득된 초음파 영상과 다른 모달리티의 장치에서 획득된 의료 영상을 정합할 수 있다. 예를 들어, 의료 영상은 자기 공명 영상 촬영(Magnetic Resonance Imaging, MRI) 영상, 컴퓨터 단층 촬영(Computed Tomography, CT) 영상, 양전자 단층 촬영(Positron Emission Tomography, PET) 영상, 및 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 영상 중 하나일 수 있다.
이하, 초음파 영상과 진단 영상의 정합을 설명하기 앞서 초음파 영상 장치에 대하여 대략적으로 설명한다.
도 1은 일 실시예에 따른 초음파 영상 장치의 일 실시예를 도시한 사시도이다.
도 1에 도시된 바와 같이, 초음파 영상 장치(1)는 초음파 프로브(110), 본체(10), 조작 패널(50), 디스플레이부(60)을 포함할 수 있다.
본체(10)의 하측 전면에는 하나 이상의 암 커넥터(female connector; 45)가 구비될 수 있다. 암 커넥터(45)에는 케이블(30)의 일단에 마련된 수 커넥터(male connector; 40)가 물리적으로 결합될 수 있다. 케이블(30)을 통하여 초음파 프로브(110)와 본체(10)는 연결될 수 있다.
한편, 본체(10)의 하부에는 초음파 장치의 이동성을 위한 복수개의 캐스터(11)가 구비될 수 있다. 복수 개의 캐스터(11)를 이용하여 사용자는 초음파 영상 장치(1)를 특정 장소에 고정시키거나, 특정 방향으로 이동시킬 수 있다. 이와 같은 초음파 영상 장치(1)를 카트형 초음파 장치라고 한다.
한편, 도 1 과 달리, 초음파 영상 장치(1)는 원거리 이동 시에 휴대할 수 있는 휴대형 초음파 장치일 수도 있다. 이때, 휴대형 초음파 장치는 캐스터(11)가 구비되지 않을 수 있다. 휴대형 초음파 영상 장치(1)의 예로는 팩스 뷰어(PACS Viewer), 스마트 폰(Smart Phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 제한되지 않는다.
초음파 프로브(110)는 대상체(ob)의 체표에 접촉하는 부분으로, 초음파를 대상체(ob)로 송수신할 수 있다. 구체적으로, 초음파 프로브(110)는 입력되는 펄스에 따라 초음파를 생성하여 대상체(ob)의 내부로 송신하고, 대상체(ob) 내부의 특정 부위로부터 반사된 에코 초음파를 수신한다.
조작 패널(50)은 초음파 영상 장치(1)의 동작과 관련된 명령을 입력 받을 수 있는 부분이다. 사용자는 조작 패널(50)을 통해 진단 시작, 진단 부위 선택, 진단 종류 선택, 최종적으로 출력되는 초음파 영상에 대한 모드 선택 등을 수행하기 위한 명령을 입력할 수 있다. 초음파 영상에 대한 모드로는 A-모드(Amplitude mode), B-모드(Brightness mode), D-모드(Doppler mode), E-모드(Elastography mode), 및 M-모드(Motion mode) 등을 예로 들 수 있다.
또한, 사용자는 조작 패널(50)을 통해 영상 정합과 관련된 명령을 입력할 수 있다. 예를 들어, 사용자는 조작 패널(50)을 통해 의료 영상에 가상 프로브 위치를 입력하거나, 영상 정합을 조절할 수 있다.
일 실시예로, 조작 패널(50)은, 도 1에 도시된 바와 같이 본체(10)의 상부에 위치할 수 있다. 이때, 조작 패널(50)은 스위치, 키, 휠, 조이스틱, 트랙볼 및 놉(knop) 중 적어도 하나를 포함할 수 있다.
또한, 조작 패널(50)은 서브 디스플레이(51)를 더 포함할 수 있다. 서브 디스플레이(51)는 조작 패널(50)의 일측에 마련되어 초음파 영상 장치(1)의 조작과 관련된 정보를 표시할 수 있다.
예를 들어, 서브 디스플레이(51)는 초음파 영상 장치(1)의 설정에 필요한 메뉴나 안내 사항 등을 표시하거나, 현재 초음파 영상 장치(1)의 설정을 표시할 수 있다.
이때, 서브 디스플레이(51)는 터치 패널로 구현될 수 있으며, 서브 디스플레이(51)가 터치 패널로 구현된 경우 사용자는 서브 디스플레이(51)를 터치하여 제어 명령을 입력할 수 있다.
이러한 서브 디스플레이(51)는 예를 들어, 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널, 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 구현될 수 있다.
조작 패널(50)의 주변에는 초음파 프로브(110)를 거치하기 위한 프로브(110) 홀더(20)가 하나 이상 구비될 수 있다. 따라서, 사용자는 초음파 영상 장치(1)를 사용하지 않을 때, 프로브(110) 홀더(20)에 초음파 프로브(110)를 거치하여 보관할 수 있다.
디스플레이부(60)는 초음파 진단 과정에서 얻어진 초음파 영상들을 표시할 수 있다. 디스플레이부(60)는, 도 1에서와 같이 본체(10)와 결합되어 장착될 수 있으나, 본체(10)와 분리 가능하도록 구현될 수도 있다.
또한, 디스플레이부(60)는 복수 개의 디스플레이 장치(61, 62)를 포함하여 서로 다른 영상을 동시에 표시할 수 있다. 예를 들어, 제1 디스플레이 장치(61)는 대상체(ob)를 촬영하여 획득한 초음파 영상 또는 의료 영상을 표시하고, 제2 디스플레이 장치(62)는 정합 영상을 표시할 수 있다. 제1 디스플레이 장치(61)는 대상체(ob)를 촬영하여 획득한 2D 영상을 표시하고, 제2 디스플레이 장치(62)는 3D 영상을 표시할 수 있다.
또한, 각 디스플레이 장치(61, 62)는 디스플레이 패널(Plasma Display Panel, PDP), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널, 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널, 능동형 유기 발광 다이오드(Active-matrix Organic Light-Emitting Diode, AMOLED) 패널 등과 같은 디스플레이 수단을 채용할 수 있다.
도 2는 일 실시예에 따른 초음파 영상 장치(1)의 제어 블록도이다. 도 2를 참조하면, 일 실시예에 따른 초음파 영상 장치(1)는 초음파 프로브(110), 빔 포밍부(120), 영상 생성부(130), 통신부(140), 저장부(150), 영상 정합부(300), 메인 제어부(160)를 포함한다.
통신부(140)는 다른 장치와 연결되어 연결된 장치와 데이터를 송수신할 수 있다. 특히, 통신부(140)는 네트워크(200)에 연결된 다른 장치와 연결되어, 영상 정합에 필요한 각종 데이터를 수신할 수 있다. 예를 들어, 통신부(140)는 영상 정합에 필요한 신경망(320)을 다른 장치로부터 수신하거나, 다른 장치로부터 영상 정합에 이용될 의료 영상을 수신할 수 있다.
구체적으로, 통신부(140)는 학습장치(230)로부터 학습된 신경망(320)을 전송 받을 수 있다. 여기서, 학습장치(230)는 신경망(320)을 학습시키는 장치로, 훈련 데이터를 이용하여 신경망(320)을 지도 학습시킬 수 있다.
또한, 통신부(140)는 의료 장치(210)로부터 대상체(ob)를 촬영하여 획득한 의료 영상을 수신할 수 있다. 이와 같이 통신부(140)를 통해 수신한 의료 영상은 저장부(150)에 저장되어 정합 영상을 생성에 이용될 수 있다.
여기서, 의료 장치(210)는 미리 설정된 방법으로 대상체(ob)를 촬영하여 의료 영상을 획득하는 것으로, 의료 장치(210)는 초음파 영상 장치(1)와 다른 모달리티의 장치 일 수 있다. 예를 들어, 의료 장치(210)는 자기 공명 영상 촬영(Magnetic Resonance Imaging, MRI) 장치, 컴퓨터 단층 촬영(Computed Tomography, CT) 장치, 양전자 단층 촬영(Positron Emission Tomography, PET) 장치, 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 장치 중 하나일 수 있다.
또한, 통신부(140)는 의료 서버(220)에 저장된 대상체(ob)에 대한 진단 이력, 치료 일정 등과 같은 정보, 및 다양한 의료 장치(210)를 이용하여 획득된 의료 영상 등을 수신할 수 있으며, 에코 신호에 기초하여 획득된 초음파 영상을 의료 서버(220)로 전송할 수도 있다.
여기서, 의료 서버(220)는 대상체(ob)의 진료에 이용될 수 있는 의료 정보를 관리한다. 예를 들어, 의료 서버(220)는 대상체(ob)에 대한 진단 이력, 치료 일정 등과 같은 의료 정보를 관리할 수 있다. 또한, 의료 서버(220)는 의료 장치(210)로부터 의료 영상을 수신하여 관리할 수 있으며, 초음파 영상 장치(1)의 요청에 따라 저장된 의료 영상을 초음파 영상 장치(1)에 전송할 수 있다.
또한, 통신부(140)는 다양한 유/무선 통신 프로토콜에 따라 다른 장치와 데이터를 통신할 수 있으나, 바람직하게는 의료용 디지털 영상 및 통신(DICOM, Digital Imaging and Communications in Medicine) 표준에 따라 데이터 통신할 수 있다.
초음파 프로브(110)는 대상체(ob)의 표면에 접하여, 대상체(ob)로 초음파를 송신하고 반사되는 에코 초음파를 수신한다. 이를 위해, 초음파 프로브(110)는 트랜스 듀서를 포함할 수 있다. 여기서, 트랜스듀서(T)란 소정 형태의 에너지를 다른 형태의 에너지로 변환시키는 장치를 말한다. 예를 들어, 트랜스듀서(T)는 전기 에너지를 파동 에너지로 변환시킬 수 있으며, 파동 에너지를 전기 에너지로 변환시킬 수 있다.
구체적으로, 트랜스듀서(T)는 압전 물질이나 압전 박막을 포함할 수 있다. 만약 배터리 등의 내부 축전 장치나 외부의 전원 공급 장치로부터 교류 전류가 압전 물질이나 압전 박막에 인가되면, 압전 물질이나 압전 박막은 소정의 주파수로 진동하게 되고, 진동 주파수에 따라 소정 주파수의 초음파가 생성된다.
이와 반대로 소정 주파수의 초음파 에코가 압전 물질이나 압전 박막에 도달하면, 압전 물질이나 압전 박막은 도달한 에코 초음파의 주파수에 따라 진동하게 된다. 이때, 압전 물질이나 압전 박막은 진동 주파수에 대응하는 주파수의 교류 전류를 출력한다.
또한, 트랜스듀서(T)로는 자성체의 자왜효과를 이용하는 자왜 트랜스듀서(Magnetostrictive Ultrasonic Transducer)나, 압전 물질의 압전 효과를 이용한 압전 트랜스듀서(Piezoelectric Ultrasonic Transducer), 미세 가공된 수백 또는 수천 개의 박막의 진동을 이용하여 초음파를 송수신하는 정전용량형 미세가공 트랜스듀서(Capacitive Micromachined Ultrasonic Transducer; cMUT) 등 다양한 종류의 트랜스듀서(T)가 사용될 수 있다. 이외에도 전기적 신호에 따라 초음파를 생성하거나, 초음파에 따라 전기적 신호를 생성할 수 있는 다른 종류의 장치들도 트랜스듀서(T)로 사용될 수 있다.
빔 포밍부(120)는 초음파 프로브(110)에 구동 신호를 인가하거나, 초음파 프로브(110)로부터 수신한 에코 신호를 빔포밍할 수 있다.
구체적으로, 빔 포밍부(120)는 초음파 프로브(110)에 구동 신호를 인가한다. 구체적으로, 빔 포밍부(120)는 소정의 펄스 반복 주파수(PRF, Pulse Repetition Frequency)에 따라 송신 초음파를 형성하기 위한 구동 펄스(pulse)를 생성하고, 구동 펄스를 적절히 지연하여 출력하여, 대상체(ob)로 송신되는 초음파를 집속시킨다.
또한, 빔 포밍부(120)는 초음파 프로브(110)로부터 수신한 에코 신호를 빔포밍하여 출력한다. 구체적으로, 빔 포밍부(120)는 수신 지향성(reception directionality)에 기초하여 수신한 에코 신호를 적절히 지연하여 에코 신호를 집속할 수 있다.
또한, 빔 포밍부(120)는 지연되어 출력된 에코 신호를 합성하여 출력할 수 있다. 이때, 빔 포밍부(120)는 단순히 복수 개의 에코 신호를 합성하여 합성 신호를 출력한다. 빔 포밍부(120)는 에코 신호에 소정의 가중치를 적용하여 합성할 수 있다. 에코 신호에 적용되는 가중치는 에코 신호와 무관하게 결정될 수도 있으나, 에코 신호에 기초하여 결정될 수 있다.
영상 생성부(130)는 빔 포밍부(120)에서 출력되는 에코 신호에 기초하여 초음파 영상을 생성한다. 예를 들어, 영상 생성부(130)는 에코 신호에 기초하여 A-모드(Amplitude mode) 영상, B-모드(Brightness mode) 영상, D-모드(Doppler mode) 영상, E-모드(Elastography mode) 영상, 및 M-모드(Motion mode) 영상 중 적어도 하나의 양상을 생성할 수 있다. 아울러, 영상 생성부(130)는 에코 신호로부터 획득한 복수 개의 초음파 영상에 기초하여 3D 초음파 영상을 생성할 수 도 있다.
이때, 영상 생성부(130)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수 있다. 예를 들어, 영상 생성부(130)는 범용적인 GPU로 구현될 수 있다.
저장부(150)는 초음파 영상 장치(1)의 구동에 필요한 각종 정보를 저장한다. 예를 들어, 저장부(150)는 에코 신호, 초음파 영상 등 대상체(ob)에 진단에 관한 영상 정보를 저장할 수 있으며, 초음파 영상 장치(1)의 구동에 필요한 프로그램을 저장할 수도 있다.
또한, 저장부(150)는 통신부(140)를 통해 수신한 의료 영상을 저장할 수 있다. 이때, 의료 영상은 초음파 영상 장치(1)와 다른 모달리티의 의료 장치(210)에서 획득된 것으로, 네트워크(200)를 통해 연결된 의료 서버(220) 또는 의료 장치(210)로부터 전송된 것을 수 있다.
또한, 저장부(150)는, 예를 들어, 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM) 등을 포함할 수 있으나, 이에 한정 되는 것은 아니다.
또한, 저장부(150)는 초음파 영상 장치(1)와 탈착이 가능할 수 있다. 예를 들어, 저장부(150)는 CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM카드(Smart Media Card), MMC(Multimedia Card) 또는 메모리 스틱(Memory Stick)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 저장부(150)는 초음파 영상 장치(1)의 외부에 구비되어, 유선 또는 무선을 통하여 초음파 영상 장치(1)로 데이터를 송신 또는 수신할 수 있다.
한편, 메인 제어부(160)는 초음파 영상 장치(1)를 전반적으로 제어할 수 있다. 구체적으로, 메인 제어부(160)는 각 구성을 제어하여 대상체(ob)의 초음파 영상을 생성하고, 생성된 초음파 영상과 미리 저장된 의료 영상을 정합하여 표시할 수 있다.
또한, 메인 제어부(160)는 초음파 영상과 정합될 의료 영상이 수신되도록 통신부(140)를 제어하고, 통신부(140)를 통해 수신된 의료 영상을 저장부(150)에 저장할 수 있다.
또한, 메인 제어부(160)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 이때, 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수 있다.
영상 정합부(300)는 메인 제어부(160)의 제어에 따라 대상체(ob)를 촬영하여 획득된 초음파 영상과 대상체(ob)를 촬영하여 미리 획득된 의료 영상을 정합할 수 있다. 이하, 초음파 영상과 의료 영상을 정합하는 영상 정합 장치에 대하여 상세히 설명한다.
도 3은 초음파 영상 장치의 영상 정합부의 일 실시예를 설명하기 위한 제어 블록도이다.
도 3에 도시된 바와 같이, 영상 정합부(300)는 의료 영상을 가상 초음파 영상으로 변환하는 영상 변환부(310), 대상체(ob)를 촬영하여 획득한 초음파 영상과 영상 변환부(310)에서 생성된 가상 초음파 영상을 정합하는 정합부(330)를 포함할 수 있다.
영상 변환부(310)는 미리 학습된 신경망(320)을 이용하여 의료 영상을 가상 초음파 영상으로 변환할 수 있다. 이하, 영상 변환부(310)의 동작을 설명하기 앞서 신경망(320)에 대하여 설명한다.
신경망(320)은 효율적인 인식 작용이 일어나는 인간의 두뇌 구조를 공학적으로 모델링한 것으로, 신경망(320)은 하드웨어, 소프트웨어 또는 이들의 결합으로 구현될 수 있다.
인간의 두뇌는 뉴런이라는 신경의 기본단위로 구성되어 있으며, 각 뉴런은 시냅스에 의하여 연결되어, 비선형적이고 병렬적으로 정보를 처리할 수 있다.
신경망(320)은 뉴런에 대응되는 복수 개의 유닛들을 포함하며, 복수 개의 유닛들은 소정의 연결 강도로 서로 연결될 수 있다. 이와 같이 가상 초음파 영상의 생성에 이용될 수 있는 신경망(320)은 그 제한이 없다. 예를 들어, 신경망(320)은 컨볼루션 신경망(320)(Convolutional neural networks)일 수 있다.
도 4는 신경망(320)의 일 실시예를 개략적으로 도시한 도면이다.
도 4를 참조하면, 신경망(320)은 다층 퍼셉트론(multilayer perceptron) 구조에 따라 복수 개의 레이어(L1 내지 L4)를 포함할 수 있다. 즉, 신경망(320)에 포함된 복수 개의 유닛들(U)은 복수 개의 레이어(L1 내지 L4)로 분류될 수 있다.
다중 퍼셉트로 구조의 신경망(320)은 복수 개의 레이어(L1 내지 L4)로 구현되어, 더 복잡한 모델에 대하여 학습할 수 있다,
또한, 복수 개의 레이어(L1 내지 L4)로 분류된 유닛들(U)은 소정의 연결 강도로 서로 연결될 수 있다. 이때, 각 유닛(U)은 서로 관련성이 높은 유닛들(U)만 연결될 수 있다.
또한, 신경망(320)의 출력층(L4) 에서 출력되는 출력 신호는 입력층(L1)을 통해 입력되는 입력 신호보다 낮은 차원일 수 일 수 있다. 즉, 입력층(L1)에서 M개의 입력 신호가 입력되면, 출력층(L4)에서는 M보다 작은 N개의 출력 신호가 출력될 수 있다.
한편, 도 4는 신경망(320)의 일 실시예를 설명하기 위한 것으로, 신경망(320)은 더 많은 수의 레이어를 포함할 수 있으며, 각 유닛의 연결 형태도 변화될 수 있다. 예를 들어, 각 유닛들은 제한된 볼츠만 머신(Restricted Boltzmann machine)의 구조에 따라 서로 인접한 레이어에 포함된 유닛들만 연결될 수 있다.
인간의 두뇌는 시냅스의 연결 형태 또는 연결 강도를 조절하여 학습한다. 즉, 두뇌는 잘못된 답으로 이끄는 뉴런들 사이의 연결을 약화시키고, 올바른 답으로 이끄는 뉴런들 사이의 연결을 강화시키는 방향으로 시냅스의 연결 강도를 조절하여 학습된다.
신경망(320)도 상술한 인간의 두뇌의 학습 방법을 모방하여 학습된다. 여기서, 학습이란, 소정의 학습 데이터로부터 패턴을 찾아내어 일반화하는 것으로, 신경망(320)은 올바른 답으로 이끄는 유닛들 사이의 연결 강도가 강화되도록 학습된다. 이하,신경망(320)의 학습 방법의 일 실시예를 설명한다.
도 5은 지도 학습의 대하여 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 신경망(320)은 지도 학습될 수 있다. 지도 학습은 입력과 출력으로 이루어진 훈련 데이터를 이용하여 신경망(320)을 학습시키는 방법으로, 지도 학습을 통해 입력과 출력 사이의 상관 관계가 학습될 수 있다.
신경망(320)의 훈련 데이터는 신경망(320)의 학습에는 서로 정합된 초음파 영상과 의료 영상이 훈련 데이터로 이용될 수 있다. 의료 영상이 입력 데이터가 되고, 초음파 영상이 출력 데이터가 될 수 있다.
신경망(320)은 입력된 의료 영상에 의하여 출력되는 가상 초음파 영상이 출력 데이터인 초음파 영상과 대응되도록 학습된다. 즉, 신경망(320)은 훈련 데이터를 통해 의료 영상을 가상의 가상 초음파 영상으로 변환하도록 학습된다.
신경망(320)의 학습에는 복수 개의 훈련 데이터가 이용될 수 있다. 이와 같이 복수 개의 훈련 데이터를 이용하여 신경망(320)을 학습시켜 학습의 정확도를 높일 수 있다. 예를 들어, 훈련 데이터는 빅 데이터일 수 있다.
신경망(320)의 지도 학습은 일 실시예에 따른 초음파 영상 장치(1)에서도 수행될 수도 있으나, 상술한 바와 같이 네트워크(200)에 연결된 학습장치(230)에 의하여 수행될 수도 있다.
이하, 설명의 편의를 위하여 초음파 영상 장치(1)와 별도로 마련된 학습장치(230)에서 신경망(320)이 학습되는 것으로 설명하나 신경망(320)은 초음파 영상 장치(1)에서 학습될 수도 있다.
도 6는 신경망(320) 학습 방법의 일 실시예를 설명하기 위한 순서도이다.
도 6을 참조하면, 학습장치(230)는 훈련 데이터 집합에서 훈련 데이터를 선택한다(S501). 상술한 바와 같이 신경망(320)의 학습에는 복수 개의 훈련 데이터가 이용될 수 있는 바, 학습장치(230)는 복수 개의 훈련 데이터 집합 중 학습에 이용할 훈련 데이터를 선택할 수 있다.
학습장치(230)는 훈련 데이터의 의료 영상에 신경망(320)을 적용하여 가상 초음파 영상을 생성한다(S503). 학습장치(230)는 훈련 데이터의 초음파 영상과 가상 초음파 영상의 오차를 산출한다(S505). 학습장치(230)는 산출된 오차가 임계치보다 작으면(S507의 예), 학습을 종료한다.
한편, 학습장치(230)는 산출된 오차가 임계치보다 크면(S507의 아니오), 오차에 기초하여 신경망(320)의 연결 강도를 조절한다(S509). 구제적으로, 학습장치(230)는 오류 역전파(backpropagation) 알고리즘에 따라 입력된 의료 영상에서 기초하여 생성된 가상 초음파 영상과, 의료 영상과 정합된 초음파 영상의 오차가 감소하도록 신경망(320)의 연결 강도를 조절할 수 있다.
이와 같이 의료 영상에 신경망(320)을 적용하여 가상 초음파 영상을 생성하고, 가상 초음파 영상과 의료 영상과 정합된 초음파 영상의 오차를 산출하고, 오차에 기초하여 연결 강도를 갱신하는 과정을 반복적으로 수행하여 신경망(320)은 학습된다.
한편, 상술한 신경망(320)의 학습에는 초음파 영상의 특징이 고려될 수 있다. 이하, 초음파 영상의 특징에 대하여 설명한다. 도 7는 초음파 영상의 특징을 설명하기 위한 도면이다.
초음파 영상은 대상체(ob)에서 반사되어 에코 신호에 기초하여 생성된다. 즉, 초음파 영상의 각 영역의 밝기는 각 영역에서 반사되어 돌아오는 에코 초음파의 세기에 따라 결정된다.
도 7을 참조하여 예를 들면, 3차원 초음파 영상은 복수 개의 2차원 초음파 영상(P1 내지 Pn)에 기초하여 생성될 수 있다. 이때, 제1 단면(P1)의 제1 지점(P11)의 밝기는 제1 지점(P11)에서 반사되어 돌아오는 에코 초음파(E)의 세기에 따라 결정된다.
그러므로, 제1 지점(P11)과 비교적 먼 거리에 있는 제3 단면(P3)에 대응되는 위치한 조직은 제1 지점(P11)에서 반사되어 돌아오는 에코 초음파에 거의 영향을 미치지 않는다.
그러나, 제1 지점(P11)에서 반사되어 돌아오는 에코 초음파(E)의 진행 방향과 인접한 제2 지점 내지 제5 지점(P12 내지 P15)에 위치한 조직은 제1 지점에서 반사되어 돌아오는 에코 초음파(E)에 영향을 미칠 수 있다.
예를 들어, 제3 지점(P13)에 대응되는 위치의 조직이 수신된 초음파를 대부분 반사하는 경우 에코 초음파의 크기가 작아질 수 있으며, 제1 지점(P11)에서 반사되어 돌아오는 에코 초음파(E)는 제2 지점(P13)의 위치한 조직에 의하여 감쇄될 수도 있다.
또한, 제4 지점(P14) 또는 제5 지점(P14)에 위치한 조직에서 반사되는 에코 초음파에 의하여 제1 지점(P11)에서 반사되어 돌아오는 에코 초음파(E)가 감쇄되거나 보강될 수 있다.
신경망(320)의 학습에는 상술한 것과 같은 초음파의 특성이 고려될 수 있다. 즉, 의료 영상 중 초음파 영상의 각 영역과 관련성이 있는 영역만을 입력으로 하여 신경망(320)을 학습시킬 수 있다. 이하, 훈련 데이터의 영역 선택에 대하여 구체적으로 설명한다.
도 8는 의료 영상과 초음파 영상의 영역 선택에 일 실시예에 대하여 설명하기 위한 도면이다.
도 8을 참조하면, 학습장치(230)는 의료 영상(T11)에서 제1 영역을 선택하고, 초음파 영상(T21)에서 제2 영역을 선택한다. 이때, 제1 영역과 제2 영역은 서로 대응되는 영역으로, 제1 영역을 신경망(320)의 입력으로 생성되는 가상 초음파 영상과 제2 영역을 비교하여 신경망(320)을 학습시킬 수 있다.
의료 영상(T11)에서 선택된 제1 영역과 초음파 영상(T21)에서 선택된 제2 영역은 상관 관계를 가진다. 즉, 초음파 영상(T21)에서 선택된 제2 영역으로 송신되는 송신 초음파의 경로 또는 제2 영역에서 반사되어 돌아오는 에코 초음파의 경로 기초하여 제1 영역이 선택될 수 있다.
제1 영역 및 제2 영역은 적어도 하나의 픽셀로 포함할 수 있다. 또한, 제1 영역 크기가 제2 영역의 크기보다 더 클 수 있으며, 제1 영역이 제2 영역보다 더 많은 픽셀로 구성될 수 있다.
제1 영역의 크기 및 제2 영역의 크기는 일정할 수 있다. 구체적으로, 제1 영역의 길이는 초음파의 최대 도달거리에 기초하여 결정될 수 있다. 초음파 프로브에서 대상체(ob)로 송신되는 초음파는 대상체(ob)를 진행하면서 점차 감소하는 바, 초음파의 최대 도달거리보다 멀리 있는 조직에 대한 초음파 영상(T21)은 획득되지 않는다.
그러므로, 의료 영상(T11)에서 초음파 영상(T21)에서 획득되지 않는 영역에 대한 정보는 신경망(320)의 학습에 불필요한 바, 제1 영역의 최대 길이는 초음파의 최대 도달거리보다 짧을 수 있다.
그리고, 제1 영역의 폭은 초음파 영상(T21)의 해상도에 따라 결정될 수 있다. 예를 들어, 초음파 영상(T21)의 해상도가 높을수록 제1 영역의 폭이 좁아질 수 있다.
예를 들어, 의료 장치(210)는 초음파 영상(T21)의 a영역이 제2 영역으로 선택되면, 의료 영상(T11)에서 제2 영역과 초음파 프로브 사이의 직선 경로에 대응되는 A영역을 제1 영역으로 선택할 수 있다.
또한, 의료 장치(210)는 초음파 영상(T21)의 b영역이 제2 영역으로 선택되면, 의료 영상(T11)에서 b영역과 초음파 프로브 사이에 대응되는 B영역을 제1 영역으로 선택할 수 있다. 이때, 제B 영역 중 초음파 영역이 획득되지 않는 영역에 대한 영상 정보는 미리 설정된 기준 값(예를 들어, 0)으로 설정될 수 있다.
또한, 의료 장치(210)는 초음파 영상(T21)의 c영역이 제2 영역으로 선택되면, 의료 영상(T11)에서 c영역과 초음파 프로브 사이에 대응되는 C영역을 제1 영역으로 선택할 수 있다. 이때, 제C 영역 중 초음파 영역이 획득되지 않는 영역에 대한 영상 정보는 미리 설정된 기준 값(예를 들어, 0)으로 설정될 수 있다.
도 8에서는 제1 영역과 제2 영역이 2차원인 것으로 설명하였으나, 제1 영역과 제2 영역은 3차원으로 설정될 수 있다. 도 9는 의료 영상과 초음파 영상의 영역 선택에 다른 실시예에 대하여 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 학습장치(230)는 3차원 의료 영상(T12)에서 3차원의 제1 영역을 선택하고, 3차원 초음파 영상(T22)에서 3차원 제2 영역을 선택하고, 제1 영역을 신경망(320)의 입력으로 제2 영역을 신경망(320)의 출력으로 신경망(320)을 학습시킬 수 있다.
의료 영상(T12)에서 선택된 제1 영역과 초음파 영상(T22)에서 선택된 제2 영역은 상관 관계를 가진다. 즉, 초음파 영상(T22)에서 선택된 제2 영역으로 송신되는 송신 초음파 또는 제2 영역에서 반사되어 돌아오는 에코 초음파에 기초하여 제1 영역이 선택될 수 있다.
이때, 제1 영역 및 제2 영역은 적어도 하나의 복셀을 포함할 수 있다. 또한, 제1 영역 크기가 제2 영역의 크기보다 더 클 수 있으며, 제1 영역이 제2 영역보다 더 많은 복셀로 구성될 수 있다.
제1 영역의 크기 및 제2 영역의 크기는 일정할 수 있다. 구체적으로, 제1 영역의 높이(z)는 초음파의 최대 도달거리에 기초하여 결정될 수 있다. 초음파 프로브에서 대상체(ob)로 송신되는 초음파는 대상체(ob)를 진행하면서 점차 감소하는 바, 초음파의 최대 도달거리보다 멀리 있는 조직에 대한 초음파 영상(T22)은 획득되지 않는다.
그러므로, 의료 영상(T12)에서 초음파 영상(T22)에서 획득되지 않는 영역에 대한 정보는 신경망(320)의 학습에 불필요한 바, 제1 영역의 최대 높이(z)는 초음파의 최대 도달거리보다 짧을 수 있다.
그리고, 제1 영역의 폭(x)과 너비(y)는 초음파 영상(T22)의 해상도에 따라 결정될 수 있다. 예를 들어, 초음파 영상(T22)의 해상도가 높을수록 제1 영역의 폭이 좁아질 수 있다.
즉, 의료 장치(210)는 초음파 영상(T22)의 d영역이 제2 영역으로 선택되면, 의료 영상(T12)에서 제2 영역과 초음파 프로브 사이의 직선 경로에 대응되는 D영역을 제1 영역으로 선택할 수 있다.
도 10은 신경망(320)을 적용한 가상 초음파 영상 생성에 대하여 설명하기 위한 도면이다. 도 11은 의료 영상에 설정되는 가상 프로브를 설명하기 위한 도면이다. 도 12은 의료 영상에 재설정되는 가상 프로브를 설명하기 위한 도면이다.
도 10을 참조하면, 영상 변환부(310)는 상술한 바와 같이 학습된 신경망(320)을 의료 영상에 적용하여 의료 영상을 가상 초음파 영상으로 변환한다. 영상 변환부(310)는 가상 초음파 영상 생성에 기준이 되는 가상 프로브를 의료 영상에 설정한다.
도 11 및 도 12에 도시된 바와 같이, 가상 프로브 위치에 따라 가상 초음파 생성에 이용되는 의료 영상의 부분이 달라지는 바, 가상 초음파 영상 생성에 앞서 가상 프로브를 설정하여 한다. 구체적으로, 제1 가상 프로브 위치(P1)를 기준으로 생성되는 가상 초음파 영상과 제2 가상 프로브 위치(P2) 또는 제3 가상 프로브 위치(P3)를 기준으로 생성되는 가상 초음파 영상은 서로 상이할 수 있다.
이때, 가상 프로브의 위치는 가상 프로브가 위치하는 좌표 및 가상 프로브의 방향을 포함할 수 있다.
가상 프로브의 위치는 정합부(330)에 의하여 결정될 수 있다,
영상 변환부(310)는 정합부(330)에 의하여 의료 영상에 설정된 가상 프로브 위치를 기준으로 가상 초음파 영상을 생성한다. 이때, 정합부(330)에 의하여 설정되는 최초 가상 프로브위치는 사용자의 의하여 지정될 수도 있으나, 소정의 프로토콜에 따라 미리 설정된 위치일 수 있다. 또한, 최초 가상 프로브의 위치는 이전의 영상 정합에서 가상 프로브의 위치에 기초하여 결정될 수도 있다. 또한, 최초 가상 프로브의 위치는 실제 초음파 프로브(110)의 위치에 기초하여 결정될 수도 있다.
영상 변환부(310)는 의료 영상에 설정된 가상 프로브에 기초하여 의료 영상에서 제1 영역을 선택하고, 선택된 제1 영역을 미리 학습된 신경망(320)에 입력하여 가상 초음파 영상의 제2 영역의 영상을 획득하는 과정을 반복하여 가상 초음파 영상을 생성할 수 있다.
이때, 가상 초음파 영상의 제2 영역 위치는 선택된 제1 영역 위치에 따라 결정된다. 즉, 제1 영역의 위치와 제2 영역의 위치 신경망(320)의 훈련과 동일한 대응관계를 가진다.
예를 들어, 도 8에 도시된 바와 같이, 선택된 제1 영역의 위치가 A이면 제2 영역의 위치는 a가 된다. 또한, 선택된 제1 영역의 위치가 B이면 제2 영역의 위치는 b가 되고, 선택된 제1 영역의 위치가 C이면 제2 영역의 위치는 c가 된다. 또한, 도 9에 도시된 바와 같이 선택된 제1 영역의 위치가 D이면 제2 영역의 위치는 d가 된다. 이와 같이 선택된 제1 영역이 학습된 신경망(320)에 입력되면 제2 영역의 가상 초음파 영상이 획득된다.
또한, 가상 초음파 영상 생성에서의 선택되는 제1 영역의 크기와 제2 영역의 크기는 신경망(320) 훈련에서 선택되는 제1 영역의 크기와 제2 영역의 크기와 동일할 수 있다.
정합부(330)는 의료 영상에 의하여 설정된 가상 프로브에 기초하여 의료 영상과 초음파 영상을 정합한다. 초음파 영상은 초음파 프로브(110)의 위치에 따라 달라지는 바, 정합을 위해서는 미리 획득된 의료 영상에 실제 초음파 프로브(110)에 대응되는 가상 프로브를 설정하고, 가상 프로브의 위치를 기준으로 의료 영상과 초음파 영상을 정합할 수 있다.
정합부(330)는 영상 변환부(310)에 의하여 생성되는 가상 초음파 영상과 대상체(ob)를 촬영하여 획득한 초음파 영상에 기초하여 가상 프로브의 위치를 결정할 수 있다. 즉, 정합부(330)는 대상체(ob)를 촬영하여 획득되는 초음파 영상과 영상 변환부(310)에 의하여 생성된 가상 초음파 영상의 오차에 기초하여 대상체(ob)를 촬영하여 획득되는 초음파 영상과 가상 초음파 영상이 정합되도록 의료 영상에 설정되는 가상 프로브의 위치에 재설정할 수 있다.
구체적으로, 정합부(330)는 의료 영상에 가상 프로브를 설정한다. 그리고, 정합부(330)는 대상체(ob)를 촬영하여 획득되는 초음파 영상과 영상 변환부(310)에서 설정된 가상 프로브의 위치를 기준으로 생성된 가상 초음파 영상의 오차를 산출한다.
산출된 오차가 미리 설정된 기준 이하이면 가상 프로브의 위치가 실제 초음파 프로브(110) 위치에 대응되는 것으로 판단할 수 있다. 그러므로, 의료 영상에 설정된 가상 프로브의 위치에 기초하여 대상체(ob)를 촬영하여 획득되는 초음파 영상과 다른 의료 장치(210)에서 획득한 의료 영상을 정합할 수 있다.
초음파 영상과 다른 의료 장치(210)에서 획득한 의료 영상이 정합되면, 정합부(330)는 초음파 프로브의 움직임에 따라 가상 프로브의 위치를 재설정하여 다른 의료 장치(210)에서 획득한 의료 영상을 갱신하여 연속적으로 정합 영상을 제공할 수 있다.
도 12에 도시된 바와 같이, 초음파 프로브(110)의 위치가 P2에서 P3로 이동하면, 정합부(330)는 초음파 프로브(110)의 이동에 대응하여 가상 프로브의 위치를 P2에서 P3로 이동시켜 연속적으로 정합 영상을 제공할 수 있다. 한편, 산출된 오차가 미리 설정된 기준 이상이면, 정합부(330)는 의료 영상에 설정되는 가상 프로브의 위치를 재설정한다. 이때, 가상 프로브의 재설정 위치는 산출된 오차에 따라 결정될 수 있다. 예를 들어, 오차의 크기에 따라 재설정 위치의 이동 오프셋을 설정할 수 있다. 가상 프로브의 재설정 위치는 사용자에 의하여 선택될 수도 있다.
도 13은 초음파 영상 장치(1)의 영상 정합부(300)의 다른 실시예를 설명하기 위한 제어 블록도이다.
다른 실시예에 따른 영상 정합부(300)는 학습부(340)를 더 포함할 수 있다. 상술한 바와 같이, 신경망(320)은 서로 정합된 의료 영상과 초음파 영상을 이용하여 학습된다. 학습부(340)는 정합부(330)에 의하여 정합된 의료 영상과 초음파 영상을 이용하여 신경망(320)을 다시 학습시킬 수 있다.
이와 같이 정합부(330)에 의하여 정합된 의료 영상과 초음파 영상을 이용하여 신경망(320)을 다시 학습시키므로, 신경망(320)을 더욱 정교하게 학습시킬 수 있다.
도 14는 일 실시예에 따른 초음파 영상 장치(1)의 제어 방법의 일 실시예를 설명하기 위한 순서도이다. 도 14를 참조하면, 초음파 영상 장치(1)는 의료 영상을 획득한다(S601). 이때, 의료 영상은 다른 의료 장치(210)에서 획득된 것으로, 대상체(ob)의 초음파 영상을 획득하기 이전에 획득된 것이다. 예를 들어, 의료 영상은 대상체를 촬영하여 획득한 CT 영상 또는 MRI 영상일 수 있다.
초음파 영상 장치(1)는 미리 설정된 가상 프로브 위치를 기준으로 의료 영상에 신경망(320)을 적용하여 가상 초음파 영상을 생성한다(S605). 이때, 가상 프로브의 위치는 미리 설정된 초음파 촬영 프로토콜에 따라 결정되거나, 사용자에 의하여 설정될 수 있다. 또한, 미리 설정된 가상 프로브 위치는 이전의 영상 정합에서의 초음파 프로브 위치에 기초하여 결정된 것일 수도 있다. 또한, 미리 설정된 가상 프로브의 위치는 실제 초음파 프로브(110)의 위치에 기초하여 결정될 수도 있다.
이때, 의료 영상은 미리 설정된 가상 프로브의 위치에 기초하여 가상 초음파 영상으로 변환된다. 구체적으로, 초음파 영상 장치(1)는 미리 설정된 가상 프로브의 위치를 기준으로 의료 영상에 제1 영역을 선택하고, 선택된 제1 영역을 신경망(320)에 입력하여 가상 초음파 영상의 제2 영역으로 변환하는 과정을 반복 수행하여 의료 영상을 가상 초음파 영상으로 변환할 수 있다.\
초음파 영상 장치(1)는 대상체(ob)를 촬영하여 실제 초음파 영상을 획득한다(S607). 대상체(ob)에서 반사되어 돌아오는 에코 초음파에 기초하여 실제 초음파 영상이 생성될 수 있다.
초음파 영상 장치(1)는 가상 초음파 영상과 실제 초음파 영상에 기초하여 가상 프로브의 위치를 결정한다(S609). 상술한 바와 같이 실제 초음파 영상은 초음파 프로브(110)의 위치(좌표 및 방향)에 따라 달라지는 바, 의료 영상과 초음파 영상을 정합시키기 위해서는 초음파 프로브(100)에 대응되는 가상 프로브를 의료 영상에 설정할 필요가 있다.
초음파 영상 장치(1)는 가상 초음파 영상과 실제 초음파 영상에 기초하여 이와 같은 가상 프로브의 위치를 결정할 수 있다(S609). 가상 프로브의 위치 결정에 대해서는 도 15에서 상세히 설명한다.
초음파 영상 장치(1)는 가상 프로브 위치에 기초하여 실제 초음파 영상과 의료 영상을 정합한다(S611). 예를 들어, 가상 프로브 위치에 기초하여 결정된 변환 함수를 의료 영상에 적용하여 의료 영상의 좌표계를 초음파 영상의 좌표계와 일치시킬 수 있다.
한편, 상술한 바와 같이 초음파 프로브(110)의 위치 이동에 따라 실제 초음파 영상이 달라지는 바, 초음파 영상 장치(1)는 초음파 프로브(110)의 위치 이동에 따라 의료 영상에 적용되는 가상 프로브의 위치를 갱신하여 실제 초음파 영상과 정합된 의료 영상을 계속 제공할 수 있다.
도 15는 도 14의 S609 단계를 구체적으로 설명하기 위한 순서도이다.
도 15를 참조하면, 초음파 영상 장치(1)는 실제 초음파 영상과 S605 단계의 미리 설정된 가상 프로브 위치를 기준으로 의료 영상에 신경망을 적용하여 생성된 가상 초음파 영상을 비교한다(S701). 이때, 실제 초음파 영상과 가상 초음파 영상의 비교 방법에는 그 제한이 없다. 아울러, 실제 초음파 영상에서 관심 영역과 가상 초음파 영상을 비교할 수도 있다. 초음파 영상 장치(1)는 두 영상의 오차가 임계치 이상인지 판단한다(S703). 이때, 임계치는 사용자에 의하여 지정되거나, 미리 설정된 것일 수 있다.
두 영상의 오차가 임계치보다 큰 것으로 판단되면(S703의 예), 초음파 영상 장치(1)는 가상 프로브 위치를 조절한다(S705). 이때, 가상 프로브 위치 조절은 산출된 오차에 따라 결정될 수 있다. 예를 들어, 오차의 크기에 따라 가상 프로브 위치의 이동 오프셋을 결정할 수 있다. 아울러, 재설정되는 가상 프로브 위치는 사용자에 의하여 결정될 수 있다. 사용자에 의하여 가상 프로브의 위치가 재설정되는 경우, 초음파 영상 장치(1)는 실제 초음파 영상과 가상 초음파 영상을 동시에 표시하여 사용자의 가상 프로브 위치의 조절을 용이하게 할 수 있다.
초음파 영상 장치(1)는 조절된 가상 프로브 위치를 기준으로 신경망을 적용하여 의료 영상을 가상 초음파 영상으로 변환한다(S709). 이때, 가상 초음파 영상은 도 15의 S605단계와 동일한 방법으로 생성될 수 있다.
초음파 영상 장치(1)는 실제 초음파 영상과 조절된 가상 프로브 위치를 기준으로 신경망을 적용하여 생성된 가상 초음파 영상을 비교한다(S701). 즉, 초음파 영상 장치(1)는 두 영상의 오차가 임계치 이하가 될 때까지 S701 단계에서 S709단계를 반복적으로 수행하여 가상 프로브 위치를 결정한다.
도 16은 다른 실시예에 따른 초음파 영상 장치의 제어 방법의 일 실시예를 설명하기 위한 순서도이다.
도 16를 참조하면, 초음파 영상 장치(1)는 의료 영상을 획득한다(S801). 초음파 영상 장치(1)는 미리 설정된 가상 프로브 위치를 기준으로 의료 영상에 신경망(320)을 적용하여 가상 초음파 영상을 생성한다(S805).
초음파 영상 장치(1)는 대상체(ob)를 촬영하여 실제 초음파 영상을 획득한다(S607). 대상체(ob)에서 반사되어 돌아오는 에코 초음파에 기초하여 실제 초음파 영상이 생성될 수 있다.
초음파 영상 장치(1)는 가상 초음파 영상과 실제 초음파 영상에 기초하여 가상 프로브의 위치를 결정한다(S809).
그리고, 초음파 영상 장치(1)는 가상 초음파 영상과 실제 초음파 영상에 기초하여 이와 같은 가상 프로브의 위치를 결정할 수 있다(S809).
초음파 영상 장치(1)는 가상 프로브 위치에 기초하여 실제 초음파 영상과 의료 영상을 정합한다(S811). .
초음파 영상 장치(1)는 정합된 실제 초음파 영상과 의료 영상을 훈련 데이터를 획득한다(S911). 상술한 바와 같이 신경망(320)의 훈련 데이터는 서로 정합된 의료 영상 및 초음파 영상이다. 그러므로, 초음파 영상 장치(1)에서 서로 정합된 의료 영상과 초음파 영상을 훈련 데이터로 획득할 수 있다.
초음파 영상 장치(1)는 획득된 훈련 데이터에 기초하여 신경망(320)을 업데이트 한다. 예를 들어, 초음파 영상 장치(1)는 미리 설정된 주기마다 훈련 데이터에 기초하여 신경망(320)을 업데이트하거나, 훈련 데이터가 미리 설정된 크기만큼 획득된 경우 신경망(320)을 업데이트할 수 있다. 이와 같은 업데이트를 통하여 신경망(320)은 추가적으로 학습되어 더 정교한 가상 초음파 영상을 제공할 수 있다. 아울러, 업데이트를 통하여 사용자에 맞게 개인화될 수도 있다.
본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 초음파 영상 장치 10: 본체
50: 조작 패널 60: 디스플레이부
110: 초음파 프로브 120: 빔포밍부
130: 영상 생성부 140: 통신부
150: 저장부 160: 메인 제어부
300: 영상 정합부 310: 영상 변환부
320: 신경망 330: 정합부
340: 학습부

Claims (19)

  1. 대상체를 촬영하여 초음파 영상을 획득하는 영상 생성부;
    서로 정합된 영상에 기초하여 가상 초음파 영상 생성이 학습된 신경망;
    상기 신경망을 이용하여 상기 대상체를 촬영하여 미리 획득한 의료 영상을 가상 초음파 영상으로 변환하는 영상 변환부; 및
    초음파 영상과 상기 가상 초음파 영상에 기초하여 상기 의료 영상에 적용할 가상 프로브 위치를 결정하고, 상기 가상 프로브 위치에 기초하여 상기 초음파 영상과 상기 의료 영상을 정합하는 정합부;
    를 포함하는 초음파 영상 장치.
  2. 제1항에 있어서,
    상기 정합부는, 상기 초음파 영상과 상기 가상 초음파 영상의 오차에 기초하여 상기 가상 프로브 위치를 결정하는 초음파 영상 장치.
  3. 제1항에 있어서,
    상기 영상 변환부는 상기 가상 프로브 위치를 기준으로 상기 가상 초음파 영상을 생성하는 초음파 영상 장치.
  4. 제3항에 있어서,
    상기 영상 변환부는, 상기 가상 프로브의 위치에 기초하여 상기 의료 영상에서 제1 영역을 선택하고, 상기 선택된 제1 영역을 상기 신경망에 입력하여 상기 가상 초음파 영상의 제2 영역의 영상을 획득하는 초음파 영상 장치.
  5. 상기 제4항에 있어서,
    상기 제1 영역의 길이는 상기 대상체 내부에서 초음파가 도달하는 거리에 기초하여 결정되는 초음파 영상 장치.
  6. 상기 제4항에 있어서,
    상기 제1 영역의 폭은 상기 초음파 영상의 해상도에 기초하여 결정되는 초음파 영상 장치.
  7. 제1항에 있어서,
    상기 정합부에서 정합된 초음파 영상과 의료 영상을 이용하여, 상기 신경망을 학습시키는 학습부;를 더포함하는 초음파 영상 장치.
  8. 제1항에 있어서,
    상기 의료 영상은 자기 공명 영상 촬영(Magnetic Resonance Imaging, MRI) 영상, 컴퓨터 단층 촬영(Computed Tomography, CT) 영상, 양전자 단층 촬영(Positron Emission Tomography, PET) 영상, 및 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 영상 중 하나인 것인 초음파 영상 장치.
  9. 제7항에 있어서,
    상기 학습부은정합된 의료 영상을 입력되면 상기 의료 영상과 정합된 초음파 영상이 출력되도록 상기 신경망을 학습시키는 초음파 영상 장치.
  10. 제1항에 있어서,
    상기 신경망은 다층 퍼셉트론(multilayer perceptron) 구조인 초음파 영상 장치.
  11. 대상체를 촬영하여 초음파 영상을 획득하는 단계;
    서로 정합된 영상에 기초하여 가상 초음파 영상 생성이 학습된 신경망을 이용하여 상기 대상체를 촬영하여 미리 획득한 의료 영상을 가상 초음파 영상으로 변환하는 변환 단계; 및
    상기 초음파 영상과 상기 가상 초음파 영상에 기초하여 상기 의료 영상에 적용할 가상 프로브의 위치를 결정하고, 상기 가상 프로브 위치에 기초하여 상기 초음파 영상과 의료 영상을 정합하는 정합 단계;
    를 포함하는 초음파 영상 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 변환 단계는 상기 의료 영상에 설정된 상기 가상 프로브 위치에 기초하여 상기 가상 초음파 영상으로 변환하는 단계;를 포함하는 초음파 영상 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 정합 단계는 상기 초음파 영상과 상기 가상 초음파 영상의 오차에 기초하여 상기 가상 프로브 위치를 재설정하는 단계;를 포함하는 초음파 영상 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 정합 단계는 상기 의료 영상에 상기 신경망을 적용하여 상기 재설정된 가상 프로브의 위치에 기준으로 가상 초음파 영상을 생성하는 단계를 더 포함하는 초음파 영상 장치의 제어 방법.
  15. 제11항에 있어서,
    상기 정합 단계는 상기 가상 프로브의 위치를 기준으로 상기 의료 영상과 상기 초음파 영상을 정합하는 단계;를 더 포함하는 초음파 영상 장치의 제어 방법.
  16. 제11항에 있어서,
    상기 변환 단계는, 상기 가상 프로브 위치에 기초하여 상기 의료 영상에서 제1 영역을 선택하는 단계; 및
    상기 선택된 제1 영역을 상기 신경망에 입력하여 상기 가상 초음파 영상의 제2 영역의 영상을 획득하는 단계;를 포함하는 초음파 영상 장치의 제어 방법.
  17. 상기 제16항에 있어서,
    상기 제1 영역의 길이는 상기 대상체 내부에서 초음파가 도달하는 거리에 기초하여 결정되는 것이고, 상기 제2 영역의 폭은 상기 실제 초음파 영상의 해상도에 기초하여 획득되는 것인 초음파 영상 장치의 제어 방법.
  18. 제11항에 있어서,
    정합 단계에서 서로 정합된 의료 영상과 초음파 영상을 이용하여 신경망을 학습시키는 학습 단계;를 더 포함하는 초음파 영상 장치의 제어 방법.
  19. 제11항에 있어서,
    상기 의료 영상은 자기 공명 영상 촬영(Magnetic Resonance Imaging, MRI) 영상, 컴퓨터 단층 촬영(Computed Tomography, CT) 영상, 양전자 단층 촬영(Positron Emission Tomography, PET) 영상, 및 단일 광자 컴퓨터 단층 촬영(single photon emission computed tomography, SPECT) 영상 중 하나인 것인 초음파 영상 장치의 제어 방법.
KR1020140144463A 2014-10-23 2014-10-23 초음파 영상 장치 및 그 제어 방법 KR102328269B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140144463A KR102328269B1 (ko) 2014-10-23 2014-10-23 초음파 영상 장치 및 그 제어 방법
US14/818,536 US10736609B2 (en) 2014-10-23 2015-08-05 Ultrasound imaging apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140144463A KR102328269B1 (ko) 2014-10-23 2014-10-23 초음파 영상 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160047921A true KR20160047921A (ko) 2016-05-03
KR102328269B1 KR102328269B1 (ko) 2021-11-19

Family

ID=55791021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140144463A KR102328269B1 (ko) 2014-10-23 2014-10-23 초음파 영상 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US10736609B2 (ko)
KR (1) KR102328269B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098780A1 (ko) * 2017-11-17 2019-05-23 안영샘 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체
KR20190056880A (ko) * 2017-11-17 2019-05-27 안영샘 진단 영상을 변환하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102084598B1 (ko) * 2019-08-16 2020-03-05 주식회사 딥노이드 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템
KR20200138231A (ko) 2018-03-30 2020-12-09 쇼와덴코머티리얼즈가부시끼가이샤 열경화성 수지 조성물, 프리프레그, 수지 부착 금속박, 적층체, 프린트 배선판 및 반도체 패키지
WO2020263002A1 (ko) * 2019-06-27 2020-12-30 에이아이메딕 주식회사 혈관 세그멘테이션 방법
CN114098807A (zh) * 2021-11-26 2022-03-01 中国人民解放军海军军医大学 一种胸腹部超声扫查辅助装置、方法、介质及电子设备
US11723628B2 (en) * 2020-03-26 2023-08-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, non-transitory computer readable storage medium, and ultrasonic diagnosis apparatus

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017230722B2 (en) 2016-03-09 2022-08-11 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
TWI765895B (zh) 2016-06-20 2022-06-01 美商蝴蝶網路公司 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法
RU2698997C1 (ru) 2016-09-06 2019-09-02 Электа, Инк. Нейронная сеть для генерации синтетических медицинских изображений
EP3420913B1 (en) * 2017-06-26 2020-11-18 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
CA3075334C (en) 2017-09-07 2021-08-31 Piur Imaging Gmbh Apparatus and method for determining motion of an ultrasound probe
KR102053527B1 (ko) * 2017-10-15 2019-12-06 알레시오 주식회사 이미지 처리 방법
DE102017126158A1 (de) * 2017-11-08 2019-05-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ultraschall-Bilderzeugungssystem
EP3766007A1 (en) * 2018-03-12 2021-01-20 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
US20190282208A1 (en) * 2018-03-14 2019-09-19 Butterfly Network, Inc. Methods and apparatuses for generating and displaying ultrasound images using an explaining model
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
JP7126864B2 (ja) * 2018-05-25 2022-08-29 キヤノンメディカルシステムズ株式会社 医用信号処理装置及び学習プログラム
WO2020010351A1 (en) * 2018-07-06 2020-01-09 Mayo Foundation For Medical Education And Research Systems and methods for generating and estimating unknown and unacquired ultrasound data
GB201910756D0 (en) * 2019-07-26 2019-09-11 Ucl Business Plc Ultrasound registration
CN111657997A (zh) * 2020-06-23 2020-09-15 无锡祥生医疗科技股份有限公司 超声辅助引导方法、装置及存储介质
WO2022120762A1 (zh) * 2020-12-10 2022-06-16 中国科学院深圳先进技术研究院 多模态医学图像生成方法和装置
CN112633342B (zh) * 2020-12-16 2022-08-16 武汉大学 一种基于深度学习的人体超声检测实时引导策略
CN113947662B (zh) * 2021-10-09 2024-05-24 山东大学 基于医学断层影像的超声仿真方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100055657A1 (en) * 2008-08-27 2010-03-04 Warren Goble Radiographic and ultrasound simulators
JP2012075747A (ja) * 2010-10-04 2012-04-19 Toshiba Corp 画像処理装置及びプログラム
JP2012155723A (ja) * 2011-01-25 2012-08-16 Samsung Electronics Co Ltd 三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置
JP2013192673A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 医用画像診断装置、画像処理装置及びプログラム
US20140051986A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and Methods for Registration of Multiple Vision Systems
KR20140105101A (ko) * 2013-02-21 2014-09-01 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
US20140254900A1 (en) * 2013-03-07 2014-09-11 Volcano Corporation Multimodal segmentation in intravascular images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8343053B2 (en) * 2009-07-21 2013-01-01 Siemens Medical Solutions Usa, Inc. Detection of structure in ultrasound M-mode imaging

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100055657A1 (en) * 2008-08-27 2010-03-04 Warren Goble Radiographic and ultrasound simulators
JP2012075747A (ja) * 2010-10-04 2012-04-19 Toshiba Corp 画像処理装置及びプログラム
JP2012155723A (ja) * 2011-01-25 2012-08-16 Samsung Electronics Co Ltd 三次元医療映像から最適の二次元医療映像を自動的に生成する方法及び装置
JP2013192673A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 医用画像診断装置、画像処理装置及びプログラム
US20140051986A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and Methods for Registration of Multiple Vision Systems
KR20140105101A (ko) * 2013-02-21 2014-09-01 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
JP2014161734A (ja) * 2013-02-21 2014-09-08 Samsung Electronics Co Ltd 医療画像を整合する方法及びその装置
US20140254900A1 (en) * 2013-03-07 2014-09-11 Volcano Corporation Multimodal segmentation in intravascular images

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098780A1 (ko) * 2017-11-17 2019-05-23 안영샘 진단 영상 변환 장치, 진단 영상 변환모듈 생성 장치, 진단 영상 촬영 장치, 진단 영상 변환 방법, 진단 영상 변환모듈 생성 방법, 진단 영상 촬영 방법, 및 컴퓨터 판독 가능한 기록매체
KR20190056880A (ko) * 2017-11-17 2019-05-27 안영샘 진단 영상을 변환하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200138231A (ko) 2018-03-30 2020-12-09 쇼와덴코머티리얼즈가부시끼가이샤 열경화성 수지 조성물, 프리프레그, 수지 부착 금속박, 적층체, 프린트 배선판 및 반도체 패키지
WO2020263002A1 (ko) * 2019-06-27 2020-12-30 에이아이메딕 주식회사 혈관 세그멘테이션 방법
KR102084598B1 (ko) * 2019-08-16 2020-03-05 주식회사 딥노이드 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템
US11723628B2 (en) * 2020-03-26 2023-08-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, non-transitory computer readable storage medium, and ultrasonic diagnosis apparatus
CN114098807A (zh) * 2021-11-26 2022-03-01 中国人民解放军海军军医大学 一种胸腹部超声扫查辅助装置、方法、介质及电子设备

Also Published As

Publication number Publication date
US20160113630A1 (en) 2016-04-28
KR102328269B1 (ko) 2021-11-19
US10736609B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
KR102328269B1 (ko) 초음파 영상 장치 및 그 제어 방법
US10691977B2 (en) Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
US10527592B2 (en) Ultrasonic probe, ultrasonic imaging apparatus including the same, and method for controlling the ultrasonic imaging apparatus
JP7442599B2 (ja) インテリジェント超音波システム
CN104706378A (zh) 超声诊断设备及其控制方法
US20150057546A1 (en) Method of generating body marker and ultrasound diagnosis apparatus using the same
CN110868939A (zh) 超声系统和方法
US20190083067A1 (en) Methods and systems for correction of one dimensional shear wave data
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
US20160089117A1 (en) Ultrasound imaging apparatus and method using synthetic aperture focusing
KR102336172B1 (ko) 초음파 영상 장치 및 그 제어방법
US11717268B2 (en) Ultrasound imaging system and method for compounding 3D images via stitching based on point distances
KR20160148441A (ko) 초음파 장치 및 그 동작 방법
KR20160085016A (ko) 초음파 진단 장치 및 그 제어 방법
JP6871010B2 (ja) 超音波診断装置及び超音波画像生成方法
KR20160147386A (ko) 초음파 장치 및 그 제어방법
US20230200778A1 (en) Medical imaging method
US11419578B2 (en) Ultrasonic imaging apparatus and method of controlling the same
US20230148995A1 (en) Method and system for adjusting scan pattern for ultrasound imaging
US11076830B2 (en) Ultrasound imaging apparatus and method of controlling the same
WO2023239913A1 (en) Point of care ultrasound interface
KR102270721B1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
KR20160027898A (ko) 초음파 영상 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant