KR20220151652A - 시각화 및 측정을 위한 자동 초음파 분할용 장치 및 방법 - Google Patents

시각화 및 측정을 위한 자동 초음파 분할용 장치 및 방법 Download PDF

Info

Publication number
KR20220151652A
KR20220151652A KR1020227034426A KR20227034426A KR20220151652A KR 20220151652 A KR20220151652 A KR 20220151652A KR 1020227034426 A KR1020227034426 A KR 1020227034426A KR 20227034426 A KR20227034426 A KR 20227034426A KR 20220151652 A KR20220151652 A KR 20220151652A
Authority
KR
South Korea
Prior art keywords
ultrasound
image
time
information
human subject
Prior art date
Application number
KR1020227034426A
Other languages
English (en)
Inventor
크리스토퍼 슐렝거
타마 운지
Original Assignee
버듀어 이메징, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버듀어 이메징, 아이엔씨. filed Critical 버듀어 이메징, 아이엔씨.
Publication of KR20220151652A publication Critical patent/KR20220151652A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

초음파 스캔을 수행하기 위한 시스템 및 방법이 제공된다. 초음파 시스템의 일 실시예는 인간 피험자의 일련의 초음파 스캔으로부터 초음파진단기(sonogram) 정보를 획득한다. 일련의 초음파 스캔은 기본 뼈 구조 또는 검사 중인 기타 초음파 식별 기관이 있는 인간 피험자에 대한 관심 부분에 대해 수행된다. 일련의 스캔 데이터는 3차원(3D) 이미지 및/또는 검사된 인간 피험자의 기본 뼈 구조 또는 기관의 3D 모델에 해당하는 단일 데이터 파일로 합성된다.

Description

시각화 및 측정을 위한 자동 초음파 분할용 장치 및 방법
관련 출원에 대한 상호 참조
본 출원은 2020년 3월 9일에 출원된 동시 계류중인 미국 출원 번호 16813469에 대한 우선권을 주장하며, 이는 모든 목적을 위해 여기에 참조로 포함된다.
배경기술
인체 시각화 기술, 특히 인체 척추의 시각화 분야에서 X-ray 이미지 및 컴퓨터 단층촬영(computed tomography; CT) 스캔은 인체 부위, 특히 척추와 같은 인체 뼈 구조물의 이미지 데이터를 획득하는데 상당히 효과적이었다. 자기 공명 영상(Magnetic resonance imaging; MRI)은 인체 부위의 이미지 데이터를 얻는 또 다른 도구이다.
그러나, X-ray 기계, MRI 기계 및 CT 스캔 기계는 획득하고 작동하는데 매우 고가이다. X-ray 이미지는 제한된 2차원 평면에 그래픽 정보를 표시한다. MRI는 만족스럽지 못할 정도로 느리고 뼈 구조의 저해상도 이미지를 제공한다.
또한, X-ray 영상화 및 CT 스캐닝은 특히 인간 피험자가 장기간에 걸쳐 반복적인 테스트를 받아야 하는 경우에 인간 피험자에게 해로울 수 있는 이온화 방사선(X-ray)을 사용한다. 예를 들어, 진행성 척추측만증(척추의 만곡)으로 고통받는 인간 피험자는 때때로 척추 측만증의 정도 및/또는 변화를 확인하기 위해 검사를 받아야 한다. 주기적인 검사 동안 방사선에 반복적으로 노출되면 그러한 인간 피험자에게 해로울 수 있다.
인간 피험자 정보를 획득하는 데 사용할 수 있는 잠재적으로 덜 해로운 다른 장치가 있다. 예를 들어, 초음파 장치는 음파를 인간 피험자에게 투사하고 되돌아오는 음파 에코를 감지하여 초음파진단기(sonogram)라고 하는 이미지를 생성한다. 초음파 시스템에 사용되는 초음파 장치는 약 20 kHz인 인간의 가청 범위보다 높은 주파수에서 음파를 생성한다. 2 내지 18 Mhz 사이의 음파는 종종 초음파 의료 진단 애플리케이션에 사용된다. 현재까지 초음파로 인체를 조사하는 것으로 알려진 장기적인 부작용은 없다.
그러나, 초음파 스캔은 각각의 스캔에서 인체의 상대적으로 작은 부분만을 커버할 수 있다. 또한, 초음파진단기는 상대적으로 좁은 이미지로 불과 몇 인치에 불과한 상대적으로 작은 단면을 포함한다. 그리고 초음파진단기에서 식별된 물체는 종종 흐릿할 수 있다. 예를 들어, 사람의 전체 척추를 분석하기 위해 충분한 양의 이미지 데이터를 얻으려면 500~1000개의 초음파진단기를 캡처해야 한다. 따라서, 기존의 초음파 스캐너는 인체의 척추와 같이 인체의 넓은 영역을 검사해야 하는 경우 인체에 대한 영상 정보를 획득하기에는 부적합하고, 초음파 영상이 너무 작고 많은 수의 초음파 영상을 쉽게 분석하여 검사된 인간 피험자의 상태에 대한 의미 있는 정보를 얻을 수 없기 때문이다.
따라서, 초음파 장치를 이용하여 인간 피험자로부터 이미지 데이터를 보다 효과적으로 획득할 수 있는 기술이 요구되고 있다.
초음파 시스템의 실시예는 초음파 스캔을 수행하기 위한 시스템 및 방법을 제공한다. 초음파 시스템의 일 실시예는 인간 피험자의 일련의 초음파 스캔으로부터 초음파진단기(sonogram) 정보를 획득한다. 일련의 초음파 스캔은 기본 뼈 구조 또는 검사 중인 기타 초음파 식별 기관이 있는 인간 피험자에 대한 관심 부분에 대해 수행된다. 일련의 스캔 데이터는 3차원(3D) 이미지 및/또는 검사된 인간 피험자의 기본 뼈 구조 또는 기관의 3D 모델에 해당하는 단일 데이터 파일로 합성된다.
도면의 구성요소는 반드시 서로에 대해 축척될 필요는 없다. 동일한 참조 번호는 여러 도면에 걸쳐 대응하는 부분을 지정한다.
도 1은 척추 상태를 검사하고 치료하기 위한 초음파 시스템의 개략도이다.
도 2는 일 실시예의 초음파 시스템를 사용하여 검사된 인간 피험자의 척추의 그래픽 이미지이다.
도 3은 이미지 처리 알고리즘 모듈의 AI 알고리즘이 특정 척추 뼈를 분석하고 척추 뼈의 이미지 위에 오버레이된 그래픽 아티팩트를 추가한 다음 테스트 인간 피험자의 척추의 그래픽 이미지이다.
도 4는 인간 피험자의 척추 및 골반 뼈를 나타내는 개념도이다.
도 5는 인간 피험자의 척추 및 골반뼈 이미지를 나타내는 초음파진단기 그래픽 정보로부터 생성된 3차원 또는 2차원 이미지의 개념도이다.
도 6은 초음파 시스템으로 구현된 이미지 처리 시스템의 일부로서 사용하기에 적합한 프로그래밍 가능한 컴퓨팅 장치의 블록도이다.
도 7은 초음파 시스템의 예시적인 실시예에 의해 사용되는 프로세스를 도시하는 흐름도이다.
초음파 시스템(100)의 실시예는 인간 피험자의 일련의 초음파 스캔으로부터 초음파진단기 정보를 획득하기 위한 시스템 및 방법을 제공한다. 일련의 초음파 스캔은 기본 뼈 구조 또는 검사 중인 기타 초음파 식별 기관이 있는 인간 피험자에 대한 관심 부분에 대해 수행된다. 일련의 스캔 데이터는 3차원(3D) 이미지 및/또는 검사된 인간 피험자의 기본 뼈 구조 또는 기관의 3D 모델에 해당하는 단일 데이터 파일로 합성된다.
개시된 초음파 시스템(100)은 도면과 함께 다음의 상세한 설명을 검토함으로써 더 잘 이해될 것이다. 상세한 설명 및 도면은 본 명세서에 기재된 다양한 발명의 단지 예를 제공한다. 당업자는 개시된 예가 본 명세서에 기재된 발명의 범위를 벗어나지 않고 변경(varied), 수정(modified) 및 대체(altered)될 수 있음을 이해할 것이다. 다양한 애플리케이션 및 설계 고려 사항에 대해 많은 변형이 고려되지만, 간결함을 위해, 각각의 모든 고려된 변형은 다음의 상세한 설명에서 개별적으로 설명되지 않는다.
이하의 상세한 설명을 통하여, 다양한 초음파 시스템(100)의 실시예가 제공된다. 실시예에서 관련된 특징은 다른 예에서 동일하거나 유사하거나 유사하지 않을 수 있다. 간결함을 위해 관련 기능은 각 실시예에서 중복 설명되지 않는다. 대신에, 관련 기능 이름을 사용하면 관련 기능 이름이 있는 기능이 이전에 설명된 실시예의 관련 기능과 유사할 수 있음을 독자에게 알릴 것이다. 주어진 실시예에 특정한 특징은 그 특정한 실시예에서 설명될 것이다. 독자는 주어진 기능이 주어진 그림이나 실시예에서 관련 기능의 특정 묘사와 동일하거나 유사할 필요가 없다는 것을 이해해야 한다.
달리 표시되지 않는 한 다음 정의가 여기에 적용된다.
"실질적으로(Substantially)"는 특정 차원, 범위, 모양, 개념 또는 용어에 의해 수정된 기타 측면에 다소 일치하는 것을 의미하므로 특징이나 구성 요소가 정확히 일치할 필요는 없다. 예를 들어, "실질적으로 원통형" 개체는 개체가 실린더와 유사하지만 실제 실린더에서 하나 이상의 편차가 있을 수 있음을 의미한다.
"포함하는(Comprising)", "포함하는(including)" 및 "갖는(having)" (및 이들의 활용)은 포함하지만 반드시 이에 국한되지 않는 의미로 상호 교환 가능하게 사용되고, 명시적으로 언급되지 않은 추가, 요소 또는 방법 단계를 배제하려는 의도가 없는 용어이다.
"첫 번째", "두 번째", "세 번째"와 같은 용어는 그룹 등의 다양한 구성원을 구별하거나 식별하는 데 사용되며 연속적, 시간적 또는 숫자적 제한을 나타내려는 의도가 아니다.
"결합된(Coupled)"은 직접 또는 간접적으로 개입하는 구성요소를 통해 영구적으로 또는 해제 가능하게 연결된 것을 의미한다.
도 1은 인간 피험자(102)의 뼈 구조 또는 기타 내부 기관에 대한 3D 이미지 정보 및 3D 모델 데이터를 획득하기 위한 초음파 시스템(100)의 개략도이다. 인간 피험자(102)의 척추에 대한 3D 이미지 정보 및 3D 모델 데이터 획득함으로써 척추 상태를 검사하고 치료하는 맥락에서 다양한 예가 여기에 설명되어 있다. 대안적으로, 또는 추가적으로, 2차원(2D) 이미지 정보 및/또는 2D 모델 데이터는 초음파 시스템(100)의 실시예에 의해 생성될 수 있다.
비제한적인 예시적인 애플리케이션에서, 도 1의 초음파 시스템(100)은 의사가 초음파 변환기 프로브(104)를 사용하여 실시간으로 환자 척추의 초음파 이미지(초음파진단기)를 획득할 수 있도록 구성된다. 초음파 프로세서 시스템(106)은 일련의 초음파 스캔으로부터 초음파진단기 이미지 정보를 수신한 다음, 잠재적으로 유해한 이온화 방사선에 환자를 노출시키지 않고 척추 인간 피험자(102)의 3D 이미지 정보 및/또는 3D 모델 데이터를 생성한다. 또한, 도 1의 초음파 시스템(100)은 의사가 실시간 또는 실질적으로 실시간 기반으로 고해상도로 환자의 척추의 외부 피질의 이미지를 획득할 수 있게 한다. 당업자는 초음파 프로세서 시스템(106)이 인간 피험자(102)의 다른 부분에 대한 3D 이미지 및/또는 3D 모델 데이터를 생성하는 데 사용될 수 있음을 인식한다. 일부 실시예에서, 시스템은 도 1에 도시된 3D 시각화 모듈 및 3D/2D 입체 디스플레이(108)와 같이 3차원으로 이미지를 입체적으로 디스플레이하도록 선택적으로 구성된다.
초음파 프로세서 시스템(106)의 예시적인 실시예는 초음파 인터페이스(110), 초음파 이미지 데이터 프로세서(112), 적어도 하나의 이미지 캡처 장치(114), 광학 추적기 유닛(116), 이미지 등록 모듈(118), 이미지 처리 알고리즘 모듈(120), 3D/2D 시각화 모듈(122), 및 데이터베이스(124)를 포함한다. 일부 실시예는 선택적인 시계(126)를 포함한다. 초음파 인터페이스(110)는 유선 기반 또는 무선 연결(128)을 통해 초음파 변환기 프로브(104)를 초음파 프로세서 시스템(106)에 통신적으로 연결한다.
대안적인 실시예에서, 이미지 등록 모듈(118), 이미지 처리 알고리즘 모듈(120), 및/또는 3D 시각화 모듈은 함께 통합될 수 있고/있거나 다른 로직과 통합될 수 있다. 다른 실시예에서, 이들 메모리 및 다른 데이터 조작 기능의 일부 또는 전부는 인터넷을 통해 또는 그렇지 않으면 클라이언트 장치(미도시)에 적절하게 연결된 원격 서버 또는 다른 전자 장치를 사용함으로써 제공될 수 있다. 데이터베이스(124)는 임의의 적절한 로컬 및/또는 원격 메모리 장치 또는 시스템을 사용하여 구현될 수 있다. 실시예에 따라, 데이터베이스(124)는 전용 메모리 시스템일 수 있고, 다른 구성요소 또는 시스템의 일부일 수 있고, 및/또는 분산된 로컬 및/또는 원격 메모리 시스템일 수 있다. 데이터베이스(124)는 또한 여기에 예시되거나 설명되지 않은 다른 로직, 모듈 및/또는 데이터베이스를 포함할 수 있다. 다른 초음파 촬영 시스템(100)은 전술한 구성요소 중 일부를 포함하거나 일부를 생략할 수 있다. 또한, 여기에 설명되지 않은 추가 구성요소가 대안적인 실시예에 포함될 수 있다.
도 1에 개념적으로 도시된 바와 같이, 초음파 시스템(100)은 3D 공간에서 초음파 변환기 프로브(104)의 위치에 대한 환자의 스캔된 부분의 위치를 정확하게 검출하기 위해 광학 추적 기술을 사용한다. 이미지 캡처 장치(114)는 사람 피험자(102) 및 초음파 변환기 프로브(104) 주변의 공간에서 이미지 정보를 획득한다. 이미지 정보(본 명세서에서 카메라 이미지로 교환 가능하게 지칭됨)는 주기적 직렬 방식으로, 바람직하게는 초당 수십 또는 수백 개의 이미지 프레임의 속도로 획득된다. 이미지 캡처 장치(114)는 스틸 이미지를 주기적으로 캡처하거나 비디오 이미지(이 기술 분야에서 스틸 이미지의 시계열 시리즈로 알려져 있음)를 캡처하는 임의의 적절한 장치일 수 있다. 캡처된 이미지 데이터는 이미지 캡처 장치(114)로부터 광학 추적기 유닛(116)으로 전달된다.
획득한 각 카메라 이미지에는 카메라 이미지 캡처 시간 또는 카메라 이미지 획득 시간을 지정하는 관련 타임스탬프가 있다. 카메라의 이미지 캡처 시간은 실시간으로 표현될 수도 있고, 기준 시간을 이용하여 표현될 수도 있다. 타임 스탬프 정보는 이미지 캡처 장치(들)(114)에 상주하는 내부 시계에 의해 제공될 수 있다. 대안적으로, 시계(126)는 이미지 캡처 장치(114)에서 광학 추적기 유닛(116)으로 전달되는 획득된 카메라 이미지에 타임 스탬프 정보를 추가할 수 있다.
일 실시예에서, 복수의 이미지 캡처 장치(114)는 동기화된 방식으로 카메라 이미지를 캡처하는 데 사용될 수 있다. 즉, 다중 이미지 캡처 장치(114)는 동일한 타임 스탬프로 동시에 캡처된 카메라 이미지를 제공한다.
광학 추적기 유닛(116)은 각각의 획득된 이미지에 대해 인간 피험자(102)의 신체 표면에 배치된 하나 이상의 광학 타겟(130)을 식별한다. 또한, 광학 추적기 유닛(116)은 각각의 획득된 이미지에서, 초음파 변환기 프로브(104)의 표면에 배치된 하나 이상의 광학 타겟(132)을 식별한다.
광학 타겟(130, 132)은 광학 추적기 유닛(116)에 의해 식별 가능한 기존의, 특별히 개발된 또는 나중에 개발된 광학 타겟일 수 있다. 일부 예에서, 광학 타겟(130, 132)은 3개의 좌표축에 대해 3차원으로 연장되고, 각 축을 나타내는 별개의 광학 타겟 부분을 포함한다. 다른 예에서, 광학 타겟(130, 132)은 6개의 축에 대해 3차원으로 연장되고, 6개의 축 각각을 나타내는 별개의 광학 타겟을 포함한다. 광학 타겟(130, 132)은 적외선 신호를 광학 타겟에 방사하는 것과 같이 능동일 수 있거나 일부 상호 작용 장치에 부착된 역반사 마커를 포함하는 것과 같이 수동적일 수 있다.
광학 추적기 유닛(116)은 인덱싱된 시간 동안 3D 공간에서 광학 타겟(130)에 대한 초음파 변환기 프로브(104)의 위치를 계산하거나 결정한다. 위치 결정은 획득된 카메라 이미지에서 광학 타겟(130, 132)의 식별된 상대 위치에 기초한다. 당업자는 광학 타겟(130, 132) 사이의 상대 위치가 이미지에서 식별된 위치에 기초할 수 있음을 인식한다. 또한, 광학 타겟(130, 132)의 방향은 광학 타겟(130, 132)의 이미지의 분석으로부터 결정될 수 있다. 따라서, 광학 타겟(130)에 대한 초음파 변환기 프로브(104)의 위치 및 방향이 결정될 수 있다.
그 다음, 광학 추적기 유닛(116)은 인간 피험자(102)의 신체 상의 대응하는 위치를 결정한다. 인간 피험자(102) 상의 이러한 결정된 위치는 본 명세서에서 시간 인덱싱된 위치 정보로 상호교환가능하게 지칭된다. 시간 인덱싱된 위치 정보는 초음파 변환기 프로브(104)가 인간 피험자(102) 상에 있었던 위치 및 시간을 식별한다. 현재 알려지거나 나중에 개발되는 임의의 적절한 위치 추적 시스템은 시간 인덱싱된 위치 정보를 결정하기 위해 초음파 시스템(100)의 다양한 실시예에 의해 사용될 수 있다.
도 1의 초음파 시스템(100)은 단순히 체스트 보드 또는 기타 고정 참조 물체와 같은 피험자(102)와 같은 인간 피험자(102) 근처의 고정된 물체의 위치를 검출하는 것과는 대조적으로 인간 피험자(102) 상에 위치된 광학 타겟(130)에 의해 인간 피험자(102)의 위치를 직접 검출하도록 구성된다는 점에 주목할 가치가 있다. 따라서, 검사 중에 인간 피험자(102)가 이동하거나 위치를 조정하는 경우, 나중에 획득된 카메라 이미지로부터 결정된 시간 인덱싱된 위치 정보는 이전에 획득된 카메라 이미지로부터 결정된 시간 인덱싱된 위치 정보와 상관될 수 있다.
추가적으로, 또는 대안적으로, 도 1의 예에 포함된 광학 추적 기술에 대해, 초음파 시스템(100)은 인간 피험자(102), 초음파 변환기 프로브(104) 또는 둘 다의 위치를 검출하기 위한 자기(magnetic) 위치 시스템 또는 자세 방위 기준 시스템을 포함할 수 있다. 예를 들어, 초음파 변환기 프로브(104)의 위치 및/또는 방향은 가속도계 등과 같은 다양한 MEMS(Micro Electro-Mechanical Devices)에 의해 결정될 수 있다.
추가적으로 또는 대안적으로, 초음파 시스템(100)은 3차원에서 인간 피험자(102)와 같은 조명된 물체를 스캔하도록 구성된 적외선 스캐닝 시스템을 포함할 수 있다. 적외선 스캐닝 시스템은 적외선 프로젝터, 조명된 물체와 상호작용하는 적외선을 감지하기 위한 카메라 또는 CMOS 이미지 센서, 및 스캐닝된 물체를 공간적으로 처리하기 위한 컴퓨터 실행 가능 명령을 포함하는 마이크로칩을 포함할 수 있다. 적합한 적외선 스캐닝 시스템은 Kinect™ 게임 시스템에 포함된 Light Coding™ 시스템을 포함한다. 적외선 스캐닝 시스템은 위에서 설명한 광학 추적기 장치 및 광학 타겟을 보완하거나 일부 애플리케이션에서 이를 대체할 수 있다.
실제로, 초음파 기술자, 의사 또는 다른 개인과 같은 오퍼레이터(미도시)는 인간 피험자(102)에 음파를 방출하는 방식으로 초음파 변환기 프로브(104)를 조작한다.
본 명세서에서 초음파진단기 정보 또는 초음파진단기 데이터로 상호교환 가능하게 지칭되는 에코 리턴 데이터를 획득하는 맥락 내에서, 오퍼레이터는 인간 피험자(102)의 선택된 위치에 대해 제1 초음파 스캔(136)을 수행함으로써 스캐닝 프로세스를 시작한다. 초음파 시스템(100)의 실시예의 사용을 개념적으로 예시하기 위해, 인간 피험자(102)의 척추 검사가 설명된다. 초음파진단기 스캐닝은 인간 피험자(102)의 머리 근처와 같은 인간 피험자(102)의 제1 위치에서 시작하며, 그것은 인간 피험자(102)의 척추의 중심선 측면에 있는 위치이다. 그 다음 초음파 변환기 프로브(104)를 인간 피험자(102)의 척추를 가로질러 실질적으로 직선으로 이동시킨다.
제1 초음파진단기 스캔(136) 동안, 예시적인 실시예에서, 연속적으로 획득된 복수의 초음파진단기 이미지에 대응하는 초음파진단기 정보는 초음파 변환기 프로브(104)로부터 초음파 인터페이스(110)로 전달된다. 초음파 변환기 프로브(104)에 의해 초음파진단기 이미지를 획득한 시간에 대응하는 타임 스탬프를 개별 초음파진단기 이미지에 추가하여 시간 인덱싱된 초음파진단기 이미지 정보 부분을 생성한다. 대안적으로, 시계(126)는 획득된 초음파진단기 이미지에 시간 정보를 추가하여 시간 인덱싱된 초음파진단기 정보 부분을 생성할 수 있다.
대안적으로, 초음파 변환기 프로브(104)는 각각의 스캔 동안 초음파 변환기 프로브(104)에 의해 검출된 리턴 에코에 대응하는 초음파진단기 정보(에코 리턴 데이터)의 연속 스트림을 제공할 수 있다. 검출된 에코에 대응하는 데이터 스트림이 제공될 때, 타임 스탬프는 스트리밍 에코 리턴 데이터의 특정 부분에 주기적으로 추가되고/되거나 관련된다. 따라서 스캔 시작 중에 획득한 에코 리턴 데이터에는 데이터 획득 시간에 해당하는 첫 번째 타임 스탬프가 연결되고, 초음파 변환기 프로브(104)에 의해 획득한 에코 리턴 데이터의 나중 부분은 시간을 반영하기 위해 이후 타임 스탬프와 연결된다.
관련 타임 스탬프는 초음파진단기 이미지의 획득 및/또는 초음파진단기 에코 데이터 스트림의 일부 획득 시간을 지정한다. 시간 인덱싱된 초음파진단기 이미지 및/또는 시간 인덱싱된 초음파진단기 에코 데이터 부분은 본 명세서에서 시간 인덱싱된 초음파진단기 이미지 정보 부분으로 상호교환가능하게 지칭된다.
시간 인덱싱된 초음파진단기 정보와 관련된 타임 스탬프는 실시간으로 표현되거나 기준 시간을 이용하여 표현될 수 있다. 타임 스탬프 정보는 초음파 변환기 프로브(104)에 상주하는 내부 시계에 의해 제공될 수 있다. 대안적으로, 클록(126)은 시간 인덱싱된 초음파진단기 정보가 초음파 인터페이스(110)로부터 초음파 이미지 데이터 프로세서(112)로 통신됨에 따라 획득된 초음파진단기 정보에 타임 스탬프 정보를 추가할 수 있다. 초음파진단기 이미지 타임 스탬프는 이미지 캡처 장치(114)에 의해 동시에 캡처된 시간 인덱싱된 카메라 이미지와 관련된 대응하는 타임 스탬프와 동일한 시간 기준을 갖는다.
당업계에 공지된 바와 같이, 초음파 이미지 데이터 프로세서(112)는 제1 초음파진단기 스캔(136) 동안 획득되어 수신된 초음파진단기 정보를 제1 초음파진단기 이미지를 렌더링하는데 사용될 수 있는 시간 인덱싱된 초음파진단기 이미지 정보 부분으로 처리한다. 시간 인덱싱된 초음파진단기 이미지 정보 부분은 초음파 이미지 데이터 프로세서(112)로부터 영상 등록 모듈(118)로 전달된다.
제1 초음파진단기 이미지의 복수의 부분들 각각의 타임 스탬프는 이미지 등록 모듈(118)에 의해 대응하는 시간 인덱싱된 카메라 이미지와 상관된다. 시간 인덱싱된 초음파진단기 이미지 정보 부분들 중 하나의 시간 스탬프 각각에 대해, 동일하거나 실질적으로 동일한 시간 스탬프를 갖는 대응하는 카메라 이미지는 그 특정 시간 인덱싱된 초음파진단기 이미지 정보 부분과 상관된다. 따라서, 제1 초음파진단기 스캔(136)의 각 부분 동안 인간 피험자(102) 상의 타겟(130)에 대한 초음파 변환기 프로브(104)의 위치 및 방향이 결정된다. 즉, 초음파 변환기 프로브(104)의 위치 및 방향, 따라서 인간 피험자(102)의 신체 상의 각 시간 인덱싱된 초음파진단기 이미지 정보 부분의 위치는 이미지 등록 모듈(118)에 의해 결정된다. 인간 피험자(102)의 신체 상의 위치는 동일한 타임 스탬프 정보를 갖는 해당 시간 인덱싱된 카메라 이미지로부터 결정된 위치 정보에 기초한다. 따라서, 각각의 연관된 위치 인덱싱된 초음파진단기 이미지 정보 부분에 대한 위치 정보는 인간 피험자(102)의 신체 상의 제1 초음파진단기 이미지 부분의 위치를 식별한다.
당업자가 인식하는 바와 같이, 제1 초음파진단기 스캔(136)으로부터 생성된 제1 초음파진단기 이미지는 일반적으로 1인치 이상의 폭을 포함하는 비교적 좁은 범위(폭)를 갖는다. 따라서, 제1 초음파진단기 스캔(136)이 완료된 후, 오퍼레이터는 후속 초음파진단기 스캔을 위해 미리 정의된 증분 거리(여기서 "초음파진단기 스캔 이동 거리"로 지칭됨)만큼 초음파 변환기 프로브(104)의 위치를 아래쪽으로 이동시킨다. 바람직하게는, 초음파진단기 스캔 이동 거리는 제1 초음파진단기 스캔(136) 동안 획득된 초음파진단기 이미지의 초음파진단기 이미지 폭보다 크지 않다. 그 다음 조작자는 인간 피험자(102)에 걸쳐 제2 초음파진단기 스캔(138)을 수행한다.
제2 초음파진단기 스캔(138)은 제1 초음파진단기 스캔(136)과 평행하거나 실질적으로 평행하게 실행된다. 당업자는 제2 초음파진단기 스캔(138) 동안 획득된 초음파진단기 이미지 정보와 제1 초음파진단기 스캔(136) 동안 획득된 제1 초음파진단기 이미지 정보 사이에 어느 정도 중첩이 발생할 수 있음을 이해할 것이다. 어떤 상황에서는 초음파진단기 이지미 정보의 이러한 중첩이 바람직하다. 3D/2D 이미지 및/또는 3D/2D 모델 데이터를 후속으로 구성하는 동안, 초음파진단기 이미지 정보의 겹치는 부분에서 결정된 정보는 단순히 중복되며 폐기, 삭제 또는 사용되지 않을 수 있으므로 3D/2D 이미지 및/또는 3D/2D 모델 데이터 생성에 부정적인 영향을 미치지 않는다. 일부 실시예에서, 복제 정보는 강화된 초음파진단기 이미지 정보를 생성하기 위해 결합된다.
그 다음, 이미지 등록 모듈(118)은 초음파 이미지 데이터 프로세서(112) 및 광학 추적기 유닛(116)으로부터 수신된 정보에 기초하여 복수의 위치 인덱싱된 초음파진단기 이미지 정보 부분을 생성한다. 각각의 처리된 초음파진단기 스캔에 대해, 위치 인덱싱된 초음파진단기 이미지 정보 부분은 초음파진단기 스캔의 특정 부분에 대한 초음파진단기 이미지 정보, 각 시간 인덱스가 연관된 초음파진단기 이미지 부분에 대한 특정 획득 시간을 식별하는 선택적 시간 인덱싱 정보, 및 인간 피험자(102)의 신체 상의 이미지 부분의 위치를 식별하는 각각의 연관된 초음파진단기 이미지 부분에 대한 위치 정보를 포함한다.
유사하게, 제2 초음파진단기 스캔(138)에 인접한 제3 초음파진단기 스캔(142)이 획득될 수 있다. 연속적인 일련의 초음파진단기 스캔(140)을 수행하는 프로세스는 계속되며, 각각의 연속적인 초음파진단기 스캔은 미리 정의된 초음파진단기 스캔 이동 거리만큼 이전의 초음파진단기 스캔에 의해 분리된다. 일련의 병렬 초음파진단기 스캔을 수행하는 프로세스는 검사되고 있는 인간 피험자(102)의 부분에 걸쳐 지속된다. 인간 대상체(102)의 척추를 검사하는 예시적인 예에서, 초음파진단기 스캐닝 프로세스는 인간 대상체(102)의 척추의 하단의 스캔에 대응하는 마지막 초음파진단기 스캔(144)으로 종료될 수 있다.
상기 스캐닝 프로세스는 인간 피험자(102)의 척추 방향에 수직으로 배향된 병렬 일련의 초음파진단기 스캔(136 내지 144)으로 설명되었다. 이러한 스캐닝 시퀀스는 초음파 변환기 프로브(104)의 조작자가 인간 피험자(102)의 검사 동안 수행한 초음파진단기 스캔을 직관적으로 추적할 수 있기 때문에 편리하다. 당업자는 인간 피험자(102)의 스캔 위치에 대한 초음파 변환기 프로브(104)의 방향 및 위치가 쉽게 결정될 수 있기 때문에, 인간 피험자(102)의 검사 동안 임의의 초음파진단기 스캐닝 프로세스가 사용될 수 있음을 이해한다. 예를 들어, 초음파진단기 스캔은 인간 피험자(102)의 검사 영역에 대한 대각선을 따라 정렬될 수 있다. 교차 초음파진단기 스캔을 검사에 사용할 수 있으며, 검사 중에 타원형 또는 원형 스캐닝 동작을 사용할 수도 있다. 이러한 다양한 초음파진단기 패턴은 검사 프로세스가 끝날 때까지 인간 피험자(102)의 검사 영역에 대한 완전한 3D 이미지 및/또는 3D 데이터의 생성을 초래할 것이다.
이미지 처리 알고리즘 모듈(120)은 이미지 등록 모듈(118)로부터 각각의 초음파진단기 스캔에 대해 생성된 복수의 위치 인덱싱된 초음파진단기 이미지 정보 부분을 수신한다. 각각의 초음파진단기 스캔에 대하여 수신된 위치 인덱싱된 초음파진단기 이미지 정보 부분은 적절한 메모리 매체(미도시) 또는 데이터베이스(124)에 저장된다. 예시적인 실시예에서, 각각의 후속적으로 수신된 위치 인덱싱된 초음파진단기 이미지 정보 부분은 스캐닝 프로세스 동안 저장된다.
마지막 초음파진단기 스캔(144)으로부터 생성된 마지막 위치 인덱싱된 초음파진단기 이미지 정보 부분이 수신되는 스캐닝 프로세스의 종료 시, 각각의 개별 초음파진단기 스캔에 대한 위치 인덱싱된 초음파진단기 이미지 정보는 처리를 위해 이미지 처리 알고리즘 모듈(120)에 의해 검색된다. 처리는 복수의 처리 단계를 포함한다.
이미지 처리 알고리즘 모듈(120)에 의해 수행되는 초기 처리 단계는 복수의 개별 위치 인덱싱된 초음파진단기 이미지 정보 부분을 합성 초음파진단기 이미지 정보로 집계하거나 결합하는 것이다. 초음파진단기 정보 및/또는 데이터가 개별 이미지 파일로 제공되는 경우, 처리를 위해 개별 이미지 프레임이 선택된다. 초음파진단기 정보가 연속적인 데이터 스트림으로 제공되는 경우, 스트리밍 에코 리턴 데이터는 적절한 샘플러 알고리즘을 사용하여 초음파진단기 이미지 부분으로 구문 분석된다. 예를 들어, 0.1초마다 스트리밍 에코 리턴 데이터에서 하나의 슬라이스 또는 프레임을 가져온 다음, 추가 처리를 위해 저장할 수 있다. 임의의 적절한 샘플링 시간을 사용할 수 있다. 연속 시간(continuous-time) 신호를 이산 시간(discrete time) 신호로 변환하는 현재 알려지거나 나중에 개발되는 임의의 적절한 샘플링 애플리케이션이 초음파 시스템(100)의 실시예에 의해 사용될 수 있다.
개별 위치 인덱싱된 초음파진단기 이미지 정보 부분 각각은 인간 피험자(102)의 신체 상의 기준 위치(기준 위치는 마커(130)의 위치로부터 결정됨)를 참조하므로, 위치 인덱싱된 초음파진단기 이미지 정보 부분의 각 부분은 사람 피험자(102)의 신체 상의 특정 위치에 따라 정렬될 수 있고, 그 다음 이전에 획득된 위치 인덱싱된 초음파진단기 이미지 정보 부분 및 후속적으로 획득된 위치 인덱싱된 초음파진단기 이미지 정보 부분의 인접한 부분과 결합(또는 함께 스티칭)될 수 있다. 예를 들어, 제2 초음파진단기 스캔(138)으로부터 생성된 제2 위치 인덱싱된 초음파진단기 이미지 정보 부분은 인접한 이전에 생성된 제1 위치 초음파진단기 이미지 정보 부분(제1 초음파진단기 스캔(136)으로부터 생성된)과 결합된다. 그리고, 제2 초음파진단기 스캔(138)에서 생성된 제2 위치 인덱싱된 초음파진단기 이미지 정보 부분은 이전에 생성된 인접한 제3 위치 초음파진단기 이미지 정보 부분(제3 초음파진단기 스캔(140)에서 생성됨)과 결합된다. 위치 인덱싱된 초음파진단기 이미지 정보 부분의 이러한 결합은 생성된 모든 위치 인덱싱된 초음파진단기 이미지 정보 부분이 단일 합성 초음파진단기 이미지 정보 파일 또는 데이터로 결합될 때까지 계속된다. 현재 알려져 있거나 나중에 개발되는 이미지 스티칭(image stitching)이라고 하는 위치 인덱싱된 초음파진단기 이미지 정보 부분을 함께 결합하는 임의의 적절한 방법론은 초음파 시스템(100)의 실시예에 의해 사용될 수 있다.
대안적인 실시예는 이미지 등록 모듈(118)로부터 수신될 때 각각의 수신된 위치 인덱싱된 초음파진단기 이미지 정보 부분을 합성 초음파진단기 이미지 정보로 결합함으로써 합성 초음파진단기 이미지 정보를 생성한다. 여기서 합성 초음파진단기 이미지 정보는 실시간 또는 거의 실시간으로 생성되고 있다. 본 명세서에 기술된 바와 같이, 합성 초음파진단기 이미지 정보의 그래픽 프리젠테이션은 일련의 개별 초음파진단기 스캔 각각이 수행될 때 조작자에게 제공될 수 있다. 합성 초음파진단기 이미지 정보의 표시된 그래픽 프리젠테이션의 "크기"는 연속적인 초음파진단기 스캔이 수행될 때마다 증가한다. 이러한 즉각적인 실시간 또는 거의 실시간 피드백은 검사되고 있는 인간 피험자(102)의 신체 부분의 완전한 적용 범위를 얻는 데 있어 조작자를 보조하는 데 특히 바람직할 수 있다. 즉, 스캔에서 신체의 일부가 누락되거나 이미지 정보가 불명확하거나 손상된 경우, 조작자는 관심있는 인간 피험자(102)의 신체 부분을 재스캔하여 후속적으로 획득된 합성 초음파진단기 이미지 정보 부분이 합성 초음파진단기 이미지 정보에 통합되도록 할 수 있다.
인간 피험자(102) 상의 마커(130)의 위치가 변경되지 않는 한, 마지막 초음파진단기 스캔(144)이 수행된 후에 조작자에 의해 추가적인 초음파진단기 스캔이 수행될 수 있다. 이후에 획득된 초음파진단기 이미지 정보는 이전에 획득된 초음파진단기 스캔 정보와 상관될 수 있다. 따라서, 누락된 부분이 나중에 식별되고/하거나 명확성 및/또는 개선된 해상도를 위해 신체의 특정 영역에 대한 추가 이미지 데이터가 필요한 경우, 조작자는 인간 피험자(102)의 신체의 특정 영역을 다시 스캔할 수 있다. 이후에 획득된 합성 초음파진단기 이미지 정보는 이전에 생성된 합성 초음파진단기 이미지 정보에 통합된다. 이어지는 초음파진단기 스캔은 시간과 위치가 모두 인덱싱되기 때문에 후속 스캔은 원본 초음파진단기 스캔과 병행할 필요가 없다. 후속 초음파진단기 스캔(들)은 관심 있는 모든 방향을 따라 수행될 수 있다.
합성 초음파진단기 이미지 정보가 생성되면 합성 초음파진단기 이미지 정보가 데이터베이스(124)에 저장될 수 있다. 데이터베이스(124)는 국부적으로 위치할 수 있거나 원격으로 위치될 수 있다. 일단 저장되면 합성 초음파진단기 이미지 정보는 처리를 위해 나중에 검색될 수 있다.
또한, 이미지 처리 알고리즘 모듈(120)은 합성 초음파진단기 이미지 정보를 3차원 영상 및/또는 2차원 이미지를 렌더링하는 데 사용할 수 있는 합성 초음파진단기 그래픽 정보로 처리한다. 합성 초음파진단기 그래픽 정보는 데이터베이스(124)에 선택적으로 저장될 수 있다.
대안적으로, 또는 추가적으로, 생성된 합성 초음파진단기 그래픽 정보는 3D/2D 시각화 모듈(122)에 전달될 수 있다. 3D/2D 시각화 모듈(122)은 수신된 합성 초음파진단기 그래픽 정보를 3D/2D 입체 디스플레이(108) 또는 다른 적절한 디스플레이 장치에 전달될 수 있는 이미지 정보로 처리(렌더링)하여 조작자 또는 다른 개인에게 제시한다. 현재 알려지거나 나중에 개발되는 임의의 적절한 이미지 렌더링 프로세스가 3D/2D 시각화 모듈(122)에 의해 사용되어 표시 가능한 합성 초음파진단기 이미지를 생성할 수 있다. 대안적으로, 또는 추가적으로, 합성 초음파진단기 그래픽 정보는 합성 초음파진단기 이미지를 렌더링하고 제시하도록 구성된 원격 디스플레이 시스템(146)에 전달될 수 있다.
당업자는 일단 3D 합성 초음파 초음파진단기 그래픽 정보가 합성 초음파진단기 이미지 정보로부터 생성되면, 임의의 적절한 3D 이미지 프리젠테이션 알고리즘이 검사된 인간 피험자(102)의 관심 신체 부위를 디스플레이하는데 사용될 수 있음을 인식한다. 여기서 인간 피험자(102)의 예시적인 척추인 그래픽 이미지는 조작자 또는 전문 의사와 같은 다른 개인이 볼 수 있도록 임의의 방식으로 회전 및/또는 배향될 수 있다. 현재 알려져 있거나 나중에 개발되는 임의의 적절한 3D 처리 알고리즘은 합성 초음파진단기 그래픽 정보에서 생성된 이미지를 표시하는데 사용할 수 있다.
다른 분석 알고리즘이 이미지 처리 알고리즘 모듈(120)에 통합될 수 있고/있거나 이미지 처리 알고리즘 모듈(120)과 함께 작동할 수 있다. 예를 들어, 인간 피험자(102)의 척추측만증(scoliosis) 정도를 평가하는 맥락에서, 척추 모델링 및 측정 알고리즘이 검사된 인간 피험자(102) 척추의 자동 측정 및 분석을 수행하는 데 사용될 수 있다.
바람직하게는, 필수는 아니지만, 초음파 시스템(100)이 인간 피험자(102)의 뼈 구조를 검사하기 위해 사용되는 경우, 이미지 처리 알고리즘 모듈(120)은 합성 초음파진단기 이미지 정보로부터(또는 복수의 위치 인덱싱된 초음파진단기 이미지 정보) 뼈가 아닌 유형의 초음파진단기 에코 정보를 필터링하는 필터링 알고리즘을 포함한다. 여기서, 검출된 음파 에코 정보의 배경 정보는 억제되어 인간 피험자(102)의 뼈 구조로부터의 에코만이 분석을 위해 유지된다.
대안적으로 또는 추가적으로, 다른 필터링 알고리즘이 검사된 인간 피험자(102)에서 관심 있는 다른 조직 또는 구조를 식별하고 분리하는 데 사용될 수 있다. 예를 들어, 인간 피험자(102)의 특정 연조직의 이미지가 관심 있는 경우, 합성 초음파 이미지진단기 이미지 정보가 필터링되어 관심 조직의 3D 및/또는 2D 그래픽 이미지를 생성하도록 필터링 알고리즘에 의해 주변 뼈에서 생성된 에코 정보가 억제될 수 있다.
초음파 변환기 프로브(104)의 사용은 초음파진단기 이미지가 너무 시끄럽기 때문에 특정 기관 및/또는 관심 있는 해부학의 높은 수준의 식별이 단순히 가능하지 않았기 때문에 만족스럽지 못했다. 3D 이미지 및/또는 3D 데이터를 구성하기 전에 특정 필터를 초음파진단기 정보에 적용하는 새로운 접근 방식은 이제 초음파 시스템(100)의 실시예가 특정 관심 기관을 식별할 수 있게 한다. 여기에서, 예시적인 애플리케이션은 원래 인간 피험자(102)의 척추의 검사자를 설명하였다. 적용된 필터는 관심 척추 뼈와 관련이 없는 초음파진단기 정보를 필터링하도록 구성된다.
바람직하게는, 필수는 아니지만, 인공 지능(AI) 알고리즘이 생성된 합성 초음파진단기 이미지 정보의 품질 및/또는 신뢰성을 향상시키기 위해 이미지 처리 알고리즘 모듈(120)에 의해 사용될 수 있다. 콘볼루션 신경망(Convolutional neural networks; CNN)은 초음파 시스템(100)의 실시예에 의한 이미지 처리에 사용될 수 있다. AI 알고리즘은 수신된 필터링된 초음파진단기 정보를 추가로 처리하여 검사 중인 관심 기관 또는 해부학의 개선된 하이라이트를 제공하는 방법을 학습한다. 예를 들어, AI 시스템은 관심 있는 특정 해부학적 랜드마크를 식별하는 방법을 학습할 수 있지만 이에 국한되지 않는다. 현재 알려져 있거나 나중에 개발되는 임의의 적절한 AI 시스템 및/또는 신경망은 초음파 시스템(100)의 다양한 실시예에 의해 사용될 수 있다.
예를 들어, 인간 피험자(102)의 척추 상의 특정 해부학적 랜드마크가 관심이 있다면, 그러한 랜드마크를 식별하는 정보는 이미지 처리 알고리즘 모듈(120), 특히 AI 알고리즘에 제공될 수 있다. 시간이 지남에 따라, 다른 인간 피험자(102)로부터 획득한 다른 합성 초음파진단기 이미지 정보 또는 나중에 원래 인간 피험자(102)로부터 획득한 초음파진단기 정보에서 AI 알고리즘에 의해 더 많은 수의 유사 랜드마크가 식별됨에 따라, AI 알고리즘은 관심 있는 해부학적 랜드마크를 식별하는 방법을 학습할 수 있다.
바람직한 실시예에서, AI 알고리즘은 관심 있는 특정 해부학적 구조에 속하는 측정 정보를 계산 및/또는 획득하도록 선택적으로 구성될 수 있다. 인간 피험자(102)의 척추 검사자의 경우, 예시적인 실시예는 특정 척추 뼈의 방향 및/또는 위치를 평가한다. 즉, 개별적인 척추 뼈(척추) 사이의 곡률, 회전 및/또는 기울기가 자동으로 결정될 수 있다. 척추 뼈의 각도 변위 및/또는 위치 변위의 측정이 결정될 수 있다. 초음파 시스템(100)의 실시예는 AI 알고리즘이 검사되고 있는 임의의 장기 및/또는 관심 해부학에 대한 임의의 관심 해부학적 측정치를 결정하도록 학습할 수 있다.
또한, 합성 초음파진단기 이미지 정보의 그래픽 표시가 3D 또는 2D 디스플레이(108) 상에서 이루어지는 경우, AI 알고리즘은 제시된 그래픽 이미지를 보고 있는 조작자 또는 다른 관심 있는 사람에게 표시 정보를 강조 표시 및/또는 표시하기 위해 하나 이상의 그래픽 아티팩트를 표시하는 주석(annotated) 이미지를 생성하도록 그래픽 이미지를 수정할 수 있다. 인간 피험자(102)의 척추 검사와 관련하여, 생성된 그래픽 아티팩트는 척추 뼈의 각도 변위 및/또는 위치 변위의 결정된 측정값의 시각적 표시를 제공하는데 사용할 수 있다.
도 2는 초음파 시스템(100)의 실시예를 사용하여 검사된 테스트 인간 피험자(102)의 척추의 그래픽 이미지(200)이다. 이미지(200)는 검사된 인간 피험자(102)의 척추 부분의 그래픽 이미지를 나타낸다. 표시된 영역(202)은 이미지 부분(202)의 매우 밝은 영역이 검사된 인간 피험자(102)의 척추의 특정 뼈에 대한 초음파촬영(sonographic) 이미지를 보여주고 있음을 조작자 또는 다른 이해 당사자에게 알린다. 표시된 영역(204)은 유사하게 이미지 부분(204)의 매우 밝은 영역이 검사된 인간 피험자(102)의 척추에 있는 다른 뼈의 초음파촬영 이미지를 나타내고 있음을 나타낸다. 표시된 영역(206)도 매우 가벼운 영역이지만, 더 밝은 영역(208)으로 인해 영역(206)은 뼈의 특징이 아니다. 영역(206)은 영역(202 및 206)에 해당하는 뼈를 연결하는 인대 또는 근육 표면일 가능성이 높다. 210과 같은 표시된 영역은 유사하게 이미지 부분의 더 어두운 음영 영역이 뼈 표면 아래 영역에 대응하는 초음파촬영 이미지를 보여주고 있음을 나타낸다. 뼈 표면은 대부분의 초음파를 반사하여 검사된 인간 피험자(102)의 척추 아래 더 어두운 영역을 유발한다.
도 3은 이미지 처리 알고리즘 모듈(120)의 AI 알고리즘이 특정 척추 뼈를 분석하고 테스트 인간 피험자(102)의 척추 이미지 위에 오버레이된 하나 이상의 그래픽 아티팩트를 추가한 다음, 테스트 인간 피험자(102)의 척추 그래픽 이미지(300)이다. 그래픽 아티팩트는 관련 척추의 상태 또는 컨디션에 관한 정보를 작업자 또는 기타 이해 당사자에게 제공한다. 예를 들어, 인간 피험자(102)의 척추의 단일 제공된 이미지는 모든 방향 및 평면에서 척추 만곡을 확인하기 위해 측정될 수 있다. 추가적으로, 또는 대안적으로, 3D 이미지 및/또는 3D 데이터의 선택된 평면은 관심 평면을 따라 2D 이미지 및/또는 2D 데이터를 생성하기 위해 사용될 수 있다.
영역(306, 308, 310)(도 2의 영역 206, 208 및 210에 각각 대응함)에 대한 그래픽 아티팩트의 부재는 검사된 인간 피험자(102)의 이러한 영역이 특별한 관심 정보가 없고/없거나 검사 대상이 아닌 다른 조직과 연관되었음을 나타낸다. 따라서, 이러한 영역(306, 208 또는 310)에 대해 그래픽 아티팩트가 생성되지 않았다.
도 4는 척추(402)와 골반 뼈(404)를 나타내는 인간 피험자(102)의 개념도(400)이다. 도 5는 인간 대상체(102)의 척추(402) 및 골반 뼈(404)의 이미지를 나타내는 합성 초음파진단기 그래픽 정보로부터 생성된 3D 또는 2D 이미지의 개념도(500)이다. 이미지(500)는 제1 그래픽 아티팩트(502)(도 3의 그래픽 아티팩트(302)에 대응함) 및 제2 그래픽 아티팩트(504)(도 3의 그래픽 아티팩트(304)에 대응함)를 예시한다. 거기에서, 이미지 처리 알고리즘 모듈(120)의 AI 알고리즘은 시청 조작자 또는 다른 이해 당사자에게 유용한 진단 정보를 제시했다.
일부 실시예에서, 검사된 인간 피험자(102)의 상태의 평가를 돕기 위해 관심 있는 특정 해부학적 특징을 강조하기 위해 그래픽 아티팩트가 생성될 수 있다. 예를 들어, 각 척추 뼈(범프)의 바깥쪽으로 돌출된 부분을 강조하는 복수의 그래픽 아티팩트(506)가 생성된 다음 생성된 척추 이미지 위에 오버레이될 수 있다. 다양한 색상, 음영 및/또는 조명 강도가 제시된 그래픽 아티팩트(506)에 사용되어 검사자가 인간 피험자(102)의 척추 상태를 평가하는 데 도움을 줄 수 있다. 이 단순화된 개념적 예에서 그래픽 아티팩트(506)는 4개의 척추 뼈에 대해서만 생성 및 표시되었다. 그러나, 그래픽 아티팩트(506)는 모든 척추 뼈 또는 선택된 관심 척추 뼈에 대해 생성 및 표시될 수 있다. 또한, 대화형 디스플레이(108) 및 적절한 그래픽 사용자 인터페이스(graphical user interface; GUI)를 사용하여 검사자는 제시된 그래픽 아티팩트(502, 504 및/또는 506)를 대화형으로 선택 및/또는 조작할 수 있다.
척추의 3D 또는 2D 이미지는 합성 초음파진단기 이미지 정보의 추가 처리 동안 이미지 처리 알고리즘 모듈(120)에 의해 생성된다. 여기서, 광범위한 필터링을 거친 후, 인간 피험자(102)의 척추의 특정 뼈를 식별하는 이미지 정보 또는 데이터가 높은 수준으로 식별된다. 또한, AI 알고리즘은 인간 피험자(102)의 척추의 특정 뼈를 식별하도록 학습했을 수 있다. AI는 인간 피험자(102)의 척추에 있는 각각의 특정 뼈에 대한 적절한 스킨(뼈의 보다 사실적인 이미지를 그래픽으로 묘사하는 이미지 데이터)에 액세스하고 액세스된 스킨을 사용하여 척추의 보다 사실적인 그래픽 표현을 생성할 수 있다.
일부 실시예에서, 대응하는 이상적인 구조 이미지는 데이터베이스로부터 액세스될 수 있고 초음파진단기 검사에 기초하여 생성된 이미지의 상부에 오버레이되거나 이에 인접하여 제시될 수 있다. 예를 들어 이상적인 척추의 이미지 데이터에 액세스할 수 있다. 이상적인 척추의 이미지 데이터는 그 다음 인간 피험자(102)의 척추 이미지에 대응하도록 스케일링될 수 있다. 그런 다음 이상적인 척추의 중첩되거나 인접한 이미지는 검사된 인간 피험자(102)의 척추 이미지와 시각적으로 비교할 수 있다. 비교는 3D 또는 2D 이미지를 사용하여 수행될 수 있다.
도 6은 초음파 시스템(100)으로 구현된 이미지 처리 시스템(600)의 일부로서 사용하기에 적합한 프로그래밍 가능한 컴퓨팅 장치의 블록도이다. 다음 단락은 이미지 처리 시스템의 하나의 적절한 예를 설명하지만, 당업자는 많은 상이한 예가 고려된다는 것을 이해할 것이다. 예를 들어, 이미지 처리 시스템(600)은 임베디드 소프트웨어 시스템, 독립형 개인용 컴퓨터, 및/또는 네트워크로 연결된 컴퓨터 시스템을 포함할 수 있다.
초음파 시스템(100)의 개시로부터, 당업자는 이미지 처리 시스템(600)의 다양한 예가 하나 이상의 기능을 수행하도록 구성된 전자 회로를 사용하여 구현될 수 있음을 인식할 것이다. 예를 들어, 본 발명의 일부 실시예에서, 이미지 처리 시스템은 하나 이상의 주문형 집적 회로(application-specific integrated circuits; ASIC)를 사용하여 구현될 수 있다. 그러나, 일부 예에서, 본 발명의 다양한 예의 구성요소는 펌웨어 또는 소프트웨어 명령을 실행하는 프로그램 가능한 컴퓨팅 장치를 사용하거나 프로그램 가능한 컴퓨팅 장치에서 실행되는 특정 목적 전자 회로 및 펌웨어 또는 소프트웨어 명령의 일부 조합에 의해 구현될 것이다.
따라서, 도 6은 본 발명의 다양한 실시예를 구현하는데 사용될 수 있는 컴퓨터인 이미지 처리 시스템(600)의 하나의 예시적인 예를 도시한다. 이 도면에 도시된 바와 같이, 예시적인 이미지 처리 시스템(600)은 컴퓨팅 유닛(602)을 갖는다. 컴퓨팅 유닛(602)은 일반적으로 프로세싱 유닛(604) 및 시스템 메모리(606)를 포함한다. 프로세싱 유닛(604)은 소프트웨어 명령을 실행하기 위한 임의의 유형의 프로세싱 장치일 수 있지만, 통상적으로 마이크로프로세서 장치일 것이다. 시스템 메모리(606)는 읽기 전용 메모리(ROM)(608) 및 랜덤 액세스 메모리(RAM)(610) 모두를 포함할 수 있다. 당업자에 의해 이해되는 바와 같이, 읽기 전용 메모리(ROM)(608) 및 랜덤 액세스 메모리(RAM)(610) 모두는 처리 유닛(604)에 의해 실행될 소프트웨어 명령을 저장할 수 있다.
프로세싱 유닛(604) 및 시스템 메모리(606)는 버스(612) 또는 대안적인 통신 구조를 통해 하나 이상의 주변 장치에 직접 또는 간접적으로 연결된다. 예를 들어, 프로세싱 유닛(604) 또는 시스템 메모리(606)는 하드 디스크 드라이브(614), 이동식 광 디스크 드라이브(616), 이동식 자기 디스크 드라이브(618), 및 플래시 메모리 카드(620)와 같은 추가 메모리 저장 장치에 직접 또는 간접적으로 연결될 수 있다. 프로세싱 유닛(604) 및 시스템 메모리(606)는 또한 하나 이상의 입력 장치들(622) 및 하나 이상의 출력 장치들(624)에 직접 또는 간접적으로 연결될 수 있다. 입력 장치(622)는 예를 들어 키보드, 터치 스크린, 원격 제어 패드, 포인팅 장치(예: 마우스, 터치패드, 스타일러스, 트랙볼 또는 조이스틱), 스캐너, 카메라 또는 마이크를 포함할 수 있다. 출력 장치(624)는 예를 들어 모니터 디스플레이, 통합 디스플레이, 텔레비전, 프린터, 스테레오 또는 스피커를 포함할 수 있다.
또한, 컴퓨팅 유닛(602)은 네트워크와 통신하기 위해 하나 이상의 네트워크 인터페이스(626)에 직접 또는 간접적으로 연결될 것이다. 때때로 네트워크 어댑터 또는 네트워크 인터페이스 카드(NIC)라고도 하는 이러한 유형의 네트워크 인터페이스(626)는 컴퓨팅 유닛(602)의 데이터 및 제어 신호를 전송 제어 프로토콜(Transmission Control Protocol; TCP), 인터넷 프로토콜(Internet Protocol; IP) 및 사용자 데이터그램 프로토콜(User Datagram Protocol; UDP)와 같은 하나 이상의 통신 프로토콜에 따라 네트워크 메시지로 변환한다. 이러한 프로토콜은 당업계에 잘 알려져 있으므로 여기에서 더 자세히 논의하지 않을 것이다. 인터페이스(626)는 예를 들어 무선 트랜시버, 전력선 어댑터, 모뎀, 또는 이더넷 연결을 포함하는 네트워크에 연결하기 위한 임의의 적절한 연결 에이전트를 사용할 수 있다.
위에서 구체적으로 열거된 입력, 출력 및 저장 주변 장치에 추가하여, 컴퓨팅 장치는 입력, 출력 및 저장 기능 또는 일부 조합을 수행할 수 있는 일부를 포함하는 다양한 다른 주변 장치에 연결될 수 있음을 이해해야 한다. 예를 들어, 컴퓨터(101)는 종종 3D 초음파 프로세서 및 변환기 시스템에 연결될 것이다. 3D 초음파 유닛에 추가하여, 컴퓨터(101)는 전화, 팩시밀리, 라우터 등과 같은 하나 이상의 다른 주변 장치에 연결되거나 이를 포함할 수 있다.
전화기는 예를 들어 Android 또는 iOS 운영 체제를 특징으로 하는 것과 같은 무선 "스마트 폰"일 수 있다. 당업계에 공지된 바와 같이, 이러한 유형의 전화는 라디오 주파수 전송을 사용하여 무선 네트워크를 통해 통신한다. 단순한 통신 기능 외에도 "스마트 폰"은 전자 메시지의 보내기, 받기 및 보기(예: 전자 메일 메시지, SMS 문자 메시지 등), 사운드 파일의 녹음 또는 재생, 이미지 파일의 녹화 또는 재생(예: 정지 사진 또는 동영상 이미지 파일), 텍스트가 포함된 파일의 보기 및 편집(예: Microsoft Word 또는 Excel 파일 또는 Adobe Acrobat 파일) 등과 같은 하나 이상의 데이터 관리 기능을 사용자에게 제공할 수도 있다. 이러한 유형의 전화의 데이터 관리 능력 때문에, 사용자는 유지되는 데이터가 동기화될 수 있도록 전화를 컴퓨팅 유닛(602)과 연결할 수 있다.
물론, 당업계에 잘 알려진 바와 같이, 또 다른 주변 장치는 도 2에 예시된 유형의 컴퓨팅 유닛(602)에 포함되거나 그렇지 않으면 이에 연결될 수 있다. 일부 경우에, 주변 장치는 컴퓨팅 유닛(602)에 영구적으로 또는 반영구적으로 연결될 수 있다. 예를 들어, 많은 컴퓨터에서 컴퓨팅 유닛(602), 하드 디스크 드라이브(614), 이동식 광 디스크 드라이브(616) 및 디스플레이는 단일 하우징에 반영구적으로 둘러싸여 있다.
그러나, 또 다른 주변 장치가 컴퓨팅 유닛(602)에 제거 가능하게 연결될 수 있다. 컴퓨팅 유닛(602)은, 예를 들어 주변 장치가 컴퓨팅 유닛(602)에 연결될 수 있는(직접적으로 또는 버스(612)를 통해 간접적으로) 하나 이상의 통신 포트를 포함할 수 있다. 따라서 이러한 통신 포트는 USB(Universal Serial Bus) 표준 또는 IEEE 1394 고속 직렬 버스 표준(예: Firewire 포트)을 사용하는 직렬 버스 포트와 같은 병렬 버스 포트 또는 직렬 버스 포트를 포함할 수 있다. 대안적으로 또는 추가적으로, 컴퓨터(101)는 블루투스 ® 인터페이스, Wi-Fi 인터페이스, 적외선 데이터 포트 등과 같은 무선 데이터 "포트"를 포함할 수 있다.
본 발명의 다양한 예들에 따라 채용된 컴퓨팅 디바이스는 도 6에 예시된 컴퓨팅 유닛(602) 이외의, 또는 이에 더하여 더 많은 컴포넌트들을 포함할 수 있다는 것을 이해해야 한다. 또한, 컴퓨팅 유닛(602)보다 더 적은 수의 컴포넌트 또는 컴퓨팅 유닛(602)보다 컴포넌트의 상이한 조합이 대안적인 실시예에 의해 사용될 수 있다. 예를 들어, 본 발명의 일부 구현은 서버 컴퓨터와 같은 매우 특정한 기능을 갖도록 의도된 하나 이상의 컴퓨팅 장치를 사용할 수 있다. 따라서 이러한 컴퓨팅 장치는 네트워크 인터페이스(626), 이동식 광 디스크 드라이브(616), 프린터, 스캐너, 외부 하드 드라이브 등과 같은 불필요한 주변 장치를 생략할 수 있다. 본 발명의 일부 구현은 데스크탑 또는 랩탑 개인용 컴퓨터와 같은 다양한 기능을 수행할 수 있도록 의도된 컴퓨팅 장치를 대안적으로 또는 추가로 사용할 수 있다. 이러한 컴퓨팅 장치는 원하는 대로 주변 장치 또는 추가 컴포넌트의 임의의 조합을 가질 수 있다.
또한, 다른 실시 예에서, 초음파 시스템(100)은 이전에 생성된 이미지 및/또는 인간 피험자(102)의 척추 데이터를 나중에 다시 불러오기 위해 사용될 수 있다. 본 명세서에 언급된 바와 같이, 이전 이미지 및/또는 데이터는 초음파 시스템(100)의 컴퓨터 시스템 및/또는 로컬 또는 원격 데이터베이스에 저장될 수 있다. 그 다음, 초음파 시스템(100)은 인간 피험자(102)의 척추의 현재 3D 이미지를 이전에 획득된 이미지와 매칭시킨다. 이 예시적인 애플리케이션에서, 비교된 이미지는 인간 피험자(102)의 척추에 대한 척추 건강 및/또는 치료 효과를 평가하는 조작자를 돕기 위해 사용될 수 있다.
초음파 시스템(100)의 실시예는 인간 피험자(102)의 스캔된 조직, 뼈 또는 기관에 대한 이미지 정보 및 생성된 3D 또는 2D 모델 정보 또는 데이터를 얻는 것 외에도 애완 동물, 가축, 동물원 동물 등과 같은(이에 국한되지 않음) 다른 동물로부터 초음파진단기 정보를 얻는 데 적합할 수 있다. 초음파 시스템(100)의 실시예는 또한 식물 또는 다른 무생물로부터 초음파진단기 정보를 획득하는데 사용될 수 있다. 예를 들어, 초음파 변환기 프로브를 사용하여 스캔하기에 적합한 고대 인공물 또는 유물은 초음파 시스템(100)의 실시예를 사용하여 스캔될 수 있다. 또한, 초음파 검사기(sonograph) 스캔은 종종 산전 영아를 산모의 자궁에 있는 동안 스캔하는 데 사용된다. 초음파 촬영 시스템(100)의 실시예는 또한 이러한 유아를 스캔하는데 사용될 수 있다.
당업자는 초음파 시스템(100)의 실시예가 또한 인간 피험자(102) 내에 있는 다른 비생물학적 물체를 검출, 구별, 식별 및 제시하도록 구성될 수 있음을 인식한다. 예를 들어, 금속 또는 폴리머 핀, 나사, 브레이스 등은 이전 수술 절차 동안 인간 피험자(102)에 이식되었을 수 있다. 이러한 객체를 식별한 다음 생성된 3D 또는 2D 모델 정보 또는 데이터에 추가할 수 있다. 또한, 3차원 또는 2차원 모델 정보 또는 데이터가 실시간 또는 거의 실시간으로 생성될 수 있으므로, 현재 인간 피험자(102)가 시술을 받고 있는 수술 기구를 식별할 수 있다. 여기서, 초음파 시스템(100)은 관심 기관 또는 조직과 함께 이러한 수술 기구를 동시에 검출하는 데 사용될 수 있다.
당업자는 초음파 프로세서 시스템(106)이 인간 피험자(102)의 검사 동안 초음파 변환기 프로브(104)에 국부적이거나 근접할 필요가 있다는 것을 인식한다. 여기서, 이미지 캡처 장치(114)는 인간 피험자(102)를 검사하는 동안 타겟(130, 132)의 이미지를 캡처하기 위해 초음파진단기 스캐닝 프로세스 동안 인간 피험자(102)에 국한될 필요가 있다. 이러한 실시예는 초음파 변환기 프로브(104) 및 이미지 캡처 장치(들)(114)로부터 원격으로 위치하도록 구성될 수 있다. 초음파 프로세서 시스템(106)은 초음파 프로세서 시스템(106)을 초음파 변환기 프로브(104) 및 이미지 캡처 장치(들)(114)와 통신 가능하게 연결하는 적절한 통신 시스템을 통해 초음파 정보 및 카메라 이미지를 수신한다. 또한, 이러한 실시예는 다수의 인간 피험자(102)이 원격으로 및/또는 동시에 검사될 수 있도록 다수의 초음파 변환기 프로브(104) 및 이미지 캡처 장치(들)(114)로부터 정보를 수신하도록 구성될 수 있다. 또한, 생성된 3D/2D 이미지 및/또는 3D/2D 모델 데이터는 검사 현장에 위치한 디스플레이 장치에 표시하기 위해 검사 현장으로 다시 전달될 수 있다.
도 7은 초음파 시스템(100)의 예시적인 실시예에 의해 사용되는 프로세스를 도시하는 흐름도이다. 카메라 이미지 및 초음파진단기 이미지 정보의 스트림은 초음파진단기 스캔(602) 동안 획득된다. 시간 인덱싱된 카메라 이미지(604)를 생성하기 위해 카메라 이미지에 타임 스탬프가 추가된다. 동일한 또는 실질적으로 동일한 타임 스탬프가 시간 인덱싱된 초음파진단기 이미지 정보 부분을 생성하기 위해 초음파진단기 이미지 정보의 대응하는 부분에 추가된다.
매번 인덱싱된 카메라 이미지는 타임 스탬프(606)의 시간 동안 스캔되고 있던 인간 피험자(102)의 특정 부분을 식별하는 대응하는 시간 인덱싱된 위치 정보를 결정하도록 처리된다.
동시에, 초음파진단기 이미지 정보의 스트림은 복수의 초음파진단기 스캔(608) 동안 획득된다. 타임 스탬프는 시간 인덱싱된 초음파진단기 이미지 정보 부분(610)을 생성하기 위해 초음파진단기 이미지 정보의 부분에 추가된다.
그 다음, 선택된 시간(612) 동안, 선택된 시간에 대한 시간 인덱싱된 위치 정보를 시간 인덱싱된 초음파진단기 이미지 정보 부분(타임 스탬프와 동시에 획득된)과 결합하여 초음파진단기 정보의 특정 부분(614)에 대한 위치 인덱싱된 초음파진단기 이미지 정보를 생성한다.
그 다음, 복수의 위치 인덱싱된 초음파진단기 이미지 정보 부분 각각을 결합하여 합성 초음파진단기 이미지 정보(616)를 생성한다. 합성 초음파진단기 이미지 정보는 디스플레이(620) 상에 3D 또는 2D 이미지를 렌더링하는데 사용될 수 있는 3D 또는 2D 합성 초음파진단기 그래픽 정보(618)를 생성하기 위해 사용된다.
산업적 이용 가능성
본 출원에 기술된 발명은 다양한 기계, 전기 및 공압 조립 기술을 비롯한 다양한 산업 공정에 의해 만들어질 수 있다. 또한, 본 명세서에 기재된 발명은 의료 진단 적용을 포함하는 산업적 맥락에서 사용될 수 있다.
위에서 설명된 발명은 다음의 비제한적인 실시예에 따라 대안적으로 설명될 수 있다.
초음파 시스템에 대한 제1 실시예에서, 시스템은 인간 피험자의 일련의 복수의 초음파 스캔으로부터 초음파진단기(sonogram) 이미지 정보를 획득하도록 구성되고, 여기서 복수의 초음파 스캔 중 각각의 초음파 스캔 동안 초음파진단기 이미지 정보를 생성하는 초음파 변환기 프로브(ultrasound transducer probe); 상기 초음파 변환기 프로브에 통신 가능하게 결합된 초음파 이미지 데이터 프로세서로서, 상기 초음파 변환기 프로브는 상기 초음파 변환기 프로브로부터 초음파진단기 이미지 정보를 수신하고, 상기 초음파진단기 이미지 정보 및 상기 초음파진단기 이미지 정보의 획득 시점에 대응하는 제1 시각을 포함하는 복수의 시간 인덱스 초음파진단기 이미지 정보 부분을 생성하는 초음파 이미지 데이터 프로세서(ultrasound image data processor); 인간 피험자와 초음파 변환기 프로브 모두를 포함하는 일련의 카메라 이미지를 시계열적으로 캡처하는 적어도 하나의 이미지 캡처 장치로서, 인간 피험자에 위치한 적어도 하나의 제1 광학 타겟은 일련의 캡처된 카메라 이미지 중 각각에서 볼 수 있으며, 초음파 변환기 프로브에 위치된 적어도 하나의 제2 광학 타겟은 일련의 캡처된 카메라 이미지 중 각각에서 볼 수 있는 이미지 캡처 장치(image capture device); 적어도 하나의 이미지 캡처 장치에 통신 가능하게 결합된 광학 추적기 유닛으로서, 광학 추적기 유닛은 적어도 하나의 이미지 캡처 장치로부터 일련의 카메라 이미지 중 각각 하나를 수신하고, 상기 일련의 카메라 이미지들 각각은 상기 적어도 하나의 이미지 캡처 장치에 의한 카메라 이미지의 획득 시간을 나타내는 시간 인덱스를 포함하는 광학 추적기 유닛(optical tracker unit); 상기 광학 추적기 유닛은 인간 피험자 상의 적어도 하나의 제1 타겟의 위치 및 초음파 변환기 프로브 상의 적어도 하나의 제2 타겟의 위치를 결정하고, 상기 광학 추적 유닛은 제1 광학 타겟 및 제2 광학 타겟의 결정된 위치에 기초하여 각각의 카메라 이미지에 대한 시간 인덱싱된 위치 정보를 결정하며, 상기 시간 인덱싱된 위치 정보는 인간 상의 적어도 하나의 광학 타겟 및 초음파 변환기 프로브 상의 적어도 하나의 제2 광학 타겟의 결정된 위치에 기초하여 초음파 변환기 프로브에 의해 스캔되고 있는 인간 피험체의 부분을 식별하고, 상기 시간 인덱싱된 위치 정보는 제2 시간을 포함하며; 초음파 이미지 데이터 프로세서 및 적어도 하나의 이미지 캡처 장치에 통신 가능하게 결합된 이미지 등록 모듈로서, 상기 영상 등록 모듈은 각 시간 인덱스 초음파진단기 이미지 정보 부분에 대해 상기 제1 시간과 동일한 제2 시간을 갖는 위치 인덱스 정보를 선택하고, 상기 시간 인덱스 초음파진단기 이미지 정보 부분들 및 상기 대응하는 시간 인덱스 위치 정보 각각에 기초하여 복수의 위치 인덱스 초음파진단기 정보 부분들을 생성하는 이미지 등록 모듈(image registration module); 및 이미지 등록 모듈에 통신 가능하게 결합된 이미지 처리 알고리즘 모듈로서, 상기 이미지 처리 알고리즘 모듈은 상기 이미지 등록 모듈로부터 위치 인덱싱된 초음파진단기 이미지 정보 부분을 수신하고, 합성 초음파진단기 이미지 정보를 생성하기 위해 수신된 복수의 위치 인덱싱된 초음파진단기 이미지 정보 부분을 결합하는 이미지 처리 알고리즘 모듈(image processing algorithm module)을 포함한다.
제1 초음파 시스템의 일부 예에서, 이미지 처리 알고리즘 모듈은 상기 복수의 합성 초음파진단기 이미지 정보에 기초하여 3차원(3D) 합성 초음파진단기 그래픽 정보를 생성한다. 제1 초음파 시스템의 이러한 예에서, 3D 합성 초음파진단기 그래픽 정보에 기초하여 이미지를 생성하는 3D 시각화 모듈을 추가로 포함할 수 있고, 여기서 이미지는 디스플레이 상에 제시가능하다.
제1 초음파 시스템의 일부 예는 초음파 변환기 프로브에 의해 초음파 정보의 획득 시간을 제공하는 시계를 포함하며, 시계는 초음파 이미지 데이터 프로세서에 상주한다. 특정 예는 적어도 하나의 이미지 캡처 장치에 의해 캡처된 카메라 이미지의 획득 시간을 제공하는 시계를 포함하며, 여기서 시계는 초음파 이미지 데이터 프로세서에 상주한다.
일부 예들에서, 초음파 변환기 프로브 및 적어도 하나의 이미지 캡처 장치는 인간 피험자가 검사되는 제1 위치에 위치되고, 적어도 하나의 광학 추적기 유닛, 이미지 등록 모듈, 및 이미지 처리 알고리즘 모듈은 제1 위치로부터 멀리 떨어진 제2 위치에 상주하며, 광학 추적기 유닛, 이미지 등록 모듈, 및 이미지 처리 알고리즘 모듈은 상이한 인간 피험자가 검사되는 상이한 제1 위치에서 복수의 다른 초음파 변환기 프로브 및 연관된 적어도 하나의 이미지 캡처 장치로부터 정보를 수신하도록 동작가능하다.
초음파 시스템을 사용하여 인간 대상체를 검사하는 방법의 제1 실시예에서, 방법은 초음파 변환기 프로브(ultrasound transducer probe)로부터 인간 피험자의 일련의 복수의 초음파 스캔을 수신하는 단계; 상기 초음파 스캔의 일부 및 상기 초음파진단기 이미지 정보 부분의 획득 시간에 대응하는 제1 시간으로부터 각각의 초음파진단기 이미지 정보를 포함하는 복수의 시간 인덱싱된 초음파진단기 이미지 정보 부분을 생성하는 단계; 적어도 하나의 이미지 캡처 장치를 사용하여 인간 피험자 및 초음파 변환기 프로브 모두를 포함하는 일련의 카메라 이미지를 시간 순서로 캡처하는 단계로서, 상기 일련의 카메라 이미지들 각각은 상기 적어도 하나의 이미지 캡처 장치에 의한 카메라 이미지의 획득 시간을 나타내는 제2 시간을 포함하는 단계; 각 카메라 이미지에 대한 시간 인덱싱된 위치 정보를 결정하는 단계로서, 시간 인덱싱된 위치 정보는 초음파 변환기 프로브에 의해 스캔되고 있는 인간 피험자의 일부 위치를 식별하며, 여기서 시간 인덱싱된 위치 정보는 연관된 제2 시간을 포함하는 단계; 각각의 시간 인덱싱된 초음파진단기 이미지 정보 부분마다, 상기 초음파진단기 이미지 정보 부분의 제1 시간과 동일한 제2 시간을 갖는 시간 인덱싱된 위치 정보를 선택하는 단계; 각각의 시간 인덱싱된 초음파진단기 이미지 정보 부분 및 해당 시간 인덱싱된 위치 정보에 기초하여 복수의 위치 인덱싱된 초음파진단기 정보 부분을 생성하는 단계; 및 수신된 복수의 위치 인덱싱된 초음파진단기 이미지 정보 부분을 결합하여 합성 초음파진단기 이미지 정보를 생성하는 단계를 포함한다.
제1 방법 실시예의 일부 예에서, 사람 피험자에 위치한 적어도 하나의 제1 광학 타겟은 일련의 캡처된 카메라 이미지 각각에서 볼 수 있고, 초음파 변환기 프로브에 위치한 적어도 하나의 제2 광학 타겟은 일련의 캡처된 카메라 이미지 각각에서 볼 수 있으며, 각각의 카메라 이미지에 대한 시간 인덱싱된 위치 정보를 결정하는 단계는 인간 피험자 상의 적어도 하나의 제1 타겟의 위치 및 초음파 변환기 프로브 상의 적어도 하나의 제2 타겟의 위치를 결정하는 단계를 포함하고, 초음파 변환기 프로브에 의해 스캔되고 있는 인간 피험자의 부분의 위치는 적어도 하나의 제1 타겟의 결정된 위치 및 적어도 하나의 제2 타겟의 결정된 위치에 기초하여 결정된다.
제1 방법 실시예의 특정 예에서, 복수의 시간 인덱싱된 초음파진단기 이미지 정보 부분을 생성하는 단계는, 원격 위치의 초음파 변환기 프로브로부터 일련의 복수의 초음파 스캔을 수신하는 초음파 이미지 데이터 프로세서의 시계를 사용하여 시간 인덱싱된 초음파진단기 이미지 정보 부분 각각에 제1 시간을 추가하는 단계를 포함한다. 추가적으로 또는 대안적으로, 카메라 이미지를 시간 순서로 캡처한 다음, 상기 방법은 원격 위치의 초음파 변환기 프로브로부터 일련의 복수의 초음파 스캔을 수신하는 초음파 이미지 데이터 프로세서의 시계를 사용하여 카메라 이미지 각각에 제2 시간을 추가하는 단계를 포함한다.
제1 방법 실시예의 일부 예는, 생성된 합성 초음파진단기 이미지 정보에 기초하여 3D 합성 초음파진단기 그래픽 정보를 생성하는 단계를 추가로 포함한다. 이러한 예는 상기 3D 합성 초음파진단기 그래픽 정보에 기초하여 3D 이미지를 생성하는 단계; 및 디스플레이 상에 3D 이미지를 제시하는 단계를 포함한다. 또한, 그러한 예들에서 3D 이미지는 인간 피험자의 모든 직렬 복수 초음파 스캔이 초음파 변환기 프로브로부터 수신된 후에 생성되어 디스플레이 상에 제시될 수 있다. 추가적으로 또는 대안적으로, 3D 이미지는 인간 피험자의 일련의 복수의 초음파 스캔 각각이 상기 초음파 변환기 프로브로부터 수신됨에 따라 생성되어 디스플레이 상에 제시될 수 있다.
제1 방법 실시예의 일부 예는, 3D 합성 초음파진단기 그래픽 정보에 기초하여 2D 이미지를 생성하는 단계; 및 디스플레이에 2D 이미지를 제시하는 단계를 포함한다.
초음파 촬영 시스템(100)의 전술한 실시예는 본 발명의 구현의 가능한 예일 뿐이라는 것이 강조되어야 한다. 전술한 실시예에 많은 변형 및 수정이 이루어질 수 있다. 이러한 모든 수정 및 변형은 본 개시내용의 범위 내에 포함되고 다음 청구범위에 의해 보호되는 것으로 의도된다.
또한, 상기 개시 내용은 독립적인 유용성을 갖는 다수의 별개의 발명을 포함한다. 이들 발명의 각각이 특정 형태로 개시되었지만, 위에 개시되고 예시된 특정 실시예는 수많은 변형이 가능하기 때문에 제한적인 의미로 고려되어서는 안 된다. 본 발명의 주제는 상기 개시되고 그러한 발명에 속하는 기술 분야의 숙련자에게 고유한 다양한 요소, 특징, 기능 및/또는 특성의 모든 신규 및 자명하지 않은 조합 및 하위 조합을 포함한다. 본 개시내용 또는 후속적으로 제출된 청구범위가 "a" 요소, "첫 번째(제1)" 요소, 또는 임의의 이와 동등한 용어를 인용하는 경우, 본 개시내용 또는 청구범위는 둘 이상의 그러한 요소를 요구하거나 배제하지 않고 하나 이상의 그러한 요소를 포함하는 것으로 이해되어야 한다.
출원인(들)은 신규하고 자명하지 않은 것으로 여겨지는 개시된 발명의 조합 및 하위 조합에 대한 청구를 제출할 권리를 보유한다. 특징, 기능, 요소 및/또는 속성의 다른 조합 및 하위 조합으로 구현된 발명은 이러한 청구범위의 수정 또는 본 출원 또는 관련 출원에서 새로운 청구범위의 제시를 통해 청구될 수 있다. 그러한 수정된 청구범위 또는 새로운 청구범위는 동일한 발명에 관한 것이든 다른 발명에 관한 것이든, 원래의 청구범위와 범위가 다르거나 더 넓거나 더 좁거나 동일한지 여부에 관계없이, 여기에 설명된 발명의 주제 내에서 고려되어야 한다.

Claims (15)

  1. 다음을 포함하는 초음파 시스템:
    인간 피험자의 일련의 복수의 초음파 스캔으로부터 초음파진단기(sonogram) 이미지 정보를 획득하도록 구성되고, 여기서 복수의 초음파 스캔 중 각각의 초음파 스캔 동안 초음파진단기 이미지 정보를 생성하는 초음파 변환기 프로브(ultrasound transducer probe);
    상기 초음파 변환기 프로브에 통신 가능하게 결합된 초음파 이미지 데이터 프로세서로서,
    상기 초음파 변환기 프로브는 상기 초음파 변환기 프로브로부터 초음파진단기 이미지 정보를 수신하고,
    상기 초음파진단기 이미지 정보 및 상기 초음파진단기 이미지 정보의 획득 시점에 대응하는 제1 시간을 포함하는 복수의 시간 인덱싱된 초음파진단기 이미지 정보 부분을 생성하는 초음파 이미지 데이터 프로세서(ultrasound image data processor);
    인간 피험자와 초음파 변환기 프로브 모두를 포함하는 일련의 카메라 이미지를 시계열적으로 캡처하는 적어도 하나의 이미지 캡처 장치로서,
    인간 피험자에 위치한 적어도 하나의 제1 광학 타겟은 일련의 캡처된 카메라 이미지 중 각각에서 볼 수 있으며,
    초음파 변환기 프로브에 위치된 적어도 하나의 제2 광학 타겟은 일련의 캡처된 카메라 이미지 중 각각에서 볼 수 있는 이미지 캡처 장치(image capture device);
    적어도 하나의 이미지 캡처 장치에 통신 가능하게 결합된 광학 추적기 유닛으로서,
    상기 광학 추적기 유닛은 적어도 하나의 이미지 캡처 장치로부터 일련의 카메라 이미지 중 각각 하나를 수신하고,
    상기 일련의 카메라 이미지들 각각은 상기 적어도 하나의 이미지 캡처 장치에 의한 카메라 이미지의 획득 시간을 나타내는 시간 인덱스를 포함하는 광학 추적기 유닛(optical tracker unit);
    상기 광학 추적기 유닛은 인간 피험자 상의 적어도 하나의 제1 타겟의 위치 및 상기 초음파 변환기 프로브 상의 적어도 하나의 제2 타겟의 위치를 결정하고,
    상기 광학 추적 유닛은 제1 광학 타겟 및 제2 광학 타겟의 결정된 위치에 기초하여 각각의 카메라 이미지에 대한 시간 인덱싱된 위치 정보를 결정하며,
    상기 시간 인덱싱된 위치 정보는 인간 상의 적어도 하나의 광학 타겟 및 상기 초음파 변환기 프로브 상의 적어도 하나의 제2 광학 타겟의 결정된 위치에 기초하여 초음파 변환기 프로브에 의해 스캔되고 있는 인간 피험체의 부분을 식별하고,
    상기 시간 인덱싱된 위치 정보는 제2 시간을 포함하며;
    상기 초음파 이미지 데이터 프로세서 및 적어도 하나의 상기 이미지 캡처 장치에 통신 가능하게 결합된 이미지 등록 모듈로서,
    상기 이미지 등록 모듈은 각 시간 인덱스 초음파진단기 이미지 정보 부분에 대해 상기 제1 시간과 동일한 제2 시간을 갖는 위치 인덱스 정보를 선택하고,
    상기 시간 인덱스 초음파진단기 이미지 정보 부분들 및 상기 대응하는 시간 인덱스 위치 정보 각각에 기초하여 복수의 위치 인덱스 초음파진단기 정보 부분들을 생성하는 이미지 등록 모듈(image registration module); 및
    상기 이미지 등록 모듈에 통신 가능하게 결합된 이미지 처리 알고리즘 모듈로서,
    상기 이미지 처리 알고리즘 모듈은 상기 이미지 등록 모듈로부터 위치 인덱싱된 초음파진단기 이미지 정보 부분을 수신하고,
    합성 초음파진단기 이미지 정보를 생성하기 위해 수신된 복수의 위치 인덱싱된 초음파진단기 이미지 정보 부분을 결합하는 이미지 처리 알고리즘 모듈(image processing algorithm module).
  2. 제1항에 있어서, 상기 이미지 처리 알고리즘 모듈은 상기 복수의 합성 초음파진단기 이미지 정보에 기초하여 3차원(3D) 합성 초음파진단기 그래픽 정보를 생성하는 것을 특징으로 하는 초음파 시스템.
  3. 제2항에 있어서,
    3D 합성 초음파진단기 그래픽 정보에 기초하여 이미지를 생성하는 3D 시각화 모듈을 추가로 포함하고,
    상기 이미지는 디스플레이 상에 제시가능한 것을 특징으로 하는 초음파 시스템.
  4. 제1항에 있어서,
    초음파 변환기 프로브에 의해 초음파 정보를 획득하는 시간을 제공하는 시계를 추가로 포함하고,
    상기 시계는 초음파 이미지 데이터 프로세서에 상주하는 것을 특징으로 하는 초음파 시스템.
  5. 제1항에 있어서,
    적어도 하나의 이미지 캡처 장치에 의해 캡처된 카메라 이미지의 획득 시간을 제공하는 시계를 추가로 포함하고,
    상기 시계는 초음파 이미지 데이터 프로세서에 상주하는 것을 특징으로 하는 초음파 시스템.
  6. 제1항에 있어서,
    상기 초음파 변환기 프로브 및 상기 적어도 하나의 이미지 캡처 장치는 인간 피험자가 검사되는 제1 위치에 위치되고,
    적어도 하나의 상기 광학 추적기 유닛, 상기 이미지 등록 모듈, 및 상기 이미지 처리 알고리즘 모듈은 제1 위치로부터 멀리 떨어진 제2 위치에 상주하며,
    광학 추적기 유닛, 이미지 등록 모듈, 및 이미지 처리 알고리즘 모듈은 상이한 인간 피험자가 검사되는 상이한 제1 위치에서 복수의 다른 초음파 변환기 프로브 및 연관된 적어도 하나의 이미지 캡처 장치로부터 정보를 수신하도록 동작가능한 것을 특징으로 하는 초음파 시스템.
  7. 다음 단계를 포함하는 초음파 시스템을 이용하여 인간 피험자를 검사하는 방법:
    초음파 변환기 프로브(ultrasound transducer probe)로부터 인간 피험자의 일련의 복수의 초음파 스캔을 수신하는 단계;
    상기 초음파 스캔의 일부 및 상기 초음파진단기 이미지 정보 부분의 획득 시간에 대응하는 제1 시간으로부터 초음파진단기 이미지 정보를 각각 포함하는 복수의 시간 인덱싱된 초음파진단기 이미지 정보 부분을 생성하는 단계;
    적어도 하나의 이미지 캡처 장치를 사용하여 인간 피험자 및 초음파 변환기 프로브 모두를 포함하는 일련의 카메라 이미지를 시간 순서로 캡처하는 단계로서, 상기 일련의 카메라 이미지들 각각은 상기 적어도 하나의 이미지 캡처 장치에 의한 카메라 이미지의 획득 시간을 나타내는 제2 시간을 포함하는 단계;
    각 카메라 이미지에 대한 시간 인덱싱된 위치 정보를 결정하는 단계로서,
    상기 시간 인덱싱된 위치 정보는 초음파 변환기 프로브에 의해 스캔되고 있는 인간 피험자의 일부 위치를 식별하며,
    여기서 시간 인덱싱된 위치 정보는 연관된 제2 시간을 포함하는 단계;
    각각의 시간 인덱싱된 초음파진단기 이미지 정보 부분에 대해, 상기 초음파진단기 이미지 정보 부분의 제1 시간과 동일한 제2 시간을 갖는 시간 인덱싱된 위치 정보를 선택하는 단계;
    각각의 시간 인덱싱된 초음파진단기 이미지 정보 부분 및 해당 시간 인덱싱된 위치 정보에 기초하여 복수의 위치 인덱싱된 초음파진단기 정보 부분을 생성하는 단계; 및
    수신된 복수의 위치 인덱싱된 초음파진단기 이미지 정보 부분을 결합하여 합성 초음파진단기 이미지 정보를 생성하는 단계.
  8. 제7항에 있어서,
    사람 피험자에 위치한 적어도 하나의 제1 광학 타겟은 일련의 캡처된 카메라 이미지 각각에서 볼 수 있고,
    초음파 변환기 프로브에 위치한 적어도 하나의 제2 광학 타겟은 일련의 캡처된 카메라 이미지 각각에서 볼 수 있으며,
    각각의 카메라 이미지에 대한 시간 인덱싱된 위치 정보를 결정하는 단계는 인간 피험자 상의 적어도 하나의 제1 타겟의 위치 및 초음파 변환기 프로브 상의 적어도 하나의 제2 타겟의 위치를 결정하는 단계를 포함하고,
    초음파 변환기 프로브에 의해 스캔되고 있는 인간 피험자의 부분의 위치는 적어도 하나의 제1 타겟의 결정된 위치 및 적어도 하나의 제2 타겟의 결정된 위치에 기초하여 결정되는 것을 특징으로 하는 방법.
  9. 제7항에 있어서, 복수의 시간 인덱싱된 초음파진단기 이미지 정보 부분을 생성하는 단계는, 원격 위치의 초음파 변환기 프로브로부터 일련의 복수의 초음파 스캔을 수신하는 초음파 이미지 데이터 프로세서의 시계를 사용하여 시간 인덱싱된 초음파진단기 이미지 정보 부분 각각에 제1 시간을 추가하는 단계를 포함하는 방법.
  10. 제7항에 있어서, 카메라 이미지를 시간 순서로 캡처한 다음, 상기 방법은 원격 위치의 초음파 변환기 프로브로부터 일련의 복수의 초음파 스캔을 수신하는 초음파 이미지 데이터 프로세서의 시계를 사용하여 카메라 이미지 각각에 제2 시간을 추가하는 단계를 포함하는 방법.
  11. 제7항에 있어서, 상기 생성된 합성 초음파진단기 이미지 정보에 기초하여 3D 합성 초음파진단기 그래픽 정보를 생성하는 단계를 추가로 포함하는 방법.
  12. 제11항에 있어서,
    상기 3D 합성 초음파진단기 그래픽 정보에 기초하여 3D 이미지를 생성하는 단계; 및
    디스플레이 상에 3D 이미지를 제시하는 단계를 추가로 포함하는 방법.
  13. 제12항에 있어서, 상기 3D 이미지는 인간 피험자의 모든 일련의 복수 초음파 스캔이 상기 초음파 변환기 프로브로부터 수신된 후에 생성되어 디스플레이 상에 제시되는 것을 특징으로 하는 방법.
  14. 제12항에 있어서, 상기 3D 이미지는 인간 피험자의 일련의 복수 초음파 스캔 각각이 상기 초음파 변환기 프로브로부터 수신될 때 생성되어 디스플레이 상에 제시되는 것을 특징으로 하는 방법.
  15. 제11항에 있어서,
    상기 3D 합성 초음파진단기 그래픽 정보에 기초하여 2D 이미지를 생성하는 단계; 및
    디스플레이에 2D 이미지를 제시하는 단계를 추가로 포함하는 방법.



KR1020227034426A 2020-03-09 2020-12-07 시각화 및 측정을 위한 자동 초음파 분할용 장치 및 방법 KR20220151652A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/813,469 2020-03-09
US16/813,469 US11246569B2 (en) 2020-03-09 2020-03-09 Apparatus and method for automatic ultrasound segmentation for visualization and measurement
PCT/US2020/063587 WO2021183194A1 (en) 2020-03-09 2020-12-07 Apparatus and method for automatic ultrasound segmentation for visualization and measurement

Publications (1)

Publication Number Publication Date
KR20220151652A true KR20220151652A (ko) 2022-11-15

Family

ID=77555231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227034426A KR20220151652A (ko) 2020-03-09 2020-12-07 시각화 및 측정을 위한 자동 초음파 분할용 장치 및 방법

Country Status (12)

Country Link
US (1) US11246569B2 (ko)
EP (1) EP4117532A4 (ko)
JP (1) JP2023515864A (ko)
KR (1) KR20220151652A (ko)
CN (1) CN115279272A (ko)
AU (1) AU2020435347A1 (ko)
BR (1) BR112022017911A2 (ko)
CA (1) CA3164576A1 (ko)
GB (1) GB2607779B (ko)
MX (1) MX2022011086A (ko)
WO (1) WO2021183194A1 (ko)
ZA (1) ZA202209284B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112155596B (zh) * 2020-10-10 2023-04-07 达闼机器人股份有限公司 超声波诊断设备、超声波图像的生成方法及存储介质
US20230062782A1 (en) * 2021-09-02 2023-03-02 Cilag Gmbh International Ultrasound and stereo imaging system for deep tissue visualization

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4260938B2 (ja) * 1998-10-23 2009-04-30 株式会社東芝 ３次元超音波診断装置
US9713508B2 (en) 2012-04-30 2017-07-25 Christopher Schlenger Ultrasonic systems and methods for examining and treating spinal conditions
US20130289406A1 (en) 2012-04-30 2013-10-31 Christopher Schlenger Ultrasonographic Systems For Examining And Treating Spinal Conditions
US9675321B2 (en) 2012-04-30 2017-06-13 Christopher Schlenger Ultrasonographic systems and methods for examining and treating spinal conditions
JP5410629B1 (ja) * 2013-05-14 2014-02-05 健司 三木 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
TWI765895B (zh) * 2016-06-20 2022-06-01 美商蝴蝶網路公司 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法
CA3075334C (en) * 2017-09-07 2021-08-31 Piur Imaging Gmbh Apparatus and method for determining motion of an ultrasound probe

Also Published As

Publication number Publication date
ZA202209284B (en) 2023-04-26
US20210275146A1 (en) 2021-09-09
BR112022017911A2 (pt) 2022-11-01
GB2607779A (en) 2022-12-14
MX2022011086A (es) 2022-10-03
EP4117532A4 (en) 2024-03-20
CN115279272A (zh) 2022-11-01
GB202212207D0 (en) 2022-10-05
JP2023515864A (ja) 2023-04-14
CA3164576A1 (en) 2021-09-16
AU2020435347A1 (en) 2022-08-04
EP4117532A1 (en) 2023-01-18
GB2607779B (en) 2024-01-17
WO2021183194A1 (en) 2021-09-16
US11246569B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
EP3448264B1 (en) 3d image compounding for ultrasound fetal imaging
CA2819257C (en) System and method for fusing three dimensional image data from a plurality of different imaging systems for use in diagnostic imaging
JP5530592B2 (ja) イメージング・パラメータの記憶法
JP6430498B2 (ja) 超音波剪断波エラストグラフィ測定のマッピングのためのシステムおよび方法
KR101984824B1 (ko) 초음파를 이용하여 조직의 탄성을 분석하는 방법 및 장치
US9713508B2 (en) Ultrasonic systems and methods for examining and treating spinal conditions
JP2021510107A (ja) 超音波画像データの三次元撮像およびモデリング
KR20190105092A (ko) 영상 정합 장치 및 영상 정합 방법
JP6974354B2 (ja) 同期された表面および内部腫瘍検出
US20120237102A1 (en) System and Method for Improving Acquired Ultrasound-Image Review
JP2010259604A (ja) 画像診断装置、画像診断方法
US20070081703A1 (en) Methods, devices and systems for multi-modality integrated imaging
JPWO2010055816A1 (ja) 超音波診断装置、超音波診断装置の規格画像データ生成方法
KR20220151652A (ko) 시각화 및 측정을 위한 자동 초음파 분할용 장치 및 방법
JP2010094181A (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
JP2021519181A (ja) 超音波画像システム及び方法
US20230320700A1 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
CN110613481A (zh) 一种髋关节的成像方法以及髋关节成像系统
KR102106542B1 (ko) 초음파를 이용하여 조직의 탄성을 분석하는 방법 및 장치
JP2014036885A (ja) 画像診断装置、画像診断方法
JP2021053379A (ja) 医用画像診断装置、超音波診断装置、医用画像システム、及び撮像制御方法
CN115551416A (zh) 对髋部进行测量
CN112568936A (zh) 医用图像诊断装置、超声波诊断装置、医用图像系统以及拍摄控制方法
Huang Development of a portable 3D ultrasound system for imaging and measurement of musculoskeletal body parts

Legal Events

Date Code Title Description
A201 Request for examination