KR102314650B1 - 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법 - Google Patents

사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법 Download PDF

Info

Publication number
KR102314650B1
KR102314650B1 KR1020140169018A KR20140169018A KR102314650B1 KR 102314650 B1 KR102314650 B1 KR 102314650B1 KR 1020140169018 A KR1020140169018 A KR 1020140169018A KR 20140169018 A KR20140169018 A KR 20140169018A KR 102314650 B1 KR102314650 B1 KR 102314650B1
Authority
KR
South Korea
Prior art keywords
diagnosis
intention
motion
probe
diagnostic
Prior art date
Application number
KR1020140169018A
Other languages
English (en)
Other versions
KR20160064834A (ko
Inventor
채승철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140169018A priority Critical patent/KR102314650B1/ko
Priority to US14/943,107 priority patent/US10163239B2/en
Publication of KR20160064834A publication Critical patent/KR20160064834A/ko
Priority to US16/111,318 priority patent/US11074732B2/en
Application granted granted Critical
Publication of KR102314650B1 publication Critical patent/KR102314650B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/40—Positioning of patients, e.g. means for holding or immobilising parts of the patient's body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules

Abstract

사용자의 진단 의도를 기반으로 한 컴퓨터 보조 장치에 관한 것이다. 일 실시예에 따르면, 컴퓨터 보조 진단 장치는 프로부로부터 입력된 영상에서 관심영역이 검출되면, 프로브의 모션을 판정하는 프로브 모션 판정부와, 판정된 프로브의 모션에 기초하여 사용자의 진단 의도를 판단하는 진단의도 판단부 및 사용자의 진단 의도에 상응하는 진단 과정을 수행하는 진단의도 처리부를 포함할 수 있다.

Description

사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법{APPARATUS AND METHOD FOR COMPUTER AIDED DIAGNOSIS BASED ON USER'S DIAGNOSIS INTENTION}
컴퓨터 보조 진단 장치 및 방법에 관한 것으로, 보다 상세하게는 사용자의 진단 의도를 파악하여 그 진단 의도에 맞는 동작을 자동으로 수행하는 컴퓨터 보조 진단 기술에 관한 것이다.
일반적인 초음파 진단 장치에서는 진단자가 프로브를 손으로 조작하여 환부를 스캔하면서 병변을 찾아낸다. 프로브는 초음파를 발생시켜 사람의 몸 안으로 전송하고, 반사되는 초음파를 수신하여 영상을 만들어 주는 장비이다. 진단자는 프로브가 만들어낸 영상에서 일단 병변을 발견하면 병변이 가장 잘 보이는 화면을 찾아내고, 그 화면을 멈추어 자세하게 병변을 관찰하고, 진단 정보를 입력하고 이후 진단을 위해서 입력된 정보를 저장하는 과정을 거치게 된다. 즉, 초음파 판독 전문의 등의 진단자는 프로브를 움직이면서 실시간으로 얻어지는 정보가 화면에 표시되면, 화면에 표시되는 초음파 영상을 먼저, 눈으로 추적하면서 병변으로 의심되는 영역을 발견하고(SCAN 단계), 병변 의심 영역이 발견되면 자세한 관찰을 위해 화면을 멈추며(FREEZE 단계), 병변의 크기와 경계를 측정하고(MEASURE 단계), 측정된 병변의 위치 및 기타 정보를 주석(Annotation)을 달아 저장한 후(SAVE 단계), 다시 스캔을 계속하기 위해 멈춘 화면을 재개하고 이 과정을 다시 반복한다. 이와 같이, 진단자는 각 단계에 따라 장비를 수동으로 조작해야 하거나, 시선을 한 곳에 집중시키지 못하는 상황이 빈번하게 발생하게 된다.
프로브로부터 입력되는 영상을 이용하여 진단을 수행하는 과정에서 사용자의 진단 의도를 판단하고 그 진단 의도에 맞는 진단 동작을 자동으로 수행하도록 하는 컴퓨터 보조 진단 장치 및 방법이 제시된다.
일 양상에 따르면, 컴퓨터 보조 진단 장치는 프로브로부터 입력된 영상에서 관심영역을 검출하는 관심영역 검출부, 관심영역이 검출되면, 프로브의 모션을 판정하는 프로브 모션 판정부, 판정된 프로브의 모션에 기초하여 사용자의 진단 의도를 판단하는 진단의도 판단부 및 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행하는 진단의도 처리부를 포함할 수 있다.
프로브 모션 판정부는 프로브로부터 입력되는 연속적인 영상을 분석하여 프로브의 모션을 판정할 수 있다.
프로브 모션 판정부는 입력된 연속적인 영상들 사이의 유사도를 산출하고, 산출된 유사도에 기초하여 프로브의 모션을 판정할 수 있다.
프로브 모션 판정부는 프로브에 탑재된 가속도 센서, 자이로 센서 및 모션 센서 중의 하나 이상을 이용하여 프로브의 모션을 판정할 수 있다.
진단의도 판단부는 프로브의 모션이 판정되면, 미리 저장된 의도별 분기 정보를 참조하여 판정된 프로브의 모션에 대응하는 진단 의도를 사용자의 진단 의도로 판단할 수 있다.
또한, 컴퓨터 보조 진단 장치는 프로브의 모션과 사용자의 진단 의도가 매핑된 상기 의도별 분기 정보를 저장하는 의도 정보 저장부를 더 포함할 수 있다.
이때, 사용자의 진단 의도는 영상 스캔, 관심영역 측정(measure), 화면 프리즈(freeze), 진단 정보 수정 및 진단 정보 저장 중의 하나 이상을 포함하는 진단 의도 중의 어느 하나일 수 있다.
진단의도 처리부는 사용자의 진단 의도가 관심영역 측정이면, 검출된 관심영역을 측정하는 관심영역 측정부, 사용자의 진단 의도가 화면 프리즈이면, 현재 화면을 프리즈하고 관심영역 측정 결과를 현재 화면에 표시하는 화면 표시부 및 사용자의 진단 의도가 진단 정보 저장이면, 현재 화면 상의 진단 정보를 저장하는 진단 정보 저장부를 포함할 수 있다.
이때, 화면 표시부는 사용자의 진단 의도가 진단 정보 수정이면 현재 화면을 수정 모드로 전환하고, 영상 스캔이면 프리즈된 현재 화면을 초기화하고 프로부로부터 입력된 다음 영상을 화면에 출력할 수 있다.
이때, 프로브의 모션은 정지 모션, 이동 모션, 수정 모션 및 저장 모션 중의 적어도 하나를 포함할 수 있다.
진단의도 판단부는 프로브의 모션이, 관심영역이 검출된 시점부터 제1 단위 시간 동안 정지 모션이면 사용자의 진단 의도를 관심영역 측정으로 판단할 수 있다.
진단의도 판단부는 프로브의 모션이, 관심영역이 측정된 시점부터 제2 단위 시간 동안 정지 모션이면 사용자의 진단 의도를 화면 프리즈 및 진단 정보 저장 중의 어느 하나로 판단할 수 있다.
진단의도 판단부는 프로브의 모션이, 화면이 프리즈된 시점부터 제3 단위 시간 이내 수정 모션이면 사용자의 진단의도를 진단 정보 수정으로 판단하고, 화면이 프리즈된 시점부터 제3 단위 시간 이내 저장 모션이면 사용자의 진단의도를 진단 정보 저장으로 판단할 수 있다.
일 양상에 따르면, 컴퓨터 보조 진단 방법은 프로브로부터 입력된 영상에서 관심영역을 검출하는 단계, 관심영역이 검출되면, 프로브의 모션을 판정하는 단계, 판정된 프로브의 모션에 기초하여 사용자의 진단 의도를 판단하는 단계 및 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행하는 단계를 포함할 수 있다.
프로브 모션을 판정하는 단계는 프로브로부터 입력되는 연속적인 영상을 분석하여 프로브의 모션을 판정할 수 있다.
프로브 모션을 판정하는 단계는 입력된 연속적인 영상들 사이의 유사도를 산출하고, 산출된 유사도에 기초하여 프로브의 모션을 판정할 수 있다.
프로브 모션을 판정하는 단계는 프로브에 탑재된 가속도 센서, 자이로 센서 및 모션 센서 중의 하나 이상을 이용하여 프로브의 모션을 판정할 수 있다.
진단 의도를 판단하는 단계는 프로브의 모션이 판정되면, 미리 저장된 의도별 분기 정보를 참조하여 판정된 프로브의 모션에 대응하는 진단 의도를 사용자의 진단 의도로 판단할 수 있다.
이때, 사용자의 진단 의도는 영상 스캔, 관심영역 측정(measure), 화면 프리즈(freeze), 진단 정보 수정 및 진단 정보 저장 중의 하나 이상을 포함하는 진단 의도 중의 어느 하나일 수 있다.
진단 과정을 수행하는 단계는 사용자의 진단 의도가, 관심영역 측정이면 검출된 관심영역을 측정하는 단계, 화면 프리즈이면 현재 화면을 프리즈하고 관심영역 측정 결과를 현재 화면에 표시하는 단계 및 진단 정보 저장이면 현재 화면 상의 진단 정보를 저장하는 단계를 포함할 수 있다.
진단 과정을 수행하는 단계는 사용자의 진단 의도가, 진단 정보 수정이면 현재 화면을 수정 모드로 전환하는 단계 및 영상 스캔이면 프리즈된 현재 화면을 초기화하고 프로부로부터 입력된 다음 영상을 화면에 출력하는 단계를 더 포함할 수 있다.
이때, 프로브의 모션은 정지 모션, 이동 모션, 수정 모션 및 저장 모션 중의 적어도 하나를 포함할 수 있다.
다른 양상에 따르면, 컴퓨터 보조 진단 장치는 프로브로부터 입력된 영상에서 관심영역을 검출하는 관심영역 검출부, 인터페이스 장치로부터 사용자의 입력 신호를 수신하는 입력 신호 수신부, 수신된 사용자의 입력 신호를 기초로 사용자의 진단 의도를 판단하는 진단의도 판단부 및 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행하는 진단의도 처리부를 포함할 수 있다.
인터페이스 장치는 컴퓨터 보조 진단 장치에 장착되거나 유무선으로 연결되는 스위치, 버튼, 트랙볼, 조그 셔틀(Jog Shuttle) 및 조이 스틱(Joy Stick) 중의 하나 이상을 포함할 수 있다.
진단의도 판단부는 인터페이스 장치로부터 수신되는 입력 신호의 수, 종류 및 그 둘을 조합한 패턴 중의 적어도 하나에 기초하여 사용자의 진단 의도를 판단할 수 있다.
진단의도 판단부는 사용자의 입력 신호가 수신되면, 미리 저장된 의도별 분기 정보를 참조하여 수신된 입력 신호에 대응하는 진단의도를 사용자의 진단 의도로 판단할 수 있다.
또한, 컴퓨터 보조 진단 장치는 사용자의 입력 신호와 진단 의도를 매핑한 상기 의도별 분기 정보를 테이블, 논리식 및 온톨로지 형태 중의 어느 하나의 형태로 저장하는 의도 정보 저장부를 더 포함할 수 있다.
프로브로부터 입력되는 영상을 이용하여 진단을 수행하는 과정에서 사용자의 진단 의도를 판단하고 그 진단 의도에 맞는 진단 동작을 자동으로 수행하도록 함으로써 사용자의 시선 분산을 최소화하고, 이를 통해 보다 빠르고 정확한 진단을 할 수 있다.
도 1은 일 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 2는 다른 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 3은 도 2의 실시예에 따른 진단의도 처리부의 블록도이다.
도 4a는 프로브 모션의 일 예이다.
도 4b는 프로브의 모션에 따른 의도별 분기 정보의 일 예이다.
도 4c는 사용자의 진단 의도에 따른 화면의 변화를 나타낸 일 예이다.
도 5는 또 다른 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 6은 사용자의 입력 신호에 따른 의도별 분기 정보의 일 예이다.
도 7은 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 8은 도 7의 실시예에서 프로브의 모션에 기초하여 진단 과정을 수행하는 단계(720)의 상세 흐름도이다.
도 9는 다른 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 10은 도 9의 실시예에서 입력 신호에 기초하여 진단 과정을 수행하는 단계(820)의 상세 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 사용자 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
실시예들에 따른 컴퓨터 보조 진단 장치는 프로브를 통해 획득되는 초음파 영상이나, CT, MRI 등의 다양한 기술로 획득되는 의료 영상을 진단하는 장치일 수 있다. 이하에서는, 설명의 편의를 위해 프로브를 통해 획득된 초음파 영상을 진단하는 장치를 예를 들어 설명한다.
도 1은 일 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 1을 참조하면, 컴퓨터 보조 진단 장치(100)는 관심영역 검출부(110), 진단의도 판단부(120) 및 진단의도 처리부(130)를 포함할 수 있다.
관심영역 검출부(110)는 사용자가 프로브를 이용하여 피검진자의 검진 영역을 스캔하면서 초음파 영상을 획득하면, 획득된 초음파 영상을 수신한다. 이때, 초음파 영상은 프로브로부터 프레임 단위로 실시간 수신될 수 있다.
또한, 관심영역 검출부(110)는 영상이 수신되면, 객체 검출 알고리즘을 수신된 현재 영상에 적용하여 관심영역을 검출할 수 있다. 여기서, 관심영역은 일반적으로 병변, 태아의 머리, 손가락, 발가락 등과 같이 사용자가 영상에서 분석하고자 하는 관심항목이 존재하는 영역을 의미하나, 이하에서는 병변으로 의심되는 영역에 한정하여 설명하기로 한다. 또한, 객체 검출 알고리즘은 아다부스트(AdaBoost), DPM(Deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 및 희소코딩(Sparse coding) 등의 다양한 알고리즘을 포함하며, 진단 장치(100)의 성능이나 진단 목적, 진단 시간 등을 고려하여 하나 이상의 적절한 알고리즘이 적용될 수 있다.
이때, 관심영역 검출부(110)는 수신된 현재 영상에서 관심영역이 검출되지 않으면, 프로브로부터 다음 영상을 수신하여 관심영역을 검출하는 과정을 반복 수행할 수 있다.
진단의도 판단부(120)는 수신된 현재 영상에서 관심영역이 검출되면, 사용자가 검출된 관심영역에 대하여 수행하고자 하는 진단 과정을 나타내는 사용자의 진단 의도를 판단할 수 있다.
예를 들어, 진단의도 판단부(120)는 프로브의 모션이나, 연결된 인터페이스로부터 수신되는 사용자의 입력 신호에 기초하여 진단의도를 판단할 수 있다. 또는, 그 밖의 안구의 움직임이나 시선 방향을 감지하는 등의 다양한 방법을 통해 사용자의 진단의도를 판단할 수 있다.
여기서, 사용자의 진단 의도는 프로브를 통해 검진영역을 스캔하는 영상 스캔, 검출된 관심영역을 측정하는 관심영역 측정, 화면을 정지시키는 화면 프리즈, 진단 정보의 수정 및 진단 정보의 저장 등을 포함할 수 있다. 하지만, 이에 한정되지 않으며, 진단 장치(100)의 컴퓨팅 성능, 진단 질환의 종류, 진단의 목적, 사용자의 숙련도 등에 따라 일부가 생략되거나 추가될 수 있다. 예컨대, 화면 프리즈 과정을 생략하여 단순화할 수 있으며, 반대로 관심영역 측정 과정을 관심영역의 크기 측정, 특징 추출, 양성/악성 판정 과정 등과 같이 세분화할 수도 있다.
진단의도 처리부(130)는 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행한다.
예를 들어, 판단된 사용자의 진단 의도가 관심영역 측정이면, 검출된 관심영역에 대한 특징 정보를 추출하고, 추출된 특징 정보를 이용하여 양성/악성 등을 판정할 수 있다. 또한, 사용자의 진단 의도가 화면 프리즈이면 현재 화면을 프리즈하고 관심영역의 측정 결과를 현재 화면에 표시할 수 있다. 또한, 사용자의 진단 의도가 진단 정보 저장이면 현재 화면 상의 진단 정보를 저장하고, 진단 정보 수정이면 현재 화면을 수정 모드로 전환할 수 있다. 또한, 사용자의 진단 의도가 영상 스캔으로 판단되면, 현재 화면을 초기화하고 프로브로부터 입력되는 다음 영상을 화면에 출력할 수 있다.
도 2는 다른 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 2를 참조하면, 컴퓨터 보조 진단 장치(200)는 관심영역 검출부(210), 진단의도 판단부(220), 진단의도 처리부(230), 프로브 모션 판정부(240) 및 의도정보 저장부(250)를 더 포함할 수 있다.
관심영역 검출부(210)는 프로브로부터 입력된 영상을 수신하고, 수신된 영상에서 관심영역을 검출한다. 이때, 관심영역 검출부(210)는 전술한 바와 같이 다양한 객체 검출 알고리즘 중에서 적절한 알고리즘을 이용하여 관심영역을 검출할 수 있다. 관심영역 검출부(210)는 현재 영상에서 관심영역이 검출되지 않으면, 영상의 수신 및 관심영역 검출 과정을 반복 수행할 수 있다.
프로브 모션 판정부(240)는 관심영역이 검출되면, 사용자의 진단 의도 판단에 기초가 되는 프로브의 모션을 판정할 수 있다. 이때, 프로브의 모션은 도 4a에 예시된 바와 같이 회전 모션, 저장 모션, 수정 모션, 주밍(zooming) 모션, 정지 모션 및 이동 모션 등을 포함하는 것으로 정의될 수 있으나, 일부가 생략되거나 추가되는 것이 가능하다.
일 실시예에 따르면, 프로브 모션 판정부(240)는 프로브로부터 입력되는 연속적인 영상을 분석하여 판정할 수 있다. 연속적으로 입력되는 영상 간의 유사한 특징점들의 이동 상태를 분석함으로써 프로브가 정지하고 있는지, 이동하고 있는지를 판단할 수 있다. 또한, 이동하고 있다면, 이동 방향 및 이동 속도를 판단할 수 있다. 예컨대, 연속적인 영상 간의 유사도를 산출하고 산출된 유사도가 임계치(예: 95%) 이상인 경우 프로브가 정지하고 있는 것으로 판단할 수 있다. 이때, 프로브의 움직임은 사용자마다 차이가 있기 때문에 진단을 수행하는 사용자별로 임계치를 다르게 설정할 수 있다.
다른 실시예에 따르면, 프로브 모션 판정부(240)는 프로브 내에 탑재된 가속도 센서, 자이로 센서, 모션 센서 등을 이용하여 프로브의 정지 여부, 이동중인 경우 이동 방향 및 속도를 판단할 수 있다. 또한, 프로브의 움직임을 촬영하기 위한 카메라나 깊이(depth) 카메라 등의 촬영 수단을 진단 장치(200)의 소정 위치에 장착하고, 그 촬영 수단을 통해 입력되는 영상을 분석하여 프로브의 모션을 판정하는 것도 가능하다.
이때, 프로브 모션 판정부(240)는 현재 영상에서 관심영역 검출 과정의 수행 성능이 감소되는 것을 방지하기 위해, 관심영역이 검출된 이후에 프로브의 모션을 판정하는 과정을 수행할 수 있다.
진단의도 판단부(220)는 현재 진단 상태에서 판정된 프로브의 모션을 기초로 이후에 수행할 사용자의 진단 의도를 판단할 수 있다. 이때, 진단의도 판단부(220)는 진단 장치(200)의 동작 상태를 수집하여 현재 수행중인 진단 상태를 판단할 수 있다. 예를 들어, 프로브가 동작하여 초음파 영상을 획득하는 영상 스캔중인지, 객체 검출 알고리즘이 수행되어 관심영역이 검출된 상태인지, 관심영역이 측정된 상태인지, 화면이 정지한 프리즈 상태인지 여부를 판단할 수 있다.
또한, 진단의도 판단부(220)는 의도정보 저장부(250)에 저장되어 있는 의도별 분기 정보를 참조하여 판정된 프로브의 모션에 대응하는 진단 의도를 사용자의 진단 의도로 판단할 수 있다. 의도별 분기 정보는 프로브의 모션과 사용자의 진단 의도를 매핑한 정보로서, 테이블, 온톨로지, 논리식 등의 다양한 형식으로 미리 저장될 수 있다.
진단의도 처리부(230)는 전술한 바와 같이, 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행한다.
도 3은 도 2의 실시예에 따른 진단의도 처리부(230)의 블록도이다. 도 3을 참조하면, 진단의도 처리부(300)는 관심영역 측정부(310), 화면 표시부(320) 및 진단 정보 저장부(330)를 포함할 수 있다.
관심영역 측정부(310)는 프로브의 모션을 기초로 하여 판단된 사용자의 진단 의도가 관심영역 측정이면, 진단 과정 중의 관심영역 측정 과정을 수행한다. 이때, 관심영역 측정 과정은 사용자가 현재 화면에서 멈추어 있는 동안 백그라운드에서 수행될 수 있다.
관심영역 측정부(310)는 구체적으로 검출된 관심영역의 크기 측정 과정, 관심영역의 특징 정보 추출 과정, 추출된 특징 정보를 이용하여 병변의 양성/악성 여부를 판정하는 과정 등을 수행하고, 관심영역 측정 정보를 생성할 수 있다.
이때, 특징 정보는 병변의 모양(Shape), 에코 패턴(Echo Pattern), 방향(Orientation), 경계(Boundary), 질감(texture) 및 강도(intensity) 등의 특징 및 렉시콘 분류(BI-RADS(Breast Imaging Reporting And Data System) 또는 LI-RADS(Liver Imaging Reporting And Data System))에 따른 병변 특성 등을 포함할 수 있다. 또한, 관심영역 측정 결과는 관심영역의 모양은 타원형(oval)이고, 기울기는 45도이며, 크기는 장축이 15mm, 단축이 5mm이고, 병변 특성은 윤곽선이 불규칙하고 음영이 있으며, 양성일 확률이 75% 등과 같이 생성될 수 있다.
화면 표시부(320)는 프로브로부터 영상이 수신되면, 수신된 현재 영상을 화면에 출력한다. 또한, 현재 영상에서 관심영역이 검출되면, 검출된 관심영역의 정보(예: 위치, 크기 등)를 이용하여 화면 상의 현재 영상에 관심영역을 시각적으로 표시할 수 있다. 예를 들어, 화면 표시부(320)는 화면에 출력되어 있는 현재 영상의 대응되는 위치에 관심영역임을 지시하는 시각적인 표시(예: 바운딩 박스, 원형, 타원형, 십자 마크 등)를 색상이나 선의 종류, 굵기 등을 조절하여 시각적으로 표시할 수 있다.
또한, 화면 표시부(320)는 관심영역의 측정 과정이 시작된 후에 사용자의 진단 의도가 화면 프리즈로 판단되면, 현재 화면을 프리즈하고 관심영역의 측정 정보를 포함하는 진단 정보를 화면에 출력할 수 있다.
또한, 화면 표시부(320)는 관심영역의 측정 정보를 포함하는 진단 정보가 현재 화면에 출력된 후에 사용자의 진단 의도가 진단 정보 수정으로 판단되면, 사용자가 진단 정보를 수정할 수 있도록 현재 화면을 수정 모드로 전환할 수 있다.
이때, 사용자는 진단 장치(200)에 탑재된 키보드, 터치 패널, 마우스, 프로브 등의 다양한 입력 수단을 활용하여 현재 영상에서 관심영역의 위치, 크기, 및 측정 정보 등의 진단 정보를 수정할 수 있다. 또한, 사용자가 양 손을 프로브 조작 등의 진단에 집중할 수 있도록, 진단 장치(200)에는 음성 인식 기술이 탑재될 수 있으며, 사용자는 이러한 음성 인식 기술을 이용하여 음성으로 진단 정보를 수정할 수 있다. 여기서, 음성 인식 기술은 이미 알려진 다양한 기술이 활용될 수 있으므로 자세한 설명은 생략한다.
또한, 각 진단 과정의 수행 중에 사용자의 진단 의도가 새로운 영상의 입력을 나타내는 영상 스캔으로 판단되면, 화면 표시부(320)는 프리즈된 현재 화면을 초기화하고, 프로브로부터 입력된 다음 영상을 화면에 출력할 수 있다.
진단 정보 저장부(330)는 관심영역에 대한 측정 과정이 수행된 후, 사용자의 진단 의도가 진단 정보 저장으로 판단되면, 화면에 표시된 현재 영상 및 측정 정보를 포함하는 진단 정보를 저장할 수 있다.
도 4a는 프로브 모션의 일 예이다. 도 4b는 프로브의 모션에 매핑된 의도별 분기 정보의 일 예이다. 도 4c는 사용자의 진단 의도에 따른 화면의 변화를 나타낸 일 예이다.
도 2, 도 4a 내지 도 4c를 참조하여 사용자의 진단 의도에 기초한 진단 과정의 수행 절차를 예를 들어 설명한다.
도 4a에 예시된 바와 같이, 프로브의 모션은 회전 모션, 저장 모션, 수정 모션, 주밍 모션, 정지 모션 및 이동 모션 등으로 구분되어 미리 정의될 수 있으나, 이에 한정되는 것은 아니다. 또한, 프로브의 모션은 회전(Turn), 밀기(Push), 좌우 흔들기(LR Shake), 전후 흔들기(FB Shake), 정지(Stay), 이동(Move)과 같이 실제 사용자가 조작하는 프로브의 동작과 매칭되도록 정의될 수 있다.
도 4b는 의도 정보 저장부(250)에 저장된 의도별 분기 정보의 일 예로서, 의도별 분기 정보는 프로브의 모션과 사용자의 진단 의도가 매핑되어 정의될 수 있다. 이때, 예시된 바와 같이, 의도별 분기 정보는 각 진단 상태별로 프로브의 모션과 사용자의 진단 의도가 매핑될 수 있다. 진단 상태는 관심영역 검출, 관심영역 표시, 관심영역 측정, 화면 프리즈, 진단 정보 표시 및 영상 스캔 등의 진단 과정에 기초하여 하나 이상의 진단 상태로 분류될 수 있다. 하지만, 전술한 바와 같이 진단 과정 중의 일부가 생략되거나 새로운 진단 과정이 추가될 수 있으며, 이에 따라 진단 상태도 다르게 정의될 수 있다.
프로브 모션 판정부(240)는 현재 영상에서 관심영역이 검출된 이후 지속적으로 프로브의 모션을 판정한다.
이때, 진단의도 판단부(220)는 검출된 관심영역이 화면에 표시되면, 검출된 관심영역이 화면에 표시된 시점부터 제1 단위 시간(예: 2초) 동안 판정된 프로브의 모션을 확인하고, 제1 단위 시간 동안 프로브의 모션이 지속적으로 정지 모션이면 도 4b의 의도별 분기 정보를 참조하여 사용자의 진단 의도를 검출된 관심영역의 측정으로 판단할 수 있다.
이때, 진단의도 처리부(230)는 사용자의 진단 의도에 따라 관심영역의 측정 과정을 수행하고, 그 결과로서 관심영역 특징 정보, 양성/악성 판정 정보 등의 측정 정보를 생성할 수 있다.
한편, 진단의도 판단부(220)는 제1 단위 시간이 경과하기 이전에 사용자가 프로브를 이동시킴으로써 프로브의 모션이 이동 모션으로 판정되면, 사용자의 진단 의도를 영상 스캔으로 판단할 수 있다.
진단의도 처리부(230)는 사용자의 진단 의도가 영상 스캔으로 판단되면, 현재 화면을 초기화하고, 프로브의 이동에 따라 입력되는 새로운 영상을 화면에 출력할 수 있다.
또한, 진단의도 판단부(220)는 관심영역의 측정이 시작되면, 제2 단위 시간(예: 2초) 동안의 프로브의 모션을 확인한다. 제2 단위 시간 동안의 프로브의 모션이 지속적으로 정지 모션이면, 사용자의 진단 의도를 보다 자세한 관찰을 위한 화면 프리즈 및 진단 정보 표시로 판단할 수 있다.
이에 따라, 진단의도 처리부(230)는 화면을 프리즈하고, 측정된 관심영역의 측정 정보를 포함하는 진단 정보를 화면에 출력할 수 있다.
한편, 제2 단위 시간을 두 개의 구간으로 나누어 각 구간에서의 프로브의 모션에 따라 화면 프리즈와 진단 정보 표시의 사용자 진단 의도를 각각 판단하도록 할 수 있다. 이 경우, 첫 번째 구간(예: 1초)에서의 사용자의 진단 의도의 판단 결과에 따라 화면이 프리즈된 이후, 두 번째 구간(예: 1초)에서 프로브의 조작에 따라 프로브의 모션이 이동 모션 또는 저장 모션 등으로 판정되면, 그에 상응하여 사용자의 진단 의도를 영상 스캔 또는 진단 정보 저장으로 판단할 수 있다.
이때, 진단의도 처리부(230)는 화면이 프리즈된 상태에서 화면에 진단 정보를 출력하지 않고 사용자의 진단의도에 따라 현재 화면을 초기화하거나 진단 정보를 바로 저장할 수 있다.
한편, 관심영역을 측정하는 시간이 제2 단위 시간 보다 길어지는 경우 제2 단위 시간 이내에 측정이 가능한 일부의 측정 과정, 예컨대, 관심영역의 크기 측정 과정만을 수행하여 그 결과를 표시하고, 나머지 측정 과정은 화면이 프리즈된 단계에서 수행하여 순차적으로 화면에 결과를 표시할 수 있다.
또한, 진단의도 판단부(220)는 진단 정보가 화면에 표시된 상태에서 제3 단위 시간(예: 1초) 동안의 프로브의 모션이 정지 모션이면, 사용자의 진단 의도를 자동 진단 정보 저장으로 판단할 수 있다. 또한, 진단의도 판단부(220)는 제3 단위 시간 이내라도 사용자가 프로브를 직각 방향으로 미는 동작을 수행함으로써 프로브의 모션이 저장 모션으로 판정되도록 하면, 사용자의 진단 의도를 수동 진단 정보 저장으로 판단할 수 있다.
이때, 진단의도 처리부(230)는 사용자의 진단의도에 따라 진단 정보를 저장하며, 필요에 따라 자동/수동 저장 여부를 함께 저장할 수 있다.
한편, 사용자는 진단 정보가 화면에 표시된 상태에서 진단 정보의 수정이 필요하다고 판단한 경우 제3 단위 시간이 경과하기 전에 프로브를 좌우로 흔들어, 프로브의 모션이 수정 모션으로 판정되도록 할 수 있다. 이에 따라, 진단의도 판단부(220)는 사용자의 진단 의도를 진단 정보 수정으로 판단하고, 진단의도 처리부(230)는 사용자의 진단 의도에 따라 현재 화면을 수정 모드로 전환할 수 있다.
한편, 각 진단 상태에서 사용자는 언제든지 각 단위 시간 이내에 프로브를 이동시킴으로써, 프로브의 모션을 이동 모션으로 판정되도록 할 수 있다. 이에 따라, 진단의도 판단부(220)는 사용자의 진단 의도를 영상 스캔으로 판단하고, 진단의도 판단부(230)는 현재 화면을 초기화한 후 새로 입력되는 영상을 화면에 출력할 수 있다.
여기서, 제1 단위 시간, 제2 단위 시간 및 제3 단위 시간 등은 진단 장치(200)의 성능, 진단의 목적, 대상 질환의 종류, 사용자의 숙련도 등에 따라 적절하게 설정될 수 있다. 예컨대, 컴퓨터의 성능이 낮은 경우 관심영역을 측정하는 시간이 비교적 오래 소요되므로, 관심영역의 측정 시점부터 계산되는 제2 단위 시간 역시 비례하여 길게 설정될 수 있다. 또한, 사용자의 숙련도가 낮은 경우 화면에 출력된 영상 및 진단 정보의 분석 시간이 오래 걸리므로, 진단 정보의 저장 또는 수정 여부를 판단하는 제3 단위 시간을 상대적으로 길게 설정할 수도 있다.
도 4c는 왼쪽에서부터 차례대로, 영상 수신 시점부터 진단 정보 저장 시점까지의 사용자의 진단 의도에 따른 화면의 변화를 나타낸 것이다.
도 4c를 참조하면, 먼저 사용자가 프로브(41)를 이동시켜 영상이 수신되면 화면에 출력되고, 관심영역 검출 과정이 수행된다(왼쪽에서 첫 번째).
이후, 관심영역이 검출되면 관심영역을 나타내는 바운딩 박스(42)가 화면에 출력될 수 있고, 사용자가 관심영역이 검출된 시점부터 2초 이상 프로브(41)를 정지 상태로 유지함으로써 관심영역에 대한 측정 과정이 수행될 수 있다(왼쪽에서 두 번째).
이후, 관심영역이 측정된 시점부터 사용자가 프로브(41)를 계속해서 1초 이상 정지 상태로 두면, 화면의 하단에 측정 정보(43)가 표시될 수 있다(왼쪽에서 세 번째).
그 다음, 사용자가 프로브(41)를 푸시(push)하여 진단 정보를 저장하려는 의도를 나타내면, 현재 화면의 진단 정보(42,43)를 저장하고 화면의 상단에 저장되었음을 나타내는 "SAVED" 표시가 출력될 수 있다(왼쪽에서 네 번째).
도 5는 또 다른 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다. 도 6은 사용자의 입력 신호에 따른 의도별 분기 정보의 일 예이다.
도 5를 참조하면, 컴퓨터 보조 진단 장치(500)는 관심영역 검출부(510), 진단의도 판단부(520), 진단의도 처리부(530), 입력 신호 수신부(540) 및 의도정보 저장부(550)를 포함할 수 있다.
본 실시예의 컴퓨터 보조 진단 장치(500)는 도 1 및 도 2의 실시예에 따른 컴퓨터 보조 진단 장치(100,200)의 다른 실시예로서, 동일한 명칭을 가진 구성 요소들은 실질적으로 동일한 기능을 수행하는 것으로 해석될 수 있다. 따라서, 이하 중복되지 않는 기능을 중심으로 설명한다.
전술한 바와 같이, 관심영역 검출부(510)는 프로브로부터 영상을 수신하고, 수신된 현재 영상에 객체 검출 알고리즘을 적용하여 관심영역을 검출한다.
입력 신호 수신부(540)는 인터페이스 장치로부터 입력되는 사용자의 입력 신호를 수신한다. 이때, 인터페이스 장치는 프로브를 조작하지 않는 신체의 일부를 이용하여 조작이 가능하도록 진단 장치(500)에 연결된 스위치나 버튼, 트랙볼, 조그 셔틀, 조이 스틱 등이 될 수 있다. 또한, 머리에 착용 가능한 머리띠 형태나 얼굴에 착용 가능한 안경 형태의 신호 발생 장치를 포함할 수 있다.
진단의도 판단부(530)는 입력 신호 수신부(540)가 수신한 사용자의 입력 신호, 예컨대, 단위 시간당 입력되는 입력 신호의 수나, 입력 신호의 종류, 그 둘을 조합한 패턴 등을 기초로 사용자의 진단 의도를 판단할 수 있다.
또한, 진단의도 판단부(530)는 의도 정보 저장부(550)에 저장된 의도별 분기 정보를 활용하여, 입력 신호에 따른 사용자의 진단 의도를 판단할 수 있다.
이때, 의도별 분기 정보는 미리 정의된 입력 신호의 수, 종류 및 조합 패턴 중의 적어도 하나와 사용자의 진단 의도를 매핑한 정보로서, 테이블, 논리식 또는 복잡한 온톨로지 등의 다양한 형식으로 저장될 수 있다.
일 예로, 의도별 분기 정보는 조그셔틀이나 조이스틱 등 어느 하나의 인터페이스 장치의 조작에 따라 발생하는 각종 신호와 진단 의도를 매핑한 정보일 수 있다. 예컨대, 조그셔틀의 상하좌우 밀기 신호는 각각 관심영역 측정, 화면 프리즈, 진단정보 저장 및 진단 정보 수정으로 매핑하고, 흔들기 신호는 화면을 초기화하고 새로운 영상을 입력받는 영상 스캔으로 매핑할 수 있다.
다른 예로, 의도별 분기 정보는 아래의 도 6에 예시한 바와 같이, 인터페이스 장치의 종류에 상관없이 일정 단위 시간 동안에 입력되는 입력 신호의 수에 진단 의도를 매핑한 정보일 수 있다.
또 다른 예로, 의도별 분기 정보는 조그셔틀(왼손 조작)과 스위치(왼발 조작) 등 둘 이상의 인터페이스 장치로부터 입력되는 신호를 조합한 패턴, 둘 이상의 인터페이스 장치의 종류와 단위 시간 내의 입력 신호의 수를 조합한 패턴 등과 진단 의도를 매핑한 정보일 수 있다. 예컨대, 관심영역 검출된 후 입력되는 스위치 신호는 관심영역 측정, 관심영역이 측정된 후 조그셔틀의 각 조작 신호는 화면 프리즈, 진단 정보 저장 및 진단 정보 수정, 영상 스캔으로 매핑할 수 있다.
진단의도 처리부(530)는 전술한 바와 같이 의도별 분기 정보를 참조하여 사용자의 입력 신호를 기초로 판단한 사용자의 진단 의도에 상응하는 진단 과정을 수행할 수 있다.
도 6은 진단 상태별로 입력 신호의 수에 따라 정의된 사용자의 진단 의도를 나타내는 의도별 분기 정보를 예시한 것이다.
도 6의 예시를 참조하여 인터페이스 장치로부터 입력되는 입력 신호의 수에 기초하여 사용자의 진단 의도를 판단하는 일 실시예를 설명한다.
진단의도 판단부(520)는 검출된 관심영역이 화면에 표시된 상태에서, 단위 시간 이내에 인터페이스로부터 연속 1회의 입력 신호가 수신되면, 사용자의 진단 의도를 검출된 관심영역의 측정으로 판단할 수 있다. 이때, 관심영역을 측정하는 과정은 관심영역의 크기를 측정, 특징 정보 추출, 양성/악성 판정 과정 등으로 세분화될 수 있다.
진단의도 판단부(520)는 단위 시간 이내에 사용자로부터 아무런 입력 신호가 수신되지 않거나, 3회의 입력 신호가 수신되면 사용자의 진단 의도를 현재 화면을 초기화 및 다음 영상을 입력받는 영상 스캔으로 판단할 수 있다.
또한, 진단의도 판단부(520)는 화면에 관심영역 측정 정보를 포함하는 진단 정보가 표시된 상태에서, 단위 시간 이내에 인터페이스 장치로부터 1회의 입력 신호가 수신되면, 사용자의 진단 의도를 진단 정보 수정으로 판단할 수 있다.
또한, 진단의도 판단부(520)는 화면에 진단 정보가 표시된 상태, 진단 정보 수정 상태에서, 단위 시간 이내에 연속 2회의 입력 신호가 수신되면 사용자의 진단 의도를 진단 정보 저장으로 판단할 수 있다.
한편, 사용자는 언제든지 현재의 관심영역을 관찰하는 것이 더 이상 의미 없는 것으로 판단되면 단위 시간 이내에 연속 3회의 신호를 입력함으로써, 현재 화면의 초기화 및 프로브로부터 새로운 영상을 입력받을 수 있다.
이때, 단위 시간은 진단 장치(300)의 성능, 진단의 목적, 대상 질환의 종류, 사용자의 숙련도 등에 따라 상이하게 설정될 수 있다. 또한, 단위 시간은 각 진단 상태별로 다르게 설정될 수 있다.
도 7은 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 7은 도 2의 컴퓨터 보조 진단 장치(200)에 의해 프로브 모션에 기초하여 진단을 수행하는 진단 방법의 일 실시예이다.
컴퓨터 보조 진단 장치(200)는 프로브로부터 영상을 수신한다(711).
그 다음, 수신된 현재 영상에서 관심영역을 검출한다(712). 이때, 아다부스트(AdaBoost), DPM(Deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 및 희소코딩(Sparse coding) 등의 객체 검출 알고리즘 중에서 컴퓨터 보조 진단 장치(200)의 컴퓨팅 성능 등을 고려한 적절한 알고리즘을 현재 영상에 적용하여 관심영역을 검출할 수 있다.
그 다음, 현재 영상에서 관심영역이 검출되지 않으면(713), 프로브로부터 영상을 수신하는 단계(711)로 이동하고, 현재 영상에서 관심영역이 검출되면(713), 프로브의 모션을 판정한다(714).
일 예로, 진단 장치(200)는 프로브로부터 수신되는 연속적인 영상 간의 유사도를 산출하고, 산출된 유사도에 기초하여 프로브의 모션을 판정할 수 있다. 예컨대, 산출된 유사도가 임계치 이상이면 프로브의 모션을 정지 모션으로 판정하고, 그렇지 않으면 이동 모션으로 판정할 수 있다.
다른 예로, 프로브에 탑재된 가속도 센서, 자이로 센서, 모션 센서 등을 통해 프로브의 동작 상태를 수집하고, 수집된 동작 상태에 기초하여 프로브의 모션을 판정할 수 있다. 또는, 여기에 예시되지 않은 다양한 방법(예: 프로브의 움직임을 촬영한 영상의 분석)을 통해 프로브의 모션을 판단하는 것이 가능하다.
그 다음, 판정된 프로브의 모션에 기초하여 사용자의 진단 의도를 판단할 수 있다(715). 이때, 사용자의 진단 의도는 영상 스캔, 관심영역 측정, 화면 프리즈, 진단 정보 저장 및 진단 정보 수정 등을 포함하며, 진단 장치(200)의 성능, 진단의 목적, 진단 대상, 사용자의 숙련도 등의 다양한 조건에 따라 일부의 진단 의도가 생략되거나 추가되는 것이 가능하다. 또한, 전술한 바와 같이, 프로브의 모션과 진단 의도를 매핑한 의도별 분기 정보를 참조하여 판정된 프로브의 모션에 해당하는 진단 의도를 사용자의 진단 의도로 판단할 수 있다.
그 다음, 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행한다(716). 예를 들어, 사용자의 진단 의도가 관심영역 측정이면, 검출된 병변의 특징을 추출 및 양성/악성 등을 판정하고, 사용자의 진단 의도가 화면 프리즈이면 현재 화면을 프리즈하여 측정 결과를 현재 화면에 표시할 수 있다. 또한, 사용자의 진단 의도가 진단 정보 저장이면 현재 화면 상의 진단 정보를 저장하고, 진단 정보 수정이면 현재 화면을 수정 모드로 전환할 수 있다. 또한, 사용자의 진단 의도가 영상 스캔이면, 현재 화면을 초기화하고 프로브로부터 입력되는 다음 영상을 화면에 출력할 수 있다.
도 8은 도 7의 실시예에서 프로브의 모션에 기초하여 진단 과정을 수행하는 단계(720)의 상세 흐름도이다. 도 8을 참조하여 프로브의 모션에 기초한 진단 과정(720)의 일 실시예를 보다 상세하게 설명한다.
먼저, 진단 장치(200)는 도 7의 판단 단계(713)에서 관심영역이 검출되면, 화면상의 현재 영상에 검출된 관심영역을 표시한다(801). 이때, 검출된 관심영역의 위치나 크기 정보 등을 이용하여 영상에 관심영역을 나타내는 시각적인 표시 예컨대, 바운딩 박스, 타원, 원 등을 출력할 수 있다.
그 다음, 관심영역이 검출된 시점부터 2초 동안의 프로브의 모션이 정지 모션이면(802) 사용자의 진단 의도를 관심영역의 측정으로 판단하여, 사용자의 진단 의도에 대응하는 관심영역 측정 과정을 수행한다(803).
이때, 사용자가 2초 이내에 프로브를 이동함으로써 프로브의 모션이 이동 모션으로 판단되는 경우(802), 사용자의 진단 의도를 검진영역을 계속 스캔하는 영상 스캔으로 판정하여 도 7의 영상 수신 단계(711)로 이동한다.
그 다음, 관심영역의 측정 시점부터 1초 동안의 프로브의 모션이 정지 모션이면(804), 사용자의 진단 의도를 현재 영상 및 관심영역의 측정 결과 관찰을 위한 화면 프리즈로 판단하여, 현재 화면을 프리즈한다(805).
이때, 1초 이내에 프로브가 이동하게 되면, 사용자가 더 이상 현재의 관심영역에 관심이 없는 것으로 판단하여, 도 7의 영상 수신 단계(711)로 이동할 수 있다.
그 다음, 화면이 프리즈된 이후 1초 동안의 프로브의 모션이 정지 모션이면(806), 사용자의 진단 의도를 진단 정보의 자세한 분석을 위한 진단 정보 표시로 결정하고, 관심 영역 측정 결과를 포함하는 진단 정보를 화면에 표시할 수 있다(807).
이때, 마찬가지로 1초 이내에 프로브가 이동하게 되면, 사용자의 진단 의도를 영상 스캔으로 판단하고 도 7의 영상 수신 단계(711)로 이동할 수 있다.
한편, 단계(804) 내지 단계(807)은 두 단계로 병합될 수 있다. 예컨대 관심영역이 측정된 시점부터 2초 동안 프로브의 모션이 정지 모션인지를 판단하는 단계와, 정지 모션인 경우 현재 화면을 프리즈하고 진단 정보를 출력하는 단계로 병합될 수 있다.
그 다음, 진단 정보가 화면에 표시된 후 프로브의 모션이 수정 모션으로 판단되면(808), 사용자의 진단 의도를 진단 정보 수정으로 판단하여 현재 화면을 수정 모드로 전환할 수 있다(809).
그 다음, 화면에 진단 정보가 표시된 후 또는 수정 모드 전환 후에, 1초 동안의 프로브 모션이 정지 모션이거나, 1초 이내라도 프로브의 모션이 저장 모션으로 판단되면(810), 사용자의 진단 의도를 진단 정보 저장으로 판단하고, 현재 영상, 관심영역 정보 및 측정 결과를 포함하는 진단 정보를 저장할 수 있다(811).
이때, 사용자가 프로브를 1초 이내에 이동시키게 되면, 사용자의 진단 의도는 영상 스캔으로 판정되고 이에 따라 도 7의 프로브로부터 다음 영상을 수신하는 단계(711)로 이동한다.
그 다음, 사용자가 진단 장치(200)의 전원을 종료하거나 미리 정의된 프로브의 동작을 수행하면(812), 사용자의 진단 의도를 진단 완료로 판단하고 진단을 종료할 수 있다. 그렇지 않으면 도 7의 영상 수신 단계(711)로 이동한다.
도 9는 다른 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 9는 도 5의 컴퓨터 보조 진단 장치(500)에 의해 입력 신호에 기초하여 진단을 수행하는 진단 방법의 일 실시예이다.
먼저, 컴퓨터 보조 진단 장치(500)는 프로브로부터 영상을 수신한다(911).
그 다음, 수신된 현재 영상에서 관심영역을 검출한다(912). 이때, 다양한 객체 검출 알고리즘 중에서 컴퓨팅 성능 등을 고려하여 적절한 알고리즘을 현재 영상에 적용하여 관심영역을 검출할 수 있다.
그 다음, 현재 영상에서 관심영역이 검출되지 않으면(913), 프로브로부터 영상을 수신하는 단계(911)로 이동한다. 이때, 현재 영상에서 관심영역이 검출되면(913) 사용자의 입력 신호를 수신하고(914), 사용자의 입력 신호에 기초하여 사용자의 진단 의도를 판단할 수 있다(915). 이때, 전술한 바와 같이, 인터페이스 장치에 따른 입력 신호의 수, 종류 및 그들의 조합 패턴 중의 적어도 하나와 진단 의도를 매핑한 의도별 분기 정보를 참조하여 사용자의 진단 의도를 판단할 수 있다.
그 다음, 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행한다(916).
도 10은 도 9의 실시예에서 입력 신호에 기초하여 진단 과정을 수행하는 단계(820)의 상세 흐름도로서, 입력 신호의 수를 기초로 사용자의 진단 의도를 판단하는 실시예이다.
도 10을 참조하여 일 실시예를 상세하게 설명하면, 도 9의 판단 단계(913)에서 관심영역이 검출되면 화면상의 현재 영상에 검출된 관심영역을 표시한다(1001). 이때, 검출된 관심영역의 위치나 크기 정보 등을 이용하여 영상에 관심영역을 나타내는 시각적인 표시 예컨대, 바운딩 박스, 타원, 원 등을 다양한 색상 등을 활용하여 출력할 수 있다.
그 다음, 관심영역이 검출된 이후 단위 시간 내에 1회의 입력 신호가 수신되면(1002), 사용자의 진단 의도를 관심영역의 측정으로 판단하여 관심영역 측정 과정을 수행하고, 측정 결과를 포함하는 진단 정보를 화면에 표시할 수 있다(1003).
이때, 단위 시간 내에 입력 신호가 수신되지 않거나, 3회의 연속적인 신호가 수신되면(1002), 사용자의 진단 의도를 영상 스캔으로 판단하여 도 9의 영상 수신 단계(911)로 이동할 수 있다.
그 다음, 관심영역이 표시된 후 단위 시간 내에 다시 1회의 입력 신호가 수신되면(1004), 사용자의 진단 의도를 진단 정보 수정으로 판단하고 현재 화면을 수정 모드로 전환할 수 있다(1005).
그 다음, 관심영역이 표시된 후 단위 시간 내에 연속 2회의 입력 신호가 수신되거나, 현재 화면이 수정 모드로 전환된 후 단위 시간 내에 연속 2회의 입력 신호가 수신되면(1006), 사용자의 진단 의도를 진단 정보의 저장으로 판단하고 진단 정보를 저장할 수 있다(1008).
이때, 단위 시간 내에 연속 3회의 입력 신호가 입력되는 경우에는(1007), 사용자의 진단 의도를 영상 스캔으로 판단하여 도 9의 영상 수신 단계(911)로 이동할 수 있다.
그 다음, 사용자가 진단 장치(500)의 전원을 종료하거나 미리 정의된 프로브의 동작을 수행하면(1009), 사용자의 진단 의도를 진단 완료로 판단하고 진단을 종료한다. 그렇지 않으면 도 9의 영상 수신 단계(911)로 이동하여 그 이하 단계를 반복 수행한다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100, 200, 500: 컴퓨터 보조 진단 장치
110, 210, 510: 관심영역 검출부
120, 220, 520: 진단의도 판단부
130, 230, 300, 530: 진단의도 처리부
240: 프로브 모션 판정부
540: 입력 신호 수신부
250, 550: 의도 정보 저장부
310: 관심영역 측정부
320: 화면 표시부
330: 진단 정보 저장부

Claims (27)

  1. 프로브로부터 입력된 영상에서 관심영역을 검출하는 관심영역 검출부;
    상기 관심영역이 검출되면, 프로브의 모션을 판정하는 프로브 모션 판정부;
    진단 장치의 동작 상태에 기초하여, 현재 수행 중인 진단 상태를 판단하고, 상기 진단 상태 및 상기 판정된 프로브의 모션에 기초하여 사용자의 진단 의도를 판단하는 진단의도 판단부; 및
    상기 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행하는 진단의도 처리부를 포함하고,
    상기 프로브의 모션은 회전(Turn), 밀기(Push), 좌우 흔들기(LR shake), 전후 흔들기(FB shake), 정지(Stay), 및 이동(Move) 중 적어도 하나를 포함하는 컴퓨터 보조 진단 장치.
  2. 제1항에 있어서,
    상기 프로브 모션 판정부는
    상기 프로브로부터 입력되는 연속적인 영상을 분석하여 상기 프로브의 모션을 판정하는 컴퓨터 보조 진단 장치.
  3. 제2항에 있어서,
    상기 프로브 모션 판정부는
    상기 입력된 연속적인 영상들 사이의 유사도를 산출하고, 산출된 유사도에 기초하여 상기 프로브의 모션을 판정하는 컴퓨터 보조 진단 장치.
  4. 제1항에 있어서,
    상기 프로브 모션 판정부는
    상기 프로브에 탑재된 가속도 센서, 자이로 센서 및 모션 센서 중의 하나 이상을 이용하여 상기 프로브의 모션을 판정하는 컴퓨터 보조 진단 장치.
  5. 제1항에 있어서,
    상기 진단의도 판단부는
    프로브의 모션이 판정되면, 미리 저장된 의도별 분기 정보를 참조하여 상기 판정된 프로브의 모션 및 상기 진단 상태에 대응하는 진단 의도를 사용자의 진단 의도로 판단하는 컴퓨터 보조 진단 장치.
  6. 제5항에 있어서,
    진단 상태 및 프로브의 모션이 사용자의 진단 의도에 매핑된 상기 의도별 분기 정보를 저장하는 의도 정보 저장부를 더 포함하는 컴퓨터 보조 진단 장치.
  7. 제1항에 있어서,
    상기 사용자의 진단 의도는
    영상 스캔, 관심영역 측정(measure), 화면 프리즈(freeze), 화면 프리즈 해제, 진단 정보 수정 및 진단 정보 저장 중의 하나 이상을 포함하는 진단 의도 중의 어느 하나인 컴퓨터 보조 진단 장치.
  8. 제7항에 있어서,
    상기 진단의도 처리부는
    상기 사용자의 진단 의도가 관심영역 측정이면, 상기 검출된 관심영역을 측정하는 관심영역 측정부;
    상기 사용자의 진단 의도가 화면 프리즈이면, 현재 화면을 프리즈하고 관심영역 측정 결과를 현재 화면에 표시하는 화면 표시부; 및
    상기 사용자의 진단 의도가 진단 정보 저장이면, 현재 화면 상의 진단 정보를 저장하는 진단 정보 저장부를 포함하는 컴퓨터 보조 진단 장치.
  9. 제8항에 있어서,
    상기 화면 표시부는
    상기 사용자의 진단 의도가 진단 정보 수정이면 현재 화면을 수정 모드로 전환하고, 영상 스캔이면 프리즈된 현재 화면을 초기화하고 프로부로부터 입력된 다음 영상을 화면에 출력하는 컴퓨터 보조 진단 장치.
  10. 제1항에 있어서,
    상기 프로브의 모션은
    정지 모션, 이동 모션, 수정 모션 및 저장 모션 중의 적어도 하나를 포함하는 컴퓨터 보조 진단 장치.
  11. 제10항에 있어서,
    상기 진단의도 판단부는
    상기 프로브의 모션이, 관심영역이 검출된 시점부터 제1 단위 시간 동안 정지 모션이면 사용자의 진단 의도를 관심영역 측정으로 판단하는 컴퓨터 보조 진단 장치.
  12. 제11항에 있어서,
    상기 진단의도 판단부는
    상기 프로브의 모션이, 관심영역이 측정된 시점부터 제2 단위 시간 동안 정지 모션이면 사용자의 진단 의도를 화면 프리즈 및 진단 정보 저장 중의 어느 하나로 판단하는 컴퓨터 보조 진단 장치.
  13. 제11항에 있어서,
    상기 진단의도 판단부는
    상기 프로브의 모션이, 화면이 프리즈된 시점부터 제3 단위 시간 이내 수정 모션이면 사용자의 진단의도를 진단 정보 수정으로 판단하고, 화면이 프리즈된 시점부터 제3 단위 시간 이내 저장 모션이면 사용자의 진단의도를 진단 정보 저장으로 판단하는 컴퓨터 보조 진단 장치.
  14. 프로브로부터 입력된 영상에서 관심영역을 검출하는 단계;
    상기 관심영역이 검출되면, 프로브의 모션을 판정하는 단계;
    진단 장치의 동작 상태에 기초하여, 현재 수행 중인 진단 상태를 판단하는 단계;
    상기 진단 상태 및 상기 판정된 프로브의 모션에 기초하여 사용자의 진단 의도를 판단하는 단계; 및
    상기 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행하는 단계를 포함하고,
    상기 프로브의 모션은 회전(Turn), 밀기(Push), 좌우 흔들기(LR shake), 전후 흔들기(FB shake), 정지(Stay), 및 이동(Move) 중 적어도 하나를 포함하는 컴퓨터 보조 진단 방법.
  15. 제14항에 있어서,
    상기 프로브 모션을 판정하는 단계는
    상기 프로브로부터 입력되는 연속적인 영상을 분석하여 상기 프로브의 모션을 판정하는 컴퓨터 보조 진단 방법.
  16. 제15항에 있어서,
    상기 프로브 모션을 판정하는 단계는
    상기 입력된 연속적인 영상들 사이의 유사도를 산출하고, 산출된 유사도에 기초하여 상기 프로브의 모션을 판정하는 컴퓨터 보조 진단 방법.
  17. 제14항에 있어서,
    상기 프로브 모션을 판정하는 단계는
    상기 프로브에 탑재된 가속도 센서, 자이로 센서 및 모션 센서 중의 하나 이상을 이용하여 상기 프로브의 모션을 판정하는 컴퓨터 보조 진단 방법.
  18. 제14항에 있어서,
    상기 진단 의도를 판단하는 단계는
    프로브의 모션이 판정되면, 미리 저장된 의도별 분기 정보를 참조하여 상기 판정된 프로브의 모션 및 상기 진단 상태에 대응하는 진단 의도를 사용자의 진단 의도로 판단하는 컴퓨터 보조 진단 방법.
  19. 제14항에 있어서,
    상기 사용자의 진단 의도는
    영상 스캔, 관심영역 측정(measure), 화면 프리즈(freeze), 화면 프리즈 해제, 진단 정보 수정 및 진단 정보 저장 중의 하나 이상을 포함하는 진단 의도 중의 어느 하나인 컴퓨터 보조 진단 방법.
  20. 제19항에 있어서,
    상기 진단 과정을 수행하는 단계는 상기 사용자의 진단 의도가,
    관심영역 측정이면 검출된 관심영역을 측정하는 단계;
    화면 프리즈이면 현재 화면을 프리즈하고 관심영역 측정 결과를 현재 화면에 표시하는 단계; 및
    진단 정보 저장이면 현재 화면 상의 진단 정보를 저장하는 단계를 포함하는 컴퓨터 보조 진단 방법.
  21. 제20항에 있어서,
    상기 진단 과정을 수행하는 단계는 상기 사용자의 진단 의도가,
    진단 정보 수정이면 현재 화면을 수정 모드로 전환하는 단계; 및
    영상 스캔이면 프리즈된 현재 화면을 초기화하고 프로부로부터 입력된 다음 영상을 화면에 출력하는 단계를 더 포함하는 컴퓨터 보조 진단 방법.
  22. 제14항에 있어서,
    상기 프로브의 모션은
    정지 모션, 이동 모션, 수정 모션 및 저장 모션 중의 적어도 하나를 포함하는 컴퓨터 보조 진단 방법.
  23. 프로브로부터 입력된 영상에서 관심영역을 검출하는 관심영역 검출부;
    인터페이스 장치로부터 사용자의 입력 신호를 수신하는 입력 신호 수신부;
    진단 장치의 동작 상태에 기초하여, 현재 수행 중인 진단 상태를 판단하고, 상기 진단 상태 및 상기 수신된 사용자의 입력 신호를 기초로 사용자의 진단 의도를 판단하는 진단의도 판단부; 및
    상기 판단된 사용자의 진단 의도에 상응하는 진단 과정을 수행하는 진단의도 처리부를 포함하는 컴퓨터 보조 진단 장치.
  24. 제23항에 있어서,
    상기 인터페이스 장치는
    상기 컴퓨터 보조 진단 장치에 장착되거나 유무선으로 연결되는 스위치, 버튼, 트랙볼, 조그 셔틀(Jog Shuttle) 및 조이 스틱(Joy Stick) 중의 하나 이상을 포함하는 컴퓨터 보조 진단 장치.
  25. 제23항에 있어서,
    상기 진단의도 판단부는
    상기 인터페이스 장치로부터 수신되는 입력 신호의 수, 종류 및 그 둘을 조합한 패턴 중의 적어도 하나에 기초하여 사용자의 진단 의도를 판단하는 컴퓨터 보조 진단 장치.
  26. 제25항에 있어서,
    상기 진단의도 판단부는
    상기 사용자의 입력 신호가 수신되면, 미리 저장된 의도별 분기 정보를 참조하여 상기 수신된 입력 신호에 대응하는 진단의도를 사용자의 진단 의도로 판단하는 컴퓨터 보조 진단 장치.
  27. 제26항에 있어서,
    진단 상태 및 사용자의 입력 신호가 진단 의도에 매핑된 상기 의도별 분기 정보를 테이블, 논리식 및 온톨로지 형태 중의 어느 하나의 형태로 저장하는 의도 정보 저장부를 더 포함하는 컴퓨터 보조 진단 장치.
KR1020140169018A 2014-11-28 2014-11-28 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법 KR102314650B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140169018A KR102314650B1 (ko) 2014-11-28 2014-11-28 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법
US14/943,107 US10163239B2 (en) 2014-11-28 2015-11-17 Computer-aided diagnostic apparatus and method based on diagnostic intention of user
US16/111,318 US11074732B2 (en) 2014-11-28 2018-08-24 Computer-aided diagnostic apparatus and method based on diagnostic intention of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140169018A KR102314650B1 (ko) 2014-11-28 2014-11-28 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160064834A KR20160064834A (ko) 2016-06-08
KR102314650B1 true KR102314650B1 (ko) 2021-10-19

Family

ID=56079477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140169018A KR102314650B1 (ko) 2014-11-28 2014-11-28 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법

Country Status (2)

Country Link
US (2) US10163239B2 (ko)
KR (1) KR102314650B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158411B2 (en) * 2017-02-18 2021-10-26 3M Innovative Properties Company Computer-automated scribe tools
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
EP3759721A4 (en) * 2018-03-02 2021-11-03 3M Innovative Properties Company AUTOMATED DIAGNOSTIC SUPPORT SYSTEM FOR CLINICAL DOCUMENTATION PROCESSES
EP3536245A1 (en) * 2018-03-08 2019-09-11 Koninklijke Philips N.V. A system and method of identifying characteristics of ultrasound images
US11638569B2 (en) 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
JP7407790B2 (ja) * 2018-07-26 2024-01-04 コーニンクレッカ フィリップス エヌ ヴェ 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
WO2020036968A1 (en) * 2018-08-13 2020-02-20 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time localization of needles in ultrasound images
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
JP2023148439A (ja) * 2022-03-30 2023-10-13 富士フイルム株式会社 超音波診断装置とその作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005279096A (ja) 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd 探触システム、探触装置及び探触子並びに探触システム制御方法
US20070078340A1 (en) * 2005-09-30 2007-04-05 Siemens Medical Solutions Usa, Inc. Method and apparatus for controlling ultrasound imaging systems having positionable transducers
US20080072151A1 (en) 2006-09-19 2008-03-20 Song Tai-Kyong Context aware user interface for medical diagnostic imaging, such as ultrasound imaging
US20130158397A1 (en) 2010-12-27 2013-06-20 Srinivas K. Method and system to automatically load user settings to wireless ultrasound probe

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265349B1 (ko) 2007-04-20 2013-05-20 삼성메디슨 주식회사 초음파 시스템
KR101024856B1 (ko) * 2008-11-11 2011-03-31 주식회사 메디슨 프로브의 움직임을 이용한 어플리케이션 제어 장치 및 방법
KR101182999B1 (ko) 2009-11-25 2012-09-18 삼성메디슨 주식회사 초음파 영상 처리를 수행하는 초음파 시스템 및 방법
US10251621B2 (en) * 2010-07-19 2019-04-09 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
JP5582138B2 (ja) * 2009-12-04 2014-09-03 コニカミノルタ株式会社 超音波診断装置
KR20120072961A (ko) * 2010-12-24 2012-07-04 삼성전자주식회사 의료 영상을 이용한 영상진단을 보조하는 방법 및 장치, 이를 수행하는 영상진단 시스템
US10357228B2 (en) * 2012-04-19 2019-07-23 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR20140046754A (ko) 2012-10-11 2014-04-21 삼성메디슨 주식회사 초음파 프로브의 움직임에 기초하여 초음파 프로브를 자동으로 활성화하는 초음파 시스템 및 방법
US20140194742A1 (en) * 2012-12-28 2014-07-10 General Electric Company Ultrasound imaging system and method
KR102146851B1 (ko) 2013-02-08 2020-08-21 삼성전자주식회사 효율적인 진단 정보 제공을 통한 진단 지원 장치 및 방법과, 진단 시스템
KR20150120774A (ko) * 2014-04-18 2015-10-28 삼성전자주식회사 관심영역 검출 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005279096A (ja) 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd 探触システム、探触装置及び探触子並びに探触システム制御方法
US20070078340A1 (en) * 2005-09-30 2007-04-05 Siemens Medical Solutions Usa, Inc. Method and apparatus for controlling ultrasound imaging systems having positionable transducers
US20080072151A1 (en) 2006-09-19 2008-03-20 Song Tai-Kyong Context aware user interface for medical diagnostic imaging, such as ultrasound imaging
US20130158397A1 (en) 2010-12-27 2013-06-20 Srinivas K. Method and system to automatically load user settings to wireless ultrasound probe

Also Published As

Publication number Publication date
US20190005698A1 (en) 2019-01-03
US10163239B2 (en) 2018-12-25
US20160155227A1 (en) 2016-06-02
US11074732B2 (en) 2021-07-27
KR20160064834A (ko) 2016-06-08

Similar Documents

Publication Publication Date Title
KR102314650B1 (ko) 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법
US11100645B2 (en) Computer-aided diagnosis apparatus and computer-aided diagnosis method
US9773305B2 (en) Lesion diagnosis apparatus and method
US20170296032A1 (en) Branching structure determination apparatus, method, and program
US10362941B2 (en) Method and apparatus for performing registration of medical images
EP3432803B1 (en) Ultrasound system and method for detecting lung sliding
KR102205898B1 (ko) 의료영상들을 정합하는 방법 및 장치
WO2010052929A1 (en) Image processing apparatus, image processing method, program, and program recording medium
KR102188176B1 (ko) 침 시술 가이드 기능을 가진 초음파 영상 기기
KR20140091177A (ko) 병변 진단 장치 및 방법
KR20160032586A (ko) 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
KR20160009435A (ko) 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법
JP2015154918A (ja) 病変検出装置及び方法
EP3786840A1 (en) Information processing apparatus, inspection system, information processing method, and storage medium that are used in a diagnosis based on a medical image
KR20200080906A (ko) 초음파 진단 장치 및 그 동작 방법
JP2023525742A (ja) リスク及び不確実性の定量化を介する医療超音波画像に対する機械学習予測のゲーティング
KR102182134B1 (ko) 마커를 이용하는 니들 시술 가이드 기능을 가진 초음파 영상 기기
JP2021029676A (ja) 情報処理装置、検査システム及び情報処理方法
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
JP7215053B2 (ja) 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム
JP6286926B2 (ja) 超音波診断装置、画像処理方法、およびプログラム
US20210128113A1 (en) Method and apparatus for displaying ultrasound image of target object
TW202322744A (zh) 用於分析內視鏡程序之檢查品質之電腦執行系統及方法
CN116138807A (zh) 一种超声成像设备及腹主动脉的超声检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant