KR20160014470A - 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템 - Google Patents
비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템 Download PDFInfo
- Publication number
- KR20160014470A KR20160014470A KR1020140096751A KR20140096751A KR20160014470A KR 20160014470 A KR20160014470 A KR 20160014470A KR 1020140096751 A KR1020140096751 A KR 1020140096751A KR 20140096751 A KR20140096751 A KR 20140096751A KR 20160014470 A KR20160014470 A KR 20160014470A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- lesion
- output
- detected
- visual
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
- A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
일 실시예에 따르면 컴퓨터 보조 진단 시스템에서 비시각 정보를 제공하는 컴퓨터 보조 진단 지원 장치가 개시된다. 컴퓨터 보조 진단 지원 장치는 컴퓨터 보조 진단 장치를 모니터링하여 각종 상황 정보를 감지하는 모니터링부와, 상황 정보가 감지되면 그 상황 정보를 기초로 사용자에게 출력할 비시각 정보를 생성하는 비시각 정보 생성부 및 비시각 정보를 비시각 인터페이스를 통하여 사용자에게 출력하는 비시각 정보 출력부를 포함할 수 있다.
Description
비시각 정보를 제공하는 컴퓨터 보조 진단 지원 장치 및 방법과 컴퓨터 보조 진단 시스템에 관한 것이다.
최근 의료 진단 분야에서 초음파 영상을 분석하여 환자를 진단하는 기술이 매우 활발하게 이용되고 있다. 일반적으로 의사들은 프로브(Probe)를 환자에 밀착하여 실시간으로 초음파 영상을 획득하고, 화면에 출력되는 초음파 영상을 눈으로 확인하면서 병변이나 의심 부위를 검출하고 판단한다. 이때, 의사는 병변으로 의심되는 부위가 있으면 프로브의 이동 속도를 줄이거나 정지하여 의심 부위를 관찰한다. 한편, 컴퓨터 보조 진단(Computer Aided Diagonosis, 이하, 'CAD'라 함) 시스템은 프로브를 통해 초음파 영상이 획득되면, 이를 분석하여 병변을 검출하고 검출된 병변을 추적(tracking)하며, 검출된 병변에 대하여 양성/악성 등의 판정 결과를 의사에게 제시한다.
이때, 일반적인 CAD 시스템에서는 영상의 분석 및 진단 결과에 색을 입히거나, 영역 표시, 정보 표시 등을 하여 원래의 영상과 합성하거나 오버레이하여 별도의 영역에 표시하게 되고, 특히, 의사의 시진을 방해하지 않기 위해 표시되는 부분을 최소화하여 화면에 표시한다. 하지만, 이와 같이 진단 결과 정보를 화면에 표시하는 경우 의사의 시선이 환자와 화면 사이에 수시로 이동해야 하기 때문에 시선의 분산으로 인하여 중요한 정보를 놓칠 가능성이 높아지고, 의사의 피로도가 누적된다.
초음파 영상 등의 의료 영상을 분석하고 분석 결과를 비시각 정보로 제공하는 컴퓨터 보조 진단 지원 장치 및 방법과 컴퓨터 보조 진단 시스템이 제시된다.
일 양상에 따르면, 컴퓨터 보조 진단 지원 장치는 컴퓨터 보조 진단 장치를 모니터링하여 컴퓨터 보조 진단 장치로부터 발생되는 상황 정보를 감지하는 모니터링부와, 감지된 상황 정보를 기초로 사용자에게 출력할 비시각 정보를 생성하는 비시각 정보 생성부 및 생성된 비시각 정보를 비시각 인터페이스를 통하여 사용자에게 출력하는 비시각 정보 출력부를 포함할 수 있다.
비시각 정보 생성부는 감지된 상황 정보의 종류를 기초로 음향, 음성 및 진동 중의 적어도 하나의 타입을 결정하고, 결정된 타입에 대한 출력 지속시간, 출력 강도 및 출력 형태를 결정하여 비시각 정보를 생성할 수 있다.
이때, 상황 정보는 컴퓨터 보조 진단 장치에 의해 단발성으로 발생하는 이벤트 정보 및 이벤트에 비해 상대적으로 긴 시간 동안 지속되는 상태 정보를 포함할 수 있다.
비시각 정보 생성부는 감지된 상황 정보가 이벤트 정보이면 결정된 타입의 출력 지속시간은 짧고 출력 강도는 강하게 결정하고, 상태 정보이면 이벤트 정보에 비해 상대적으로 출력 지속시간은 길고 출력 강도는 약하게 결정할 수 있다.
이때, 이벤트 정보는 컴퓨터 보조 진단 장치의 시작, 종료, 동작 상태의 변경, 병변의 검출, 영상의 수신, 프로브의 이동 속도 및 프로브의 조작 범위에 따라 발생하는 이벤트 정보를 포함할 수 있다.
비시각 정보 생성부는 감지된 상황 정보가 병변의 검출이면, 검출된 병변이 기 검출된 병변인지를 판단하고, 판단 결과 기 검출된 병변인 경우 검출된 병변과 관련된 이벤트나 상태에 대한 비시각 정보를 생성하지 않을 수 있다.
또한, 상태 정보는 병변의 추적, 병변의 크기, 병변의 위험도 및 프로브 위치에 따른 상태 정보를 포함할 수 있다.
비시각 정보 생성부는 감지된 상황 정보가 병변의 추적이면, 병변의 추적 시간에 비례하여 출력 지속시간 및 출력 강도를 결정할 수 있다.
비시각 정보 생성부는 감지된 상황 정보가 병변의 크기 또는 위험도이면, 병변의 크기 또는 위험도에 비례하여 출력 지속시간 및 출력 강도를 결정할 수 있다.
비시각 인터페이스는 컴퓨터 보조 진단 지원 장치와 유선 또는 무선 통신으로 연결되며, 헤드셋, 이어폰, 지향성 스피커 및 햅틱 장치 중의 하나 이상을 포함할 수 있다.
일 양상에 따르면, 컴퓨터 보조 진단 지원 방법은 컴퓨터 보조 진단 장치를 모니터링하는 단계, 컴퓨터 보조 진단 장치로부터 발생되는 상황 정보를 감지하는 단계, 감지된 상황 정보에 따라 사용자에게 출력할 비시각 정보를 생성하는 단계 및 생성된 비시각 정보를 비시각 인터페이스를 통하여 사용자에게 출력하는 단계를 포함할 수 있다.
비시각 정보를 생성하는 단계는 감지된 상황 정보를 기초로 음향, 음성 및 진동 중의 적어도 하나의 타입을 결정하는 단계, 감지된 상황 정보를 기초로 결정된 타입에 대한 출력 지속시간 및 출력 강도를 결정하는 단계 및 결정된 출력 지속시간 및 출력 강도를 이용하여 비시각 정보를 생성하는 단계를 포함할 수 있다.
출력 지속시간 및 출력 강도를 결정하는 단계는 감지된 상황 정보가 이벤트 정보이면, 결정된 타입의 출력 지속시간은 짧고 출력 강도는 강하게 결정하고, 감지된 상황 정보가 상태 정보이면, 이벤트 정보에 비하여 상대적으로 출력 지속시간은 길고 출력 강도는 약하게 결정할 수 있다.
출력 지속시간 및 출력 강도를 결정하는 단계는 감지된 상황 정보가 상태 정보 중의 병변의 추적이면, 병변의 추적 시간에 비례하여 출력 지속시간 및 출력 강도를 결정할 수 있다.
출력 지속시간 및 출력 강도를 결정하는 단계는 감지된 상황 정보가 상태 정보 중의 병변의 크기 또는 위험도이면, 병변의 크기 또는 위험도에 비례하여 출력 지속시간 및 출력 강도를 결정할 수 있다.
일 양상에 따르면, 컴퓨터 보조 진단 시스템은 프로브를 포함하는 각종 모듈에서 수행되는 동작에 따라 대응하는 이벤트를 순차적으로 발생하고, 상태를 변경하는 컴퓨터 보조 진단 장치 및 컴퓨터 보조 진단 장치를 모니터링하고, 컴퓨터 보조 진단 장치에서 이벤트의 발생 또는 상태 변경을 감지하면, 발생된 이벤트 또는 변경된 상태에 기초하여 비시각 정보를 생성하여 비시각 인터페이스를 통해 사용자에게 출력하는 컴퓨터 보조 진단 지원 장치를 포함할 수 있다.
컴퓨터 보조 진단 장치는 각종 모듈의 동작에 따라 생성되는 정보를 시각 정보로 생성하는 시각정보 생성부 및 생성된 시각 정보를 화면상에 출력하는 시각 정보 출력부를 포함할 수 있다.
컴퓨터 보조 진단 지원 장치는 이벤트가 감지되면 음성, 음향 및 진동 중의 적어도 하나를 짧고 강하게 출력되도록 하는 비시각 정보를 생성하는 비시각 정보 생성부를 포함할 수 있다.
컴퓨터 보조 진단 지원 장치는 상태가 감지되면 음성, 음향 및 진동 중의 적어도 하나를 미리 설정된 시간 동안 지속적으로 약하게 출력되도록 하는 비시각 정보를 생성하는 비시각 정보 생성부를 포함할 수 있다.
컴퓨터 보조 진단 지원 장치는 비시각 정보가 생성되면, 인체의 일부에 착용하는 햅틱 장치, 이어폰 및 지향성 스피커 중의 하나 이상의 비시각 인터페이스를 제어하여 상기 생성된 비시각 정보를 출력하는 비시각 정보 출력부를 포함할 수 있다.
초음파 영상 등의 의료 영상을 분석 분석 결과를 비시각 정보로 제공함으로써 사용자의 시선 분산을 최소화하여 정확한 진단을 수행하도록 지원할 수 있다.
도 1은 일 실시예에 따른 컴퓨터 보조 진단 시스템의 블록도이다.
도 2는 도 1의 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 3은 도 2의 실시예에 따른 동작 제어부 구성의 상세 블록도이다.
도 4는 도 2의 실시예에 따른 진단부 구성의 상세 블록도이다.
도 5는 도 2의 실시예에 따른 시각 인터페이스부 구성의 상세 블록도이다.
도 6은 도 1의 실시예에 따른 컴퓨터 보조 진단 지원 장치의 블록도이다.
도 7은 도 6의 실시예에 따른 모니터링부의 상세 블록도이다.
도 8은 도 6의 실시예에 따른 비시각 인터페이스부의 상세 블록도이다.
도 9는 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 10은 도 9의 컴퓨터 보조 진단 장치가 수행하는 컴퓨터 보조 진단 방법의 일 예이다.
도 11은 도 9의 컴퓨터 보조 진단 지원 장치가 수행하는 컴퓨터 보조 진단 방법의 일 예이다.
도 12는 일반적인 컴퓨터 보조 진단 시스템의 적용 예이다.
도 13a 및 도 13b는 일 실시예에 따른 컴퓨터 보조 진단 시스템의 적용 예이다.
도 2는 도 1의 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 3은 도 2의 실시예에 따른 동작 제어부 구성의 상세 블록도이다.
도 4는 도 2의 실시예에 따른 진단부 구성의 상세 블록도이다.
도 5는 도 2의 실시예에 따른 시각 인터페이스부 구성의 상세 블록도이다.
도 6은 도 1의 실시예에 따른 컴퓨터 보조 진단 지원 장치의 블록도이다.
도 7은 도 6의 실시예에 따른 모니터링부의 상세 블록도이다.
도 8은 도 6의 실시예에 따른 비시각 인터페이스부의 상세 블록도이다.
도 9는 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 10은 도 9의 컴퓨터 보조 진단 장치가 수행하는 컴퓨터 보조 진단 방법의 일 예이다.
도 11은 도 9의 컴퓨터 보조 진단 지원 장치가 수행하는 컴퓨터 보조 진단 방법의 일 예이다.
도 12는 일반적인 컴퓨터 보조 진단 시스템의 적용 예이다.
도 13a 및 도 13b는 일 실시예에 따른 컴퓨터 보조 진단 시스템의 적용 예이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다. 이하에서는, 설명의 편의를 위해 컴퓨터 보조 진단 시스템은 CAD 시스템, 컴퓨터 보조 진단 장치는 CAD 장치, 컴퓨터 보조 진단 지원 장치는 CAD 지원 장치라 한다.
도 1은 일 실시예에 따른 CAD 시스템의 블록도이다.
도 1을 참조하면, CAD 시스템은 CAD 장치(100) 및 CAD 지원 장치(200)를 포함한다.
이때, 일 실시예에 따르면, CAD 장치(100) 및 CAD 지원 장치(200)는 하나의 하드웨어에 구현된다. 하지만, 다른 실시예에 따르면 각각 별도의 하드웨어에 구현되어 유무선 통신을 통해 상호 연결될 수 있다. 또한, CAD 지원 장치(200)는 CAD 장치(100)의 일 구성으로 탑재되는 것이 가능하다.
CAD 장치(100)는 의료 영상을 획득하고, 획득된 의료 영상을 분석하여 병변이나 병변 의심 영역의 검출, 병변의 추적 및 병변의 양성/악성 여부의 판정을 수행한다. 또한, CAD 장치(100)는 의료 영상이 획득되거나, 진단 결과가 생성되면 의료 영상 및 진단 결과를 화면에 시각적으로 출력하여 사용자에게 제공할 수 있다. 또한, CAD 장치(100)는 각종 동작 및 진단의 수행에 따라 대응하는 이벤트를 발생하거나 상태를 변경할 수 있다.
일 실시예에 따르면 CAD 장치(100)는 프로브를 통하여 환자로부터 초음파 영상을 실시간으로 획득하고, 실시간으로 획득되는 환자의 초음파 영상을 분석 및 진단하는 장치일 수 있으며, 이하, 설명의 편의를 위해 실시간 초음파 영상의 진단을 수행하는 CAD 장치(100)를 예로 들어 설명한다. 하지만, CT, MRI 등과 같이 그 밖의 다양한 기술로 획득되는 의료 영상을 분석 및 진단하는 CAD 장치에 적용되는 것도 가능하다.
CAD 지원 장치(200)는 CAD 장치(100)의 각종 동작 및 진단 상황을 모니터링하여 이벤트의 발생이나 상태 변경 등의 상황 정보를 감지한다. 또한, 상황 정보가 감지되면 그 상황 정보에 적합한 비시각 정보, 예컨대, 음성이나 음향 또는 진동, 촉각 무게감 등의 햅틱 정보를 생성하여 비시각 인터페이스를 통해 사용자에게 출력할 수 있다. 이때, 음성, 음향 또는 햅틱 정보 등의 다양한 비시각 정보의 타입을 하나 또는 둘 이상을 조합하여 각 상황 정보에 맞는 비시각 정보를 생성할 수 있다.
도 2는 도 1의 실시예에 따른 CAD 장치(100)의 블록도이다.
도 2를 참조하면, CAD 장치(100)는 동작 제어부(110), 진단부(120) 및 시각 인터페이스부(130)를 포함할 수 있다.
동작 제어부(110)는 CAD 장치(100)를 구성하는 각종 모듈, 예컨대, 각 부(120, 130) 및 그 밖의 도시되지 않은 모듈을 제어하여 해당하는 동작을 수행하도록 할 수 있다. 예를 들어, 동작 제어부(110)는 사용자의 입력에 기초하여 CAD 장치를 시작/종료할 수 있다. 또한, 프로브를 시작하여 영상을 획득하고, 프로브를 통해 환자의 영상이 획득되면 진단부(120)를 제어하여 진단을 수행하도록 할 수 있다. 또한, 진단 결과가 생성되면 시각 인터페이스부(130)를 제어하여 화면에 시각적인 정보로서 출력할 수 있다. 이때, 동작 제어부(110)는 각 모듈의 동작에 따라 미리 정의된 이벤트를 발생하거나 상태를 변경할 수 있다.
도 3은 도 2의 실시예에 따른 동작 제어부 구성의 상세 블록도이다. 도 3을 참조하여 동작 제어부(110)의 구성을 보다 상세하게 설명하면, 동작 제어부(110)는 도시된 바와 같이 명령 처리부(111), 이벤트 발생부(112) 및 상태 변경부(113)를 포함할 수 있다.
명령 처리부(111)는 각종 제어명령을 생성하고, 해당하는 모듈에 생성된 제어명령을 전송하여 동작을 제어한다. 이때, 명령 처리부(111)는 사용자가 프로브를 환자의 환부에 밀착하여 영상이 획득되면 진단부(120)를 제어하는 제어명령을 생성하여 진단을 수행하도록 할 수 있다. 또한, 명령 처리부(111)는 사용자의 입력을 기초로 필요한 제어명령을 생성할 수 있다.
예를 들어, 사용자가 CAD 장치(100)에 탑재된 시작 버튼이나 스위치 등을 조작하여 CAD 장치(100)의 시작/종료 명령을 입력하면, 이를 기초로 CAD 장치(100)를 시작/종료시키는 제어명령을 생성하여 CAD 장치를 구동하거나 종료시킨다. 또한, 사용자가 화면에 출력된 영상에서 병변이나 의심영역을 발견하여 프로브를 이용해 시각적으로 표시하는 명령을 입력하면, 이에 기초하여 병변이나 의심 영역이 화면에 표시되도록 시각 인터페이스부(130)를 제어하는 제어명령을 생성할 수 있다.
이벤트 발생부(112)는 명령 처리부(111)의 제어에 따라 각종 동작이 수행되면 대응하는 이벤트를 발생시킨다. 이때, 이벤트 발생부(112)는 CAD 장치(100)의 다양한 동작들 중에서 일회의 단발성 동작에 대하여 이벤트를 발생할 수 있다.
예를 들어, CAD 장치(100)가 시작/종료되면, 시작/종료 이벤트를 발생하고, 각종 동작 상태가 변경되면 동작 상태 변경 이벤트, 프로브로부터 영상이 최초로 수신되면 영상 수신 이벤트를 발생할 수 있다. 또한, 수신된 영상의 분석을 통해 병변이 검출되면 병변 검출 이벤트를 발생할 수 있다. 또한, 프로브의 이동 속도가 미리 설정된 속도의 범위를 벗어나는 경우 프로브 속도 경고 이벤트를 발생하고, 프로브가 환부로부터 이탈하는 경우 입력 신호 비정상 이벤트를 발생할 수 있다.
상태 변경부(113)는 이벤트보다 상대적으로 긴 시간 동안 지속되는 CAD 장치(100)의 동작 상황이나 진단 상황 등에 대하여 상태를 변경한다.
예를 들어, CAD 장치(100)가 시작되어 정상적으로 작동하면 상태를 장치 시작 상태로 변경하고, 프로브로부터 영상이 정상적으로 지속적으로 수신되면 상태를 입력 신호 정상 상태로 변경할 수 있다. 또한, 병변이 검출되어 추적(tracking) 중이면, 상태를 병변 추적 상태로 변경할 수 있다. 또한, 검출된 병변의 추적 결과 병변의 크기나 위험도가 판단되면 서브 상태로서 병변 크기 또는 위험도 판단 상태로 변경할 수 있다. 또한, 프로브가 환부로부터 이탈되어 미리 설정된 시간을 초과하는 경우 상태를 입력 신호 비정상 상태로 변경할 수 있다.
다시 도 2를 참조하면, 진단부(120)는 프로브로부터 영상을 수신하고, 수신된 영상을 분석하여 병변의 검출 및 추적하고, 검출된 병변의 악성/양성 여부를 판단하여 진단 결과를 생성한다. 도 4는 도 2의 실시예에 따른 진단부(120) 구성의 상세 블록도이다.
도 4를 참조하여 진단부(120)를 보다 상세하게 설명하면 도시된 바와 같이, 영상 수신부(121), 병변 검출부(122) 및 병변 판정부(123)를 포함할 수 있다.
영상 수신부(121)는 사용자가 프로브를 환부에 밀착하여 영상을 획득하면 획득된 영상을 수신한다. 이때, 프로브에 의해 획득된 영상은 프레임 단위로 실시간으로 수신될 수 있다.
병변 검출부(122)는 수신된 영상을 분석하여 병변이나 병변 의심 영역을 검출하고, 순차적으로 입력되는 영상에서 병변을 추적(tracking)한다. 병변 검출부(122)는 병변 검출에 필요한 특징 정보를 추출하고 그 특징 정보를 이용하여 병변을 검출할 수 있다. 이때, 특징 정보는 영상 데이터 처리를 통해 병변 등의 특징을 추출한 값으로서, 병변의 특징은 병변의 양성(benign)/악성(malignant) 판단에 관련되는 특징들을 의미한다. 예를 들어, 특징 정보는 모양(shape), 여백(margin), 경계(boundary) 등 형태적 특징이나 질감(texture) 등의 컴퓨터로 인식 가능한 값을 포함할 수 있다.
병변 판정부(123)는 검출된 병변의 악성/양성 여부를 판단한다. 이때, 병변에 대해 추출된 특징 정보를 미리 구축된 진단 모델에 적용하여 병변의 악성/양성 여부를 판단할 수 있다.
다시 도 2를 참조하면, 시각 인터페이스부(130)는 검출된 병변, 추출된 병변의 특징 정보 및 악성/양성 판단 결과를 포함하는 진단 정보를 시각 정보로 생성하여 화면에서 출력한다.
도 5는 도 2의 실시예에 따른 시각 인터페이스부 구성의 상세 블록도이다. 도 5를 참조하여 시각 인터페이스부(130)를 좀 더 구체적으로 설명하면, 도시된 바와 같이 시각정보 생성부(131) 및 시각정보 출력부(132)를 포함할 수 있다.
시각정보 생성부(131)는 진단 정보가 생성되면 사용자가 쉽게 인식할 수 있도록 미리 정의된 다양한 시각적 요소들을 각 진단 정보에 적용하여 시각 정보를 생성할 수 있다.
예를 들어, 시각정보 생성부(131)는 수신된 영상에서 병변이 검출되면, 화면에 출력된 영상에서 병변의 위치에 출력할 식별 표시, 예컨대, 십자 표시, 사각형, 원형 등의 표시와, 결정된 식별 표시의 색깔, 선의 굵기 또는 크기 등을 결정하여 검출된 병변에 대한 시각 정보를 생성할 수 있다. 또는, 병변의 특징 정보나, 악성/양성 판단 결과에 대하여 출력될 크기, 색상 등 다양한 시각적 요소를 결정하고 그 결정에 기초하여 시각 정보를 생성할 수 있다. 이때, 각 진단 정보에 적용할 시각적 요소는 미리 정의될 수 있다.
시각정보 출력부(131)는 프로브로부터 영상이 수신되면 수신된 영상을 화면에 출력하고, 시각정보 생성부(131)에 의해 진단 정보에 대한 시각 정보가 생성되면 생성된 시각 정보를 화면상의 미리 정의된 위치에 출력할 수 있다.
이때, 검출된 병변이 추적(tracking)중임을 나타내기 위해 검출된 병변에 대하여 생성된 시각 정보를 화면에 연속적으로 출력되는 프레임 영상의 대응되는 위치에 지속적으로 표시할 수 있다.
도 6은 도 1의 실시예에 따른 CAD 지원 장치의 블록도이다.
도 6을 참조하면, 일 실시예에 따른 CAD 지원 장치(200)는 모니터링부(210) 및 비시각 인터페이스부(220)를 포함한다.
모니터링부(210)는 CAD 장치(100)를 모니터링하고, CAD 장치(100)로부터 이벤트가 발생하거나 상태가 변경되는 등의 상황 정보를 감지한다.
도 7은 도 6의 실시예에 따른 모니터링부의 상세 블록도이다. 도 7을 참조하면, 모니터링부(210)는 좀 더 구체적으로 이벤트 모니터링부(211) 및 상태 모니터링부(212)를 포함할 수 있다.
이벤트 모니터링부(211)는 CAD 장치(100)로부터 발생되는 각종 이벤트를 모니터링한다. 이때, CAD 장치(100)에 의해 발생되는 이벤트는 전술한 바와 같이 CAD 장치(100)의 시작, 종료, 각종 동작 상태의 변경, 병변의 검출, 영상의 수신, 프로브의 이동 속도 및 프로브의 조작 범위 등에 따라 발생되는 이벤트를 포함할 수 있다.
상태 모니터링부(212)는 CAD 장치(100)의 상태를 모니터링하고, CAD 장치(100)가 각종 모듈의 동작 및 진단에 따라 적절한 상태를 변경하면 변경되는 상태 정보를 감지한다. 이때, 상태 정보는 영상의 지속적 수신, 병변의 추적, 병변의 크기 및 위험도 판단, 프로브 위치 등에 따라 대응하는 상태 정보를 포함할 수 있다.
다시 도 6을 참조하면, 비시각 인터페이스부(220)는 모니터링부(210)에 의해 이벤트나 상태 정보 등의 상황 정보가 감지되면, 감지된 상황 정보에 대응하는 비시각 정보를 생성하여 사용자에게 출력한다.
도 8은 도 6의 실시예에 따른 비시각 인터페이스부의 상세 블록도이다. 도 8을 참조하면 비시각 인터페이스부(220)는 비시각 정보 생성부(221), 비시각 정보 출력부(222) 및 비시각 정보 저장부(223)를 포함할 수 있다.
비시각 정보 생성부(221)는 모니터링부(210)에 의해 상황 정보가 감지되면 음향, 음성, 진동 및 무게감 등의 다양한 비시각 정보를 이용하여 사용자에게 출력할 비시각 정보를 생성한다.
이때, 비시각 정보 생성부(221)는 모니터링부(210)에 의해 감지된 상황 정보의 종류를 기초로 사용자에게 출력할 비시각 정보의 타입을 결정할 수 있다. 이때, 사용자에게 출력할 비시각 정보는 감지된 상황 정보의 종류 및 CAD 지원 장치(200)에 연결되어 있는 비시각 인터페이스(224)에 기초하여 하나 또는 둘 이상의 조합으로 미리 정의될 수 있다.
또한, 비시각 정보 생성부(221)는 사용자에게 출력할 비시각 정보의 타입이 결정되면, 결정된 비시각 정보의 타입에 대하여 각각 출력 지속시간, 출력 강도 및 출력 횟수 등을 결정하고, 그 결과를 이용하여 비시각 정보를 생성할 수 있다.
예를 들어, 모니터링부(210)에 의해 감지된 상황 정보가 이벤트 정보이면, 사용자에게 출력할 비시각 정보가 상태 정보에 비하여 상대적으로 단발성의 짧은 출력 지속시간(예: 1초) 및 강한 출력 강도를 갖도록 결정할 수 있다. 또한, 감지된 상황 정보가 상태 정보이면 사용자에게 출력할 비시각 정보의 출력 지속시간은 이벤트 정보에 비하여 상대적으로 길고 출력 강도는 약하게 결정할 수 있다.
이때, 사용자에게 출력할 비시각 정보의 타입이나, 출력 지속시간, 강도 및 횟수의 조합은 감지된 이벤트 및 상태의 종류, CAD 지원 장치(200)에 연결된 비시각 인터페이스(224)의 종류 및 사전에 미리 설정된 설정값이나 선호도에 기초하여 결정될 수 있다.
일 예로, CAD 지원 장치(200)에 이어폰이나 지향성 스피커 등의 비시각 인터페이스가 연결되어 있고, 장치 시작 이벤트가 감지되는 경우 비프음을 1초동안 1회 강한 톤으로 출력하도록 하고, 병변 검출 이벤트가 감지되는 경우 1초 동안 수회의 비프음을 중간 톤으로 출력하거나, 중간 강도의 진동을 1초 동안 수회 출력하도록 할 수 있다. 또는, 낮은 톤의 음성으로 "병변 검출"을 미리 설정된 횟수 동안 출력하도록 결정하는 것도 가능하다.
이때, 상태 정보가 감지되고 그 상태 정보가 입력신호 정상 즉, 프로브로부터 영상이 최초로 수신된 이후 입력되는 영상신호가 정상인 경우, 최초로 영상이 수신될 때 발생하는 이벤트에 대해 1회성의 짧고 강한 음을 출력한 이후 그 상태 정보에 대하여 낮은 톤의 음을 소정 시간 지속되도록 출력하도록 할 수 있다. 이후, 병변의 검출 이벤트가 감지되고 병변의 추적 상태로 변경되면, 입력신호 정상 상태에 출력된 음의 톤이나 주파수 등을 조절하고 병변의 추적 시간에 비례하여 지속적으로 출력되도록 결정할 수 있다. 이후, 병변의 크기 또는 위험도 판단되어 그 상태 정보가 감지되면, 음량이나 톤 및 복합음 등을 조절하고 판단된 병변의 크기나 위험도에 비례하여 지속적으로 출력되도록 결정할 수 있다.
다른 예로, 연결된 비시각 인터페이스가 진동, 무게감 등을 출력하는 햅틱(haptic) 장치인 경우에는 감지된 이벤트나 상태의 종류에 따라 그 진동 강도나 진동 시간 및 진동 횟수 등을 결정할 수 있다.
한편, 비시각 정보 생성부(221)는 검출된 병변이 기 검출된 병변인지를 판단하고 이전 단계에서 이미 검출된 병변인 경우에는 무음 상태에서 병변이 추적되도록 그 병변의 검출 이벤트 및 추적 상태에 대응하는 비시각 정보를 생성하지 않을 수 있다. 이때, 비시각 정보 생성부(221)는 영상에서 검출된 병변에 대하여 저장된 영상 정보나 그 병변에 대하여 달린 주석(annotation) 정보를 기초로 기 검출된 병변인지를 판단할 수 있다. 이때, 기 검출된 병변에 대한 비시각 정보의 제공 여부는 사용자에 의하여 미리 설정될 수 있다.
비시각 정보 출력부(222)는 사용자에게 출력할 비시각 정보가 생성되면 그 비시각 정보의 타입에 해당하는 비시각 인터페이스(224)에 송출하여 사용자에게 출력되도록 한다.
이때, 비시각 인터페이스(224)는 이어폰이나 햅틱 장치 및 사용자의 방향으로만 출력되도록 하는 지향성 스피커 등을 포함할 수 있다. 다만, 이는 예시에 지나지 않으므로 그 밖의 시각 이외의 감각을 통해 제공할 수 있는 다양한 인터페이스를 포함하는 것이 가능하다. 이때, 비시각 인터페이스(224)는 CAD 지원 장치(200)와 다양한 유선 또는 무선 통신, 예컨대 블루투스(bluetooth), 무선랜(wifi) 등의 통신으로 연결될 수 있다.
개시된 실시예에 따르면, 비시각 인터페이스를 의사 등 진단을 수행하는 사용자의 인체에만 착용하고, 지향성 스피커를 사용하여 사용자의 방향으로만 출력함으로써 진단을 받는 환자에게는 비시각 정보가 출력되지 않도록 하여 환자들이 불안감을 갖는 것을 방지할 수 있다.
한편, 비시각 정보 저장부(223)는 음향, 음성 및 진동 등의 다양한 비시각 정보를 저장할 수 있으며, 일 예로 아래의 표 1과 같이 이벤트나 상태의 종류별로 분류되어 미리 정의될 수 있다. 다만, 이는 일 예에 불과하므로 전술한 바와 같이 다양한 정의가 가능하며, 파일이나 데이터베이스 등의 다양한 형태로 저장될 수 있다.
| 상황정보 | 종류 | 비시각정보 타입 | 지속시간 | 회수 | 강도 |
| 장치 시작 | 이벤트 | 음향 | 1초 | 1회 | 중 |
| 영상 최초 수신 | 이벤트 | 음향 | 1초 | 1회 | 강 |
| 입력영상 정상 | 상태 | 음향 | 연속 | - | 약 |
| 병변 검출 | 이벤트 | 음향,진동 | 1초 | 1회 | 강 |
| 병변 추적 | 상태 | 진동 | 연속 | - | 약 |
| 병변 크기/위험도 판단 | 상태 | 음성,진동 | 1회 | 1회 | 크기/위험도에 비례 |
이때, 비시각 정보 생성부(223)는 모니터링부(210)에 의해 상황 정보가 감지되면, 비시각 정보 저장부(223)를 참조하여 감지된 상황 정보에 대응하는 비시각 정보의 타입, 지속 시간, 횟수, 강도 등을 결정할 수 있다.
도 9는 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 9는 도 1의 CAD 시스템(1)에 의해 수행되는 진단 방법의 일 실시예일 수 있다.
도 9를 참조하면, CAD 장치(100)는 사용자가 스위치 등의 조작을 통해 장치를 시작하면(311), 환자의 진단을 위해 필요한 각종 모듈을 동작시킨다(312). 이때, 각 모듈의 동작에 따라 미리 정의된 이벤트를 발생하거나 상태를 변경한다(313). 또한, CAD 장치(100)는 각 모듈, 예컨대 프로브의 작동에 따라 영상이 획득되면 획득되는 영상을 분석하여 진단을 수행하고(314), 진단 수행에 따라 해당하는 이벤트를 발생하거나 상태를 변경한다(315). 단계 312 내지 315는 영상이 수신되는 동안 반복적으로 수행되고, 사용자의 조작에 따라 장치가 종료된다(316)
CAD 지원 장치(200)는 CAD 장치(100)에서 발생되는 이벤트나 변경되는 상태를 모니터링하고(331), 모니터링 결과 이벤트나 상태 정보가 감지되면(332) 감지된 상태 정보에 대응하는 하나 이상의 비시각 정보를 생성한다(333), 이때, 모니터링 결과 이벤트나 상태 정보가 감지되지 않으면(313) 모니터링을 계속한다(331). 또한, 이벤트 또는 상태가 감지되어 사용자에게 출력할 비시각 정보가 생성되면 이어폰, 햅틱 장치 및 지향성 스피커 등 연결되어 있는 비시각 인터페이스에 송출하여 사용자에게 출력한다(334).
도 10은 도 9의 CAD 장치가 수행하는 컴퓨터 보조 진단 방법의 일 예로서, CAD 장치(100)가 특정 환자에 대하여 초음파 진단을 수행하는 컴퓨터 보조 진단 절차의 일련의 흐름을 나타낸 것이다.
도 10을 참조하면, 사용자가 환자를 진단하기 위해 CAD 장치를 구동하면(411), 사용자에게 장치가 정상적으로 시작되었음을 알리기 위한 "장치 시작" 이벤트를 발생한다(431). 또한, 상태를 "장치 시작"으로 변경한다(432).
그 다음, 사용자가 환자로부터 초음파 영상을 획득하기 위해 프로브를 구동하면(412), 이때 사용자에게 프로브가 정상적으로 구동되었음을 알리기 위한 "프로브 시작" 이벤트를 발생할 수 있다(433).
그 다음, 사용자가 프로브를 환자의 환부에 밀착하여 영상을 획득하고, 획득된 영상이 프로브로부터 순차적으로 수신되면, 최초 영상이 수신되었음을 알리기 위한 "영상 수신" 이벤트를 발생시킬 수 있다(434). 이후, 영상이 정상적으로 계속하여 수신되고 있음을 알리기 위하여 상태를 "입력신호 정상"으로 변경할 수 있다(435).
그 다음, 프로브로부터 영상이 수신되면 자동 또는 사용자의 입력에 의하여 수신된 영상의 분석 및 진단이 수행될 수 있다(414). 만약 사용자에 의해 프로브가 미리 설정된 이동 속도를 벗어나거나 환부로부터 이탈하여 정상적으로 영상이 수신되지 않으면 "입력신호 비정상" 이벤트를 발생하여 사용자에게 안내할 수 있다(436). 또한, 프로브로부터 지속적으로 영상이 수신되고, 수신되는 영상에서 병변이 검출되지 않으면, "입력신호 정상/정상 조직" 상태로 변경하고(437), CAD 지원 장치가 그 상태에 해당하는 비시각 정보를 사용자에게 지속적으로 출력함으로써 사용자는 그 상태가 지속되는 동안에는 화면에 집중하는 것을 줄여 진단의 피로도를 감소시킬 수 있고, 프로브의 조작 속도를 증가하여 신속한 진단을 수행할 수 있다.
이후, 영상의 분석 결과 병변이 검출되면(415), 사용자에게 병변이 검출되었음을 안내하기 위해 "병변 검출" 이벤트를 발생한다(438). 또한, 검출된 병변이 기 검출되어 이미 추적중인 병변인지 여부를 판단하고(416), 판단 결과 새로 검출된 병변인 경우, 병변이 추적중임을 알리기 위해 상태를 "병변 추적"으로 변경하고(439) 검출된 병변을 추적할 수 있다(417). 이때, 추가적으로 사용자가 검출된 병변을 인지하여, 추적중인 병변의 영상을 저장하거나 그 병변에 대하여 주석을 달면(417), 병변 영상이 저장되거나 그 병변에 대한 주석이 부가되었음을 알리기 위해 "저장/주석" 이벤트를 발생하며(440), 사용자가 그 병변을 인지하였으므로 더 이상 추가 정보를 제공하지 않도록 상태를 "무음 모드"로 자동으로 변경할 수 있다(441).
또한, 단계 416에서 판단 결과 검출된 병변이 이미 검출된 병변으로서 이미 추적이 진행중이거나 추적이 완료된 경우에는 상태를 자동으로 "무음 모드"로 변경하여(441) 그 병변에 대한 추가 정보를 제공하지 않도록 할 수 있다.
이후, 수신되는 영상에서 병변이 사라지고(418) 영상이 계속하여 수신되면 수신된 영상을 분석하는 단계 414 이하를 반복 수행한다. 사용자가 환자의 진단을 마쳐 프로브를 환부로부터 이탈하면 상태를 "입력신호 비정상"으로 변경하고(442), 사용자에 의해 CAD 장치가 종료된다(419).
도 11은 도 9의 CAD 지원 장치가 수행하는 컴퓨터 보조 진단 방법의 일 예이다.
도 11을 참조하면, CAD 지원 장치는 도 10에서 예시된 바와 같이 CAD 장치에 의해 발생되는 이벤트나 변경되는 상태를 지속적으로 모니터링한다(511). CAD 장치의 모니터링은 CAD 장치로부터 상황 정보가 감지되거나 CAD 장치가 종료할 때까지 지속적으로 수행된다.
모니터링 결과 CAD 장치로부터 이벤트나 상태 등의 상황 정보가 감지되면(512), 감지된 상황 정보에 기초하여 사용자에게 출력할 비시각 정보의 타입을 결정한다(513). 이때, 연결되어 있는 비시각 인터페이스나 감지된 상황 정보의 종류를 기초로 음성, 음향, 진동, 무게감 등의 다양한 비시각 정보 중에서 하나 이상의 타입을 결정할 수 있다. 또한, 사용자의 특성에 기초하여 사용자별로 선호하는 타입을 미리 정의할 수 있다.
비시각 정보의 타입이 결정되면 각 타입에 대하여 적절한 출력 지속시간, 횟수 및 강도 등을 결정한다(514). 이때, 출력 지속시간, 횟수 및 강도는 상황 정보의 종류 즉, 이벤트나 상태의 종류 및 사용자의 특성 등에 따라 서로 상이하게 결정될 수 있다.
그 다음, 감지된 상황 정보에 대해 결정된 비시각 정보의 타입, 출력 지속시간, 횟수 및 강도 등을 이용하여 사용자에게 출력할 비시각 정보를 생성한다(단계 515).
그 다음, 생성된 비시각 정보를 연결된 비시각 인터페이스에 송출하고(516), 비시각 인터페이스를 통하여 사용자에게 출력한다(517).
도 12는 일반적인 CAD 시스템의 적용 예이다.
도 12를 참조하면, 일반적인 CAD 시스템의 경우에는 (a) 사용자가 CAD 시스템(10)을 작동시키고 환자를 주시하면서 환부에 프로브(12)를 밀착시키고, (b) 프로브를 통해 획득되는 영상이 화면(11)에 출력되면, (c) 화면(11)을 주시하면서 출력되는 영상 및 진단 정보 등을 확인하고, (d) 확인 결과 병변 등이 발견되면 CAD 시스템의 추가 조작을 수행하며, 병변 등이 발견되지 않으면 다시 환자로 시선을 돌려 프로브(12)를 이동시키는 과정을 수행한다. 이와 같이, 일반적인 CAD 시스템에서는 사용자가 시스템 장비의 확인, 환자의 환부 확인, 저장, 입력 등의 장비 조작 등의 작업을 위해 수시로 시선을 이동 및 분산한다. 이로 인해 사용자의 시선은 수시로 화면을 떠나게 되어 영상에서 중요한 병변을 놓칠 위험이 존재한다.
도 13a는 일 실시예에 따른 CAD 시스템의 적용 예이다.
도 13a를 참조하면, 사용자가 CAD 시스템(20)에 연결된 이어폰과 같은 음향, 음성 전달이 가능한 비시각 인터페이스(23)를 귀에 착용하고 진단을 수행할 수 있다. 사용자가 CAD 시스템(20)에서 영상의 획득 및 획득된 영상을 이용하여 진단을 수행하면, CAD 장치는 진단 과정에 따라 미리 정의된 각종 이벤트를 발생하거나 상태를 변경하고, 일 실시예에 따른 CAD 진단 지원 장치는 CAD 장치에 의해 발생되는 이벤트나 상태 변경을 모니터링한다. CAD 지원 장치는 이벤트나 상태가 감지되면, 연결되어 있는 비시각 인터페이스를 확인하여 그 비시각 인터페이스에 출력할 적절한 비시각 정보를 생성한다. 즉 도시된 바와 같이 사용자가 이어폰을 착용하고 있는 상태이므로, CAD 지원 장치는 이어폰이 연결됨을 감지하여 음향이나 음성 등의 비시각 정보를 생성하고 이어폰으로 전송한다. 이때, 이어폰은 도시된 바와 같이 CAD 시스템과 유선 연결이 가능하나, 이에 제한되지 않고 블루투스 이어폰과 같이 무선 통신으로 연결될 수 있다. CAD 지원 장치는 비시각 정보가 생성되면 연결된 이어폰의 통신 방식에 따라 전송한다.
도 13b는 다른 실시예에 따른 CAD 시스템의 적용 예이다.
도 13b는 사용자가 진동이나 무게감을 발생시키는 햅틱 장치(24)를 손목에 착용하고 진단을 수행하는 예를 도시한 것이다. 마찬가지로, CAD 장치에 의해 발생되는 이벤트나 변경된 상태는 CAD 지원 장치에 의해 감지되고, 연결되어 있는 햅틱 장치(24)의 기능 즉, 진동이나 무게감 등에 따라 적절한 비시각 정보를 생성하여 그 햅틱 장치(24)에 전송하여 사용자에게 출력하도록 한다.
이와 같이, CAD 시스템(20)은 각종 동작이나 프로브(22)를 통해 획득되는 영상의 진단 과정에서, 관련된 정보들을 비시각 정보로서 이어폰(23)이나 햅틱 장치(24)를 통해 사용자에게 제공함으로써, 사용자의 시선이 화면(21), 환자, CAD 시스템(20)의 다른 위치들 사이에서 수시로 이동하거나 분산되는 것을 최소화할 수 있다. 예컨대, 사용자는 초음파 영상이 실시간으로 수신되고, 수신된 영상에서 병변이 검출되지 않으면 환자를 일정 시간 동안 주시하며, 수신된 영상에서 병변이 검출되어 추적이 진행되면 화면(21)으로 시선을 이동하여 병변을 자세하게 관찰할 수 있다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 컴퓨터 보조 진단 시스템
100: 컴퓨터 보조 진단 장치 110: 동작 제어부
111: 명령 처리부 112: 이벤트 발생부
113: 상태 변경부 120: 진단부
121: 영상 수신부 122: 병변 검출부
123: 병변 판정부 130: 시각 인터페이스부
131: 시각 정보 생성부 132: 시각정보 출력부
200: 컴퓨터 보조 진단 지원 장치
210: 모니터링부 211: 이벤트 모니터링부
212: 상태 모니터링부 220: 비시각 인터페이스부
221: 비시각 정보 생성부 222: 비시각 정보 출력부
223: 비시각 정보 저장부 224: 비시각 인터페이스
100: 컴퓨터 보조 진단 장치 110: 동작 제어부
111: 명령 처리부 112: 이벤트 발생부
113: 상태 변경부 120: 진단부
121: 영상 수신부 122: 병변 검출부
123: 병변 판정부 130: 시각 인터페이스부
131: 시각 정보 생성부 132: 시각정보 출력부
200: 컴퓨터 보조 진단 지원 장치
210: 모니터링부 211: 이벤트 모니터링부
212: 상태 모니터링부 220: 비시각 인터페이스부
221: 비시각 정보 생성부 222: 비시각 정보 출력부
223: 비시각 정보 저장부 224: 비시각 인터페이스
Claims (20)
- 컴퓨터 보조 진단 장치를 모니터링하여 컴퓨터 보조 진단 장치로부터 발생되는 상황 정보를 감지하는 모니터링부;
상기 감지된 상황 정보를 기초로 사용자에게 출력할 비시각 정보를 생성하는 비시각 정보 생성부; 및
상기 생성된 비시각 정보를 비시각 인터페이스를 통하여 사용자에게 출력하는 비시각 정보 출력부를 포함하는 컴퓨터 보조 진단 지원 장치. - 제1항에 있어서,
상기 비시각 정보 생성부는
상기 감지된 상황 정보의 종류를 기초로 음향, 음성 및 진동 중의 적어도 하나의 타입을 결정하고, 결정된 타입에 대한 출력 지속시간 및 출력 강도를 결정하여 상기 비시각 정보를 생성하는 컴퓨터 보조 진단 지원 장치. - 제2항에 있어서,
상기 상황 정보는
상기 컴퓨터 보조 진단 장치에 의해 단발성으로 발생하는 이벤트 정보 및 상기 이벤트에 비해 상대적으로 긴 시간 동안 지속되는 상태 정보를 포함하는 컴퓨터 보조 진단 지원 장치. - 제3항에 있어서,
상기 비시각 정보 생성부는
상기 감지된 상황 정보가 이벤트 정보이면 상기 결정된 타입의 출력 지속시간은 짧고 출력 강도는 강하게 결정하고, 상태 정보이면 상기 이벤트 정보에 비해 상대적으로 출력 지속시간은 길고 출력 강도는 약하게 결정하는 컴퓨터 보조 진단 지원 장치. - 제3항에 있어서,
상기 이벤트 정보는
상기 컴퓨터 보조 진단 장치의 시작, 종료, 동작 상태의 변경, 병변의 검출, 영상의 수신, 프로브(Probe)의 이동 속도 및 프로브의 조작 범위에 따라 발생하는 이벤트 정보를 포함하는 컴퓨터 보조 진단 지원 장치. - 제5항에 있어서,
상기 비시각 정보 생성부는
상기 감지된 상황 정보가 병변의 검출이면, 상기 검출된 병변이 기 검출된 병변인지를 판단하고, 판단 결과 기 검출된 병변이면 상기 검출된 병변과 관련된 이벤트나 상태에 대한 비시각 정보를 생성하지 않는 컴퓨터 보조 진단 지원 장치. - 제3항에 있어서,
상기 상태 정보는
병변의 추적, 병변의 크기, 병변의 위험도 및 프로브 위치에 따른 상태 정보를 포함하는 컴퓨터 보조 진단 지원 장치. - 제7항에 있어서,
상기 비시각 정보 생성부는
상기 감지된 상황 정보가 병변의 추적이면, 병변의 추적 시간에 비례하여 상기 출력 지속시간 및 출력 강도를 결정하는 컴퓨터 보조 진단 지원 장치. - 제7항에 있어서,
상기 비시각 정보 생성부는
상기 감지된 상황 정보가 병변의 크기 또는 위험도이면, 병변의 크기 또는 위험도에 비례하여 상기 출력 지속시간 및 출력 강도를 결정하는 컴퓨터 보조 진단 지원 장치. - 제1항에 있어서,
상기 비시각 인터페이스는
상기 컴퓨터 보조 진단 지원 장치와 유선 또는 무선 통신으로 연결되며, 헤드셋, 이어폰, 지향성 스피커 및 햅틱 장치 중의 하나 이상을 포함하는 컴퓨터 보조 진단 지원 장치. - 컴퓨터 보조 진단 장치를 모니터링하는 단계;
컴퓨터 보조 진단 장치로부터 발생되는 상황 정보를 감지하는 단계;
상기 감지된 상황 정보에 따라 사용자에게 출력할 비시각 정보를 생성하는 단계; 및
상기 생성된 비시각 정보를 비시각 인터페이스를 통하여 사용자에게 출력하는 단계를 포함하는 컴퓨터 보조 진단 지원 방법. - 제11항에 있어서,
상기 비시각 정보를 생성하는 단계는
상기 감지된 상황 정보를 기초로 음향, 음성 및 진동 중의 적어도 하나의 타입을 결정하는 단계;
상기 감지된 상황 정보를 기초로 결정된 타입에 대한 출력 지속시간 및 출력 강도를 결정하는 단계; 및
상기 결정된 출력 지속시간 및 출력 강도를 이용하여 상기 비시각 정보를 생성하는 단계를 포함하는 컴퓨터 보조 진단 지원 방법. - 제12항에 있어서,
상기 출력 지속시간 및 출력 강도를 결정하는 단계는
상기 감지된 상황 정보가 이벤트 정보이면, 상기 결정된 타입의 출력 지속시간은 짧고 출력 강도는 강하게 결정하고,
상기 감지된 상황 정보가 상태 정보이면, 상기 이벤트 정보에 비하여 상대적으로 출력 지속시간은 길고 출력 강도는 약하게 결정하는 컴퓨터 보조 진단 지원 방법. - 제12항에 있어서,
상기 출력 지속시간 및 출력 강도를 결정하는 단계는
상기 감지된 상황 정보가 상태 정보 중의 병변의 추적이면, 병변의 추적 시간에 비례하여 상기 출력 지속시간 및 출력 강도를 결정하는 컴퓨터 보조 진단 지원 방법. - 제12항에 있어서,
상기 출력 지속시간 및 출력 강도를 결정하는 단계는
상기 감지된 상황 정보가 상태 정보 중의 병변의 크기 또는 위험도이면, 병변의 크기 또는 위험도에 비례하여 상기 출력 지속시간 및 출력 강도를 결정하는 컴퓨터 보조 진단 지원 방법. - 프로브를 포함하는 각종 모듈에서 수행되는 동작에 따라 대응하는 이벤트를 순차적으로 발생하고, 상태를 변경하는 컴퓨터 보조 진단 장치; 및
상기 컴퓨터 보조 진단 장치를 모니터링하고, 상기 컴퓨터 보조 진단 장치에서 이벤트의 발생 또는 상태 변경을 감지하면, 상기 발생된 이벤트 또는 변경된 상태에 기초하여 비시각 정보를 생성하여 비시각 인터페이스를 통해 사용자에게 출력하는 컴퓨터 보조 진단 지원 장치를 포함하는 컴퓨터 보조 진단 시스템. - 제16항에 있어서,
상기 컴퓨터 보조 진단 장치는
상기 각종 모듈의 동작에 따라 생성되는 정보를 시각 정보로 생성하는 시각정보 생성부; 및
상기 생성된 시각 정보를 화면상에 출력하는 시각 정보 출력부를 포함하는 컴퓨터 보조 진단 시스템. - 제16항에 있어서,
상기 컴퓨터 보조 진단 지원 장치는
상기 이벤트가 감지되면 음성, 음향 및 진동 중의 적어도 하나를 짧고 강하게 출력되도록 하는 비시각 정보를 생성하는 비시각 정보 생성부를 포함하는 컴퓨터 보조 진단 시스템. - 제16항에 있어서,
상기 컴퓨터 보조 진단 지원 장치는
상기 상태가 감지되면 음성, 음향 및 진동 중의 적어도 하나를 미리 설정된 시간 동안 지속적으로 약하게 출력되도록 하는 비시각 정보를 생성하는 비시각 정보 생성부를 포함하는 컴퓨터 보조 진단 시스템. - 제16항에 있어서,
상기 컴퓨터 보조 진단 지원 장치는
상기 비시각 정보가 생성되면, 인체의 일부에 착용하는 햅틱 장치, 이어폰 및 지향성 스피커 중의 하나 이상의 비시각 인터페이스를 제어하여 상기 생성된 비시각 정보를 출력하는 비시각 정보 출력부를 포함하는 컴퓨터 보조 진단 시스템.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140096751A KR20160014470A (ko) | 2014-07-29 | 2014-07-29 | 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템 |
| EP15178066.5A EP2980714A1 (en) | 2014-07-29 | 2015-07-23 | Apparatus and method of providing non-visual information and computer-aided diagnosis system using the same |
| US14/811,561 US20160029976A1 (en) | 2014-07-29 | 2015-07-28 | Apparatus and method of providing non-visual information and computer-aided diagnosis system using the same |
| CN201510455260.2A CN105310653A (zh) | 2014-07-29 | 2015-07-29 | 提供非可视信息的设备和方法及其计算机辅助诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140096751A KR20160014470A (ko) | 2014-07-29 | 2014-07-29 | 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160014470A true KR20160014470A (ko) | 2016-02-11 |
Family
ID=53761984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140096751A KR20160014470A (ko) | 2014-07-29 | 2014-07-29 | 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20160029976A1 (ko) |
| EP (1) | EP2980714A1 (ko) |
| KR (1) | KR20160014470A (ko) |
| CN (1) | CN105310653A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210110216A (ko) * | 2020-02-28 | 2021-09-07 | 주식회사 메디트 | 얼라인 상태 표현 장치 및 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10964424B2 (en) | 2016-03-09 | 2021-03-30 | EchoNous, Inc. | Ultrasound image recognition systems and methods utilizing an artificial intelligence network |
| US20170265846A1 (en) * | 2016-03-18 | 2017-09-21 | Siemens Medical Solutions Usa, Inc. | Alert assistance for survey mode ultrasound imaging |
| WO2020145098A1 (ja) * | 2019-01-10 | 2020-07-16 | カシオ計算機株式会社 | 診断支援装置、診断支援方法及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007090147A2 (en) * | 2006-01-31 | 2007-08-09 | The Board Of Trustees Of The University Of Illinois | Method and apparatus for measurement of optical properties in tissue |
| US7918796B2 (en) * | 2006-04-11 | 2011-04-05 | Warsaw Orthopedic, Inc. | Volumetric measurement and visual feedback of tissues |
| JP5198883B2 (ja) * | 2008-01-16 | 2013-05-15 | 富士フイルム株式会社 | 腫瘍領域サイズ測定方法および装置ならびにプログラム |
| US20110268336A1 (en) * | 2008-12-23 | 2011-11-03 | Koninklijke Philips Electronics N.V. | System for monitoring medical abnormalities and method of operation thereof |
| US8756208B2 (en) * | 2012-07-10 | 2014-06-17 | International Business Machines Corporation | Encoded data processing |
| KR20140091177A (ko) * | 2013-01-10 | 2014-07-21 | 삼성전자주식회사 | 병변 진단 장치 및 방법 |
-
2014
- 2014-07-29 KR KR1020140096751A patent/KR20160014470A/ko not_active Application Discontinuation
-
2015
- 2015-07-23 EP EP15178066.5A patent/EP2980714A1/en not_active Ceased
- 2015-07-28 US US14/811,561 patent/US20160029976A1/en not_active Abandoned
- 2015-07-29 CN CN201510455260.2A patent/CN105310653A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210110216A (ko) * | 2020-02-28 | 2021-09-07 | 주식회사 메디트 | 얼라인 상태 표현 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105310653A (zh) | 2016-02-10 |
| EP2980714A1 (en) | 2016-02-03 |
| US20160029976A1 (en) | 2016-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11583181B2 (en) | Device and method for capturing, analyzing, and sending still and video images of the fundus during examination using an ophthalmoscope | |
| US10492947B2 (en) | Controlling a phacoemulsification system based on real-time analysis of image data | |
| US20230029639A1 (en) | Medical device system for remote monitoring and inspection | |
| EP3157432B1 (en) | Evaluating clinician attention | |
| KR101539234B1 (ko) | 의료 진단 장치의 오류 이벤트 처리 방법, 장치 및 의료 정보 제공 방법, 장치 | |
| JP2024514882A (ja) | オーバーレイされたデータ及び構成のカスタマイズ | |
| US11297285B2 (en) | Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures | |
| US20150124067A1 (en) | Physiological measurement obtained from video images captured by a camera of a handheld device | |
| JP2022504588A (ja) | 手術支援システム、データ処理装置および方法 | |
| KR20160014470A (ko) | 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템 | |
| KR20170095992A (ko) | 헤드 장착식 컴퓨팅 장치, 방법 및 컴퓨터 프로그램 제품 | |
| US20220008161A1 (en) | Information processing device, presentation method, and surgical system | |
| JP2021182950A (ja) | 情報処理装置および方法 | |
| JPWO2019207800A1 (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
| JP2022519988A (ja) | 患者のストレスを視覚化するためのシステム | |
| WO2009053913A1 (en) | Device and method for identifying auscultation location | |
| JP7345866B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| US20240020092A1 (en) | Contactless control of physiological monitors | |
| AU2014202382B2 (en) | Controlling a phacoemulsification system based on real-time analysis of image data | |
| GB2611556A (en) | Augmented reality ultrasound-control system for enabling remote direction of a user of ultrasound equipment by experienced practitioner | |
| KR20210035504A (ko) | 의료영상과 청진정보가 결합된 환자 상태정보 제공방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |