JP6529144B2 - 読影支援装置及び方法 - Google Patents
読影支援装置及び方法 Download PDFInfo
- Publication number
- JP6529144B2 JP6529144B2 JP2017536638A JP2017536638A JP6529144B2 JP 6529144 B2 JP6529144 B2 JP 6529144B2 JP 2017536638 A JP2017536638 A JP 2017536638A JP 2017536638 A JP2017536638 A JP 2017536638A JP 6529144 B2 JP6529144 B2 JP 6529144B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- gaze
- display
- lesion candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000003902 lesion Effects 0.000 claims description 158
- 238000001514 detection method Methods 0.000 claims description 97
- 238000005259 measurement Methods 0.000 claims description 28
- 238000011084 recovery Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Developmental Disabilities (AREA)
- Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
Description
図1は、本発明に係る読影支援装置を備えた医用システムの一例を示すシステム構成図である。
図2は、本発明に係る第1実施形態の読影支援装置12の構成例を示すブロック図である。
本発明の理解を容易にするため、図7を用いて、読影者が読影終了を意図した時に未注視の病変候補部位が一つでもある場合(図6のステップS24でNOの場合)、単純に全ての支援情報を表示する例を説明したが、このような場合に本発明は限定されない。
図10は、本発明に係る第2実施形態の読影支援装置12の構成例を示すブロック図である。尚、図2に示した第1実施形態の読影支援装置12と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
図11を用いて、第1の表示状態から第2の表示状態への切替回数(つまり読影者が読影を終了しようとしたが未注視の病変候補部位が存在すると判別された回数)に基づいて、警告出力を出力するか否かの判定(即ち読影者の疲労の回復が必要であるか否かの推定)を行う態様について説明したが、本発明はこのような場合に限定されない。例えば、次のバリエーション1〜3を行う構成としてもよい。
図13は、本発明に係る第3実施形態の読影支援装置12の構成例を示すブロック図である。尚、図10に示した第2実施形態の読影支援装置12と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
図14は、本発明に係る第4実施形態の読影支援装置12の構成例を示すブロック図である。尚、図13に示した第3実施形態の読影支援装置12と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
本発明に係る読影支援装置12を複数の装置により構成し、これらの複数の装置で読影支援に必要な処理を分散して行ってもよいことは、言うまでもない。つまり、図1に示した読影支援装置12を複数の装置により構成してよい。
Claims (23)
- 読影対象の画像を解析して前記読影対象の画像から病変候補部位を抽出する病変候補部位抽出部と、
前記読影対象の画像と前記病変候補部位を示す支援情報とを表示可能な表示部と、
読影者の視線を検知する視線検知部と、
前記視線検知部の検知の結果に基づいて、前記表示部に表示された前記読影対象の画像のうちの前記病変候補部位が前記読影者により注視されたか否かを判別する注視判別部と、
前記表示部に表示された前記読影対象の画像に対する前記読影者の読影の終了を検知する終了検知部と、
前記終了検知部により前記読影の終了が検知され且つ前記注視判別部により前記病変候補部位が注視されなかったと判別された場合には、前記読影対象の画像を前記表示部に表示し且つ前記支援情報が非表示である第1の表示状態から、前記表示部に少なくとも前記支援情報を表示した第2の表示状態に切り替える表示制御部と、
前記読影者の前記読影による疲労の回復が必要であるか否かを推定する疲労推定部と、
前記疲労推定部により前記疲労の回復が必要であると推定された場合、警告を出力する警告部と、
を備え、
前記疲労推定部は、前記表示制御部による前記第1の表示状態から前記第2の表示状態への切替回数に基づいて、前記疲労の回復が必要であるか否かを推定する読影支援装置。 - 前記表示制御部は、前記終了検知部により前記読影の終了が検知され且つ前記注視判別部により前記病変候補部位が注視されたと判別された場合には、前記第1の表示状態を維持する、
請求項1に記載の読影支援装置。 - 前記表示制御部は、前記読影対象の画像に複数の病変候補部位が存在する場合、前記第2の表示状態において、前記複数の病変候補部位のうち前記読影者により注視済の病変候補部位の支援情報を非表示として、前記読影者により未注視の病変候補部位の支援情報を表示する、
請求項1又は2に記載の読影支援装置。 - 前記表示制御部は、前記読影対象の画像に複数の病変候補部位が存在する場合、前記複数の病変候補部位のうち前記読影者により注視済の病変候補部位の表示態様を変更することで前記読影者により未注視の病変候補部位と区別して表示する、
請求項1から3のいずれか一項に記載の読影支援装置。 - 前記疲労推定部は、前記読影者の個人ごとのデータに基づいて、前記疲労の回復が必要であるか否かを推定する請求項1から4のいずれか一項に記載の読影支援装置。
- 前記表示制御部は、前記読影対象の画像のうちの前記視線が向けられている領域を拡大表示し、前記視線が外れた場合、又は拡大表示を開始してから一定時間経過後に、拡大表示を止める、
請求項1から5のいずれか一項に記載の読影支援装置。 - 前記表示制御部は、前記読影対象の画像のうちの前記病変候補部位よりも注視が不要な部分の視認性を低くする、
請求項1から6のいずれか一項に記載の読影支援装置。 - 前記視線検知部の視線検知により前記読影者からの指示入力を受け付ける、
請求項1から7のいずれか一項に記載の読影支援装置。 - 前記注視判別部は、前記表示部に表示された前記読影対象の画像の病変候補部位に前記読影者の視線が向けられている場合に、前記読影者が前記病変候補部位を注視した注視状態であるか、前記読影者が前記病変候補部位に視線を向けているが前記病変候補部位を注視していない非注視状態であるか、を判別する、
請求項1から8のいずれか一項に記載の読影支援装置。 - 前記注視判別部は、前記病変候補部位への前記読影者の視線の滞留時間に基づいて、前記注視状態であるか、前記非注視状態であるか、を判別する請求項9に記載の読影支援装置。
- 前記注視判別部は、前記読影者の瞳の状態に基づいて、前記注視状態であるか、前記非注視状態であるか、を判別する請求項9に記載の読影支援装置。
- 前記読影者の注視の特性を個人ごとに測定する特性測定部と、
前記特性測定部による個人ごとの測定の結果に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を個人ごとに決定する基準決定部と、
を備え、
前記注視判別部は、前記基準決定部により個人ごとに決定された判別の基準に基づいて、前記読影者が前記注視状態であるか、前記非注視状態であるか、を判別する、
請求項9から11のいずれか一項に記載の読影支援装置。 - 前記特性測定部は、前記表示部にテストパターンを表示して画面中で移動させ、前記テストパターンの移動に対する前記読影者の視線の追従性を測定し、
前記注視判別部は、前記特性測定部により測定された前記読影者の視線の追従性に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を決定する、
請求項12に記載の読影支援装置。 - 読影対象の画像を解析して前記読影対象の画像から病変候補部位を抽出する病変候補部位抽出部と、
前記読影対象の画像と前記病変候補部位を示す支援情報とを表示可能な表示部と、
読影者の視線を検知する視線検知部と、
前記視線検知部の検知の結果に基づいて、前記表示部に表示された前記読影対象の画像のうちの前記病変候補部位が前記読影者により注視されたか否かを判別する注視判別部と、
前記表示部に表示された前記読影対象の画像に対する前記読影者の読影の終了を検知する終了検知部と、
前記終了検知部により前記読影の終了が検知され且つ前記注視判別部により前記病変候補部位が注視されなかったと判別された場合には、前記読影対象の画像を前記表示部に表示し且つ前記支援情報が非表示である第1の表示状態から、前記表示部に少なくとも前記支援情報を表示した第2の表示状態に切り替える表示制御部と、
を備え、
前記注視判別部は、前記表示部に表示された前記読影対象の画像の病変候補部位に前記読影者の視線が向けられている場合に、前記読影者が前記病変候補部位を注視した注視状態であるか、前記読影者が前記病変候補部位に視線を向けているが前記病変候補部位を注視していない非注視状態であるか、を判別し、
前記読影者の注視の特性を個人ごとに測定する特性測定部と、
前記特性測定部による個人ごとの測定の結果に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を個人ごとに決定する基準決定部と、
を更に備え、
前記注視判別部は、前記基準決定部により個人ごとに決定された判別の基準に基づいて、前記読影者が前記注視状態であるか、前記非注視状態であるか、を判別し、
前記特性測定部は、前記表示部にテストパターンを表示して画面中で移動させ、前記テストパターンの移動に対する前記読影者の視線の追従性を測定し、
前記注視判別部は、前記特性測定部により測定された前記読影者の視線の追従性に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を決定する読影支援装置。 - 前記読影者の前記読影による疲労の回復が必要であるか否かを推定する疲労推定部と、
前記疲労推定部により前記疲労の回復が必要であると推定された場合、警告を出力する警告部と、
を備える請求項14に記載の読影支援装置。 - 前記疲労推定部は、前記表示制御部による前記第1の表示状態から前記第2の表示状態への切替回数に基づいて、前記疲労の回復が必要であるか否かを推定する請求項15に記載の読影支援装置。
- 前記疲労推定部は、前記読影の時間の累積に基づいて、前記疲労の回復が必要であるか否かを推定する請求項15に記載の読影支援装置。
- 前記疲労推定部は、前記視線検知部により検知された前記視線の移動速度及び移動量のうちの少なくとも一方に基づいて、前記疲労の回復が必要であるか否かを推定する請求項15に記載の読影支援装置。
- 前記読影者の目の瞬きを検知する瞬き検知部を備え、
前記疲労推定部は、前記目の瞬きの速度に基づいて、前記疲労の回復が必要であるか否かを推定する請求項15に記載の読影支援装置。 - 前記疲労推定部は、前記読影者の個人ごとのデータに基づいて、前記疲労の回復が必要であるか否かを推定する請求項15から19のいずれか一項に記載の読影支援装置。
- 前記読影対象の画像の拡大操作から前記読影者の読影が行われたか否かを推定する読影推定部を備え、
前記終了検知部は、前記読影推定部により読影が行われたと推定された場合のみ読影が終了したことを検知する、
請求項1から20のいずれか一項に記載の読影支援装置。 - 読影対象の画像を解析して前記読影対象の画像から病変候補部位を抽出するステップと、
前記読影対象の画像を表示部に表示し且つ前記病変候補部位を示す支援情報が非表示である第1の表示状態とするステップと、
読影者の視線を検知するステップと、
前記視線の検知の結果に基づいて、前記表示部に表示された前記読影対象の画像のうちの前記病変候補部位が前記読影者により注視されたか否かを判別するステップと、
前記表示部に表示された前記読影対象の画像に対する前記読影者の読影の終了を検知するステップと、
前記読影の終了が検知され且つ前記病変候補部位が注視されなかったと判別された場合には、前記読影対象の画像を前記表示部に表示し且つ前記支援情報が非表示である第1の表示状態から、前記表示部に少なくとも前記支援情報を表示した第2の表示状態に切り替える表示制御ステップと、
前記読影者の前記読影による疲労の回復が必要であるか否かを推定する疲労推定ステップと、
前記疲労推定ステップにおいて前記疲労の回復が必要であると推定された場合、警告を出力するステップと、
を含み、
前記疲労推定ステップにおいて、前記表示制御ステップによる前記第1の表示状態から前記第2の表示状態への切替回数に基づいて、前記疲労の回復が必要であるか否かを推定する読影支援方法。 - 読影対象の画像を解析して前記読影対象の画像から病変候補部位を抽出するステップと、
前記読影対象の画像を表示部に表示し且つ前記病変候補部位を示す支援情報が非表示である第1の表示状態とするステップと、
読影者の視線を検知するステップと、
前記視線の検知の結果に基づいて、前記表示部に表示された前記読影対象の画像のうちの前記病変候補部位が前記読影者により注視されたか否かを判別する注視判別ステップと、
前記表示部に表示された前記読影対象の画像に対する前記読影者の読影の終了を検知するステップと、
前記読影の終了が検知され且つ前記病変候補部位が注視されなかったと判別された場合には、前記読影対象の画像を前記表示部に表示し且つ前記支援情報が非表示である第1の表示状態から、前記表示部に少なくとも前記支援情報を表示した第2の表示状態に切り替えるステップと、
を含み、
前記注視判別ステップにおいて、前記表示部に表示された前記読影対象の画像の病変候補部位に前記読影者の視線が向けられている場合に、前記読影者が前記病変候補部位を注視した注視状態であるか、前記読影者が前記病変候補部位に視線を向けているが前記病変候補部位を注視していない非注視状態であるか、を判別し、
前記読影者の注視の特性を個人ごとに測定する特性測定ステップと、
前記特性測定ステップによる個人ごとの測定の結果に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を個人ごとに決定する基準決定ステップと、
を更に含み、
前記注視判別ステップにおいて、前記基準決定ステップにおいて個人ごとに決定された判別の基準に基づいて、前記読影者が前記注視状態であるか、前記非注視状態であるか、を判別し、
前記特性測定ステップにおいて、前記表示部にテストパターンを表示して画面中で移動させ、前記テストパターンの移動に対する前記読影者の視線の追従性を測定し、
前記注視判別ステップにおいて、前記特性測定ステップにおいて測定された前記読影者の視線の追従性に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を決定する読影支援方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015164601 | 2015-08-24 | ||
JP2015164601 | 2015-08-24 | ||
PCT/JP2016/065559 WO2017033516A1 (ja) | 2015-08-24 | 2016-05-26 | 読影支援装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017033516A1 JPWO2017033516A1 (ja) | 2018-06-07 |
JP6529144B2 true JP6529144B2 (ja) | 2019-06-12 |
Family
ID=58099846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017536638A Active JP6529144B2 (ja) | 2015-08-24 | 2016-05-26 | 読影支援装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10456072B2 (ja) |
EP (1) | EP3342343B1 (ja) |
JP (1) | JP6529144B2 (ja) |
WO (1) | WO2017033516A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101840350B1 (ko) * | 2015-09-24 | 2018-03-20 | 주식회사 뷰노 | 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치 |
JPWO2019044579A1 (ja) * | 2017-08-31 | 2020-11-05 | 国立大学法人大阪大学 | 病理診断装置、画像処理方法及びプログラム |
EP3493213B1 (en) * | 2018-02-13 | 2020-12-30 | Siemens Healthcare GmbH | Method, system, computer program product and computer-readable medium for supporting a visual analysis of a medical image data set |
JP2019180966A (ja) | 2018-04-13 | 2019-10-24 | 学校法人昭和大学 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
CN112368668B (zh) * | 2018-07-03 | 2024-03-22 | 瑞典爱立信有限公司 | 用于混合现实头戴式耳机的便携式电子设备 |
JP7121583B2 (ja) * | 2018-08-07 | 2022-08-18 | 本田技研工業株式会社 | 表示装置、表示制御方法、およびプログラム |
WO2020110214A1 (ja) * | 2018-11-28 | 2020-06-04 | オリンパス株式会社 | 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム |
JP2021148506A (ja) | 2020-03-17 | 2021-09-27 | 本田技研工業株式会社 | 表示制御装置、表示制御方法およびプログラム |
JPWO2022064794A1 (ja) * | 2020-09-28 | 2022-03-31 | ||
EP4252663A4 (en) * | 2020-11-27 | 2024-03-27 | Fujifilm Corp | IMAGE DISPLAY DEVICE, METHOD AND PROGRAM |
US20220265183A1 (en) * | 2021-02-19 | 2022-08-25 | Canon Medical Systems Corporation | Method and apparatus for displaying medical images |
WO2022220081A1 (ja) * | 2021-04-14 | 2022-10-20 | 富士フイルム株式会社 | 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0370381A (ja) * | 1989-08-10 | 1991-03-26 | Fuji Photo Film Co Ltd | 画像表示装置 |
JP3381666B2 (ja) * | 1999-06-03 | 2003-03-04 | 日本電気株式会社 | 眼疲労警告装置 |
JP2005348936A (ja) * | 2004-06-10 | 2005-12-22 | Konica Minolta Medical & Graphic Inc | 医用画像表示システム、プログラム及び医用画像表示方法 |
US8020993B1 (en) * | 2006-01-30 | 2011-09-20 | Fram Evan K | Viewing verification systems |
JP5159041B2 (ja) | 2006-01-30 | 2013-03-06 | 株式会社東芝 | 超音波診断装置およびその画像処理プログラム |
JP2007319327A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Medical Corp | 読影支援システム |
JP2008099929A (ja) * | 2006-10-20 | 2008-05-01 | Fujifilm Corp | 異常陰影候補表示装置 |
JP5301815B2 (ja) * | 2007-11-20 | 2013-09-25 | 浜松ホトニクス株式会社 | 瞬目計測装置 |
JP2010035756A (ja) * | 2008-08-04 | 2010-02-18 | Fujifilm Corp | 診断支援装置及び診断支援方法 |
US9841811B2 (en) * | 2008-11-03 | 2017-12-12 | Bruce Reiner | Visually directed human-computer interaction for medical applications |
US8311279B2 (en) * | 2010-02-23 | 2012-11-13 | Fuji Xerox Co., Ltd. | System and method for improved image analysis through gaze data feedback |
JP5733658B2 (ja) * | 2011-03-18 | 2015-06-10 | 学校法人早稲田大学 | 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム |
WO2014039337A1 (en) * | 2012-09-07 | 2014-03-13 | Tractus Corporation | Methods, apparatus, and systems for viewing multiple-slice medical images |
JP2014123179A (ja) * | 2012-12-20 | 2014-07-03 | Fujitsu Ltd | 情報処理装置、情報処理方法、見落し防止プログラム |
JP6165033B2 (ja) | 2013-11-14 | 2017-07-19 | オリンパス株式会社 | 医療システム |
JP5997791B2 (ja) | 2015-02-10 | 2016-09-28 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体 |
-
2016
- 2016-05-26 WO PCT/JP2016/065559 patent/WO2017033516A1/ja unknown
- 2016-05-26 JP JP2017536638A patent/JP6529144B2/ja active Active
- 2016-05-26 EP EP16838863.5A patent/EP3342343B1/en active Active
-
2018
- 2018-02-08 US US15/891,556 patent/US10456072B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180177446A1 (en) | 2018-06-28 |
EP3342343B1 (en) | 2019-11-27 |
JPWO2017033516A1 (ja) | 2018-06-07 |
US10456072B2 (en) | 2019-10-29 |
EP3342343A1 (en) | 2018-07-04 |
WO2017033516A1 (ja) | 2017-03-02 |
EP3342343A4 (en) | 2018-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6529144B2 (ja) | 読影支援装置及び方法 | |
Feit et al. | Toward everyday gaze input: Accuracy and precision of eye tracking and implications for design | |
US20180157323A1 (en) | Eye gaze determination | |
US20100182232A1 (en) | Electronic Data Input System | |
US9818029B2 (en) | Apparatus and method for computer aided diagnosis (CAD) based on eye movement | |
CN106659441B (zh) | 评价医生注意力 | |
KR102326489B1 (ko) | 디스플레이를 제어하는 전자 장치 및 방법 | |
EP2818115B1 (en) | Ultrasonic diagnostic apparatus and method of operating the same | |
JP6668942B2 (ja) | 撮影制御装置、プログラム及び方法 | |
KR101936082B1 (ko) | 리얼센스 카메라를 이용한 가상현실 기반의 손가락 재활 시스템 및 방법 | |
JP2015152938A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN106572795A (zh) | 眼睛状况确定系统 | |
JP2007163864A (ja) | 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体 | |
Li et al. | Bayesgaze: A bayesian approach to eye-gaze based target selection | |
Eckstein et al. | Evaluation of search strategies for microcalcifications and masses in 3D images | |
Kotani et al. | Design of eye-typing interface using saccadic latency of eye movement | |
JP4088282B2 (ja) | コンピュータ入力方法と装置 | |
US20220327704A1 (en) | Method for determining location of target of body | |
CN111656402A (zh) | 用于与血管图像交互的设备、系统和方法 | |
CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 | |
KR101643744B1 (ko) | 시선고정 눈 반응 감지장치 및 방법 | |
KR102118505B1 (ko) | 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템 | |
KR101889463B1 (ko) | 사용자 단말의 화면 표시 제어 방법 및 이를 이용한 사용자 단말 | |
EP4286991A1 (en) | Guidance for medical interventions | |
Brandon et al. | Virtual Visit: A Web-based Assistive Interface for Touring Cultural Spaces Remotely |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6529144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |