WO2022049932A1 - 画像処理装置、画像処理方法及びプログラム、画像処理システム - Google Patents

画像処理装置、画像処理方法及びプログラム、画像処理システム Download PDF

Info

Publication number
WO2022049932A1
WO2022049932A1 PCT/JP2021/027869 JP2021027869W WO2022049932A1 WO 2022049932 A1 WO2022049932 A1 WO 2022049932A1 JP 2021027869 W JP2021027869 W JP 2021027869W WO 2022049932 A1 WO2022049932 A1 WO 2022049932A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
recommended
processor
medical
Prior art date
Application number
PCT/JP2021/027869
Other languages
English (en)
French (fr)
Inventor
東 高橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to DE112021003601.7T priority Critical patent/DE112021003601T5/de
Priority to JP2022546159A priority patent/JP7483018B2/ja
Publication of WO2022049932A1 publication Critical patent/WO2022049932A1/ja
Priority to US18/168,569 priority patent/US20230196574A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing device, an image processing method and program, and an image processing system, and particularly relates to a technique for image processing a medical image to be inspected.
  • CAD Computer-Aided Detection / Diagnosis
  • CAD may be used as a cloud service and a pay-as-you-go billing system may be applied. In this case, you will be charged according to the processing executed by the user.
  • Patent Document 1 describes a diagnostic support service using cloud computing.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an image processing apparatus, an image processing method and program, and an image processing system that improve diagnostic accuracy by prompting processing requests more easily and without omission. And.
  • One aspect of an image processing apparatus for achieving the above object comprises at least one memory for storing instructions to be executed by a processor and at least one processor for executing instructions stored in the memory.
  • the processor acquires the image features of the medical image to be examined, acquires the reference case and the diagnostic log based on the image feature, and determines the recommended processing for the medical image to be examined based on the acquired reference case and the diagnostic log.
  • An image processor that presents recommended processing.
  • the diagnostic accuracy can be improved by prompting the processing request more easily and without omission.
  • the recommended process preferably includes at least one of automatic lesion extraction and automatic disease name determination process for the medical image to be inspected. This makes it possible to present an appropriate process.
  • the processor obtains a reference case by using at least one of DIcom (Digital imaging and communications in medicine) tag information, location information, and similar image search. This makes it possible to appropriately obtain reference cases.
  • DIcom Digital imaging and communications in medicine
  • the diagnosis log contains the past diagnosis results managed for each user and the effect results of the image processing on the diagnosis results. This makes it possible to appropriately determine the recommended processing.
  • the processor presents the results that the recommended processing was effectively utilized in the reference case. As a result, the processing request can be appropriately prompted.
  • the processor additionally presents a new recommended process based on the process result of performing the recommended process.
  • the recommended process can be presented without omission.
  • the processor acquires a past image similar to the medical image to be inspected based on the image feature. This makes it possible to appropriately acquire past images.
  • One aspect of the image processing system for achieving the above object is presented by the above image processing device, an imaging device that captures a medical image to be inspected, a database that stores reference cases and diagnostic logs, and recommended processing. It is an image processing system including a display.
  • the diagnostic accuracy can be improved by prompting the processing request more easily and without omission.
  • the image processing device is preferably installed in a server device connected to the Internet. This allows a plurality of users to access the image processing device.
  • One aspect of the image processing method for achieving the above object is an image feature acquisition step of acquiring an image feature of a medical image to be inspected, and a past image and diagnosis similar to the medical image to be inspected based on the image feature. It is an image processing method including a similar image acquisition step of acquiring a log, a recommended processing determination step of determining a recommended process of an inspection target based on the acquired past image and a diagnostic log, and a presentation step of presenting the recommended process. ..
  • the diagnostic accuracy can be improved by prompting the processing request more easily and without omission.
  • One aspect of the program for achieving the above object is a program for causing a computer to execute the above image processing method.
  • a computer-readable non-temporary storage medium on which this program is recorded may also be included in this embodiment.
  • the diagnostic accuracy can be improved by prompting the processing request more easily and without omission.
  • the diagnostic accuracy can be improved by prompting the processing request more easily and without omission.
  • FIG. 1 is an overall configuration diagram of a medical image processing system 10.
  • FIG. 2 is a flowchart showing each step of the medical image processing method.
  • FIG. 3 is a process diagram showing each process of the medical image processing system.
  • FIG. 1 is an overall configuration diagram of a medical image processing system 10.
  • the medical image processing system 10 is a system that captures an image of an examination target (patient) and presents recommended processing based on the captured image.
  • the medical image processing system 10 includes a medical image inspection device 12, an image management unit 14, a recommended image processing determination processing unit 16, a diagnostic log management unit 18, a user terminal 20, and image processing.
  • a unit 26 is provided.
  • the medical image inspection device 12, the image management unit 14, the recommended image processing determination processing unit 16, the diagnostic log management unit 18, and the user terminal 20 are provided in the medical institution, and each is provided via the in-hospital network 22. Connected so that data can be sent and received.
  • the in-hospital network 22 can be wired or wireless.
  • the hospital network 22 is connected to the Internet 24 via a router (not shown).
  • the in-hospital network 22 and the image processing unit 26 are connected so as to be able to transmit and receive data via the Internet 24.
  • the medical image inspection device 12 is an imaging device that images an inspection target portion to be inspected and generates a medical image.
  • an X-ray imaging device a CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, a PET (Positron Emission Tomography) device, an ultrasonic device, and a plane X-ray detector were used.
  • a CR (Computed Radiography) device can be mentioned.
  • the image management unit 14 is a database that manages medical images taken by the medical image inspection device 12.
  • the image management unit 14 can apply a computer provided with a large-capacity storage device.
  • the computer incorporates software that provides the functionality of a database management system.
  • the Dicom (Digital imaging and communications in medicine) standard can be applied to the format of medical images.
  • Ancillary information (Dicom tag information) specified in the DIcom standard may be added to the medical image.
  • image in the present specification may include the meaning of image data, which is a signal representing an image, in addition to the meaning of the image itself such as a photograph.
  • the recommended image processing determination processing unit 16 determines the recommended processing of the image to be inspected.
  • the recommended image processing determination processing unit 16 can apply a personal computer or a workstation (an example of a computer).
  • the recommended image processing determination processing unit 16 includes a processor 16A and a memory 16B.
  • the processor 16A executes the instruction stored in the memory 16B.
  • the hardware structure of the processor 16A is various processors as shown below.
  • the various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and acts as various functional units, and a GPU (Graphics Processing Unit), which is a processor specialized in image processing.
  • a circuit specially designed to execute specific processing such as PLD (Programmable Logic Device), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed after manufacturing FPGA (Field Programmable Gate Array), etc.
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a CPU and a processing unit. It may be composed of a combination of GPUs).
  • a plurality of functional units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor acts as a plurality of functional parts.
  • SoC System On Chip
  • IC Integrated Circuit
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the memory 16B stores an instruction for the processor 16A to execute.
  • the memory 16B includes a RAM (RandomAccessMemory) and a ROM (ReadOnlyMemory) (not shown).
  • the processor 16A uses RAM as a work area, executes software using various programs and parameters including an image processing program stored in ROM, and uses parameters stored in ROM or the like to perform recommended images. Various processes of the process determination processing unit 16 are executed.
  • the diagnostic log management unit 18 is a database that manages diagnostic logs.
  • the diagnostic log management unit 18 can apply a computer equipped with a large-capacity storage device.
  • the computer incorporates software that provides the functionality of a database management system.
  • the image management unit 14 and the diagnostic log management unit 18 may be configured by one computer.
  • the user terminal 20 is a terminal device used by a user such as a doctor.
  • the user terminal 20 is, for example, a personal computer, and includes an input device 20A and a display 20B.
  • the user terminal 20 may be a workstation or a tablet terminal.
  • the user inputs an instruction to the medical image processing system 10 using the input device 20A. Further, the recommended image processing determination processing unit 16 causes the display 20B to present the recommended image processing.
  • the image processing unit 26 (an example of an image processing device) is configured by, for example, a server device.
  • the image processing unit 26 performs image processing including at least one of automatic lesion extraction and automatic disease name determination processing on the medical image to be inspected.
  • the image processing unit 26 can be accessed from the in-hospital network 22 of a plurality of medical institutions via the Internet 24.
  • the processing performed by the image processing unit 26 may be a billing system or a fixed charge system cloud service.
  • FIG. 2 is a flowchart showing each step of the medical image processing method using the medical image processing system 10. Further, FIG. 3 is a process diagram showing each process of the medical image processing system 10. Here, an example of presenting the recommended processing for the medical image of the patient B to be examined to the user A will be described.
  • step S1 the medical image inspection device 12 inspects the patient B and saves the captured medical image in the image management unit 14 (process P1). For example, a CT examination is performed on a patient B in a case suspected of having a nodule (a case having a lung nodule in the vicinity of a blood vessel), and a CT image is taken.
  • the CT device (not shown) stores the captured CT image in the image management unit 14.
  • step S2 the image management unit 14 notifies the recommended image processing determination processing unit 16 that the medical image of the patient B has been input from the medical image inspection device 12 (process P2).
  • the image management unit 14 notifies that the CT image of the patient B has been input.
  • step S3 the recommended image processing determination processing unit 16 acquires the image features of the medical image saved in step S1 (process P1) (an example of the image feature acquisition step), and similar past images and similar past images from the acquired image features. Search for reference cases (an example of a similar image acquisition process). For example, the recommended image processing determination processing unit 16 searches for and extracts reference cases examined in the past using at least one of DIcom tag information, position information, and similar image search.
  • the recommended image processing determination processing unit 16 can search for similar cases of multiple cases of lung nodules examined in the past from cases of multiple cases of lung nodules to be examined.
  • the position information includes at least one of the tag information such as the number of slices and the slice interval, and the part information.
  • Similar image search is a technology for parameterizing image features and searching for similar images by matching the parameters. That is, the recommended image processing determination processing unit 16 acquires a past image similar to the medical image of the patient B from the image management unit 14 based on the image characteristics of the medical image.
  • the recommended image processing determination processing unit 16 extracts a case (past examination target) having a lung nodule in the vicinity of the blood vessel from the image feature of the CT image of patient B (process P3).
  • step S4 the recommended image processing determination processing unit 16 acquires the diagnosis log of the reference case extracted in step S3 from the diagnosis log management unit 18 (process P4).
  • the diagnostic log includes past diagnostic results (interpretation results) managed for each user, and the effect results of image processing on the diagnostic results.
  • the diagnosis result may include a diagnosis result before the user confirms the CAD result and a diagnosis result after the user confirms the CAD result. Further, it may be not for each user but for each hospital or the entire medical industry.
  • the recommended image processing determination processing unit 16 acquires a diagnostic log indicating that the user A has found five overlooked points by utilizing the lung CAD for the past images of the cases extracted in step S3.
  • step S5 the recommended image processing determination processing unit 16 determines, among the diagnostic logs acquired in step S4, the processing for which the processing result is effectively used as the recommended processing (an example of the recommended processing determination process), and the user terminal 20 It is displayed on the display 20B of the above and proposed to the user (an example of presentation) (an example of the presentation process).
  • the recommended image processing determination processing unit 16 also displays the effectively utilized contents such as the image reading time and the reduction of oversight (process P5).
  • the recommended image processing determination processing unit 16 proposes the lung CAD to the user A as the recommended processing.
  • the recommended image processing determination processing unit 16 also displays five additional detections as a result of reducing oversight.
  • step S6 the user A selects a recommended process to be executed.
  • the lung CAD presented in step S5 is selected.
  • the selected recommended process is requested from the user terminal 20 to the image processing unit 26 via the Internet 24 (process P6).
  • step S7 the image processing unit 26 executes the requested recommended processing.
  • the image processing unit 26 executes lung CAD on the CT image taken in step S1 (process P7).
  • the result of the recommended processing executed by the image processing unit 26 is transmitted to the user terminal 20.
  • step S8 the user A performs image interpretation utilizing the result of the recommended process in step S7 on the display 20B of the user terminal 20.
  • the user A independently interprets the lung nodule, then refers to the result of the lung CAD, which is the recommended process, to confirm that there is no oversight, and completes the interpretation (process P8).
  • the user A inputs the image-reading result as a diagnosis result by using the input device 20A of the user terminal 20.
  • step S9 the user terminal 20 saves the diagnosis result input by the user A in step S8 in the diagnosis log management unit 18.
  • the user terminal 20 updates the diagnostic log confirming the serious nodules (several missed this time).
  • step S10 the recommended image processing determination processing unit 16 determines whether or not to re-suggest the recommended processing.
  • the recommended image processing determination processing unit 16 returns to step S3 and repeats the processes of steps S3 to S9 (process P10).
  • the recommended image processing determination processing unit 16 searches for reference cases again using the updated diagnostic log. For example, when there is a serious nodule, the recommended image processing determination processing unit 16 proposes bone metastasis CAD as a recommended treatment because there is an oversight of bone metastasis. If the recommended process is not re-proposed, the medical image processing system 10 ends the process of this flowchart.
  • the diagnostic accuracy can be improved by prompting the processing request more easily and without omission. Further, when the image processing unit 26 is a billing system, it is possible to promote the use of the image processing unit 26.
  • At least steps S3, S4, and S5 performed by the recommended image processing determination processing unit 16 constitute the image processing method according to the present embodiment.
  • the image processing program for causing the computer to execute the image processing method is stored in a ROM (not shown) of the memory 16B of the recommended image processing determination processing unit 16.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

より容易かつ漏れなく処理要求を促すことで診断精度を向上させる画像処理装置、画像処理方法及びプログラム、画像処理システムを提供する。検査対象の医用画像の画像特徴を取得し、画像特徴に基づいて参考症例及び診断ログを取得し、取得した参考症例及び診断ログに基づいて検査対象の医用画像に対する推奨処理を決定し、推奨処理を提示させる画像処理装置、画像処理方法及びプログラム、画像処理システムによって上記課題を解決する。

Description

画像処理装置、画像処理方法及びプログラム、画像処理システム
　本発明は画像処理装置、画像処理方法及びプログラム、画像処理システムに係り、特に検査対象の医用画像を画像処理する技術に関する。
　医用画像から疾患を自動検出するＣＡＤ（Computer-Aided Detection/Diagnosis）が知られている。ＣＡＤは、例えば深層学習等により学習された学習済みモデルが使用される。ＣＡＤを活用することで、読影医の業務効率化及び疾患の見逃し防止が期待される。
　また、ＣＡＤをクラウドサービスとし、従量制の課金システムを適用することがある。この場合、ユーザが実行した処理に応じて課金される。
　特許文献１には、クラウドコンピューティングを用いた診断支援サービスが記載されている。
特開２０１６－８５７１５号公報
　従量課金制の計算処理システムでは、処理数が売り上げに直結することから処理数を増加させることが重要である。しかしながら、ユーザが実行する処理を選択するシステムにおいては、多数の処理の中から選択する操作負荷が高く、処理実行を見送られることも想定される。また、ユーザが必要な処理を失念する場合もある。さらに、従量課金制に限らず、固定料金制であってもユーザが必要な処理を見落とす可能性がある。このような課題は、クラウドサービスに限られず、オンプレミスであっても同様である。
　本発明はこのような事情に鑑みてなされたもので、より容易かつ漏れなく処理要求を促すことで診断精度を向上させる画像処理装置、画像処理方法及びプログラム、画像処理システムを提供することを目的とする。
　上記目的を達成するための画像処理装置の一の態様は、プロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、メモリに記憶された命令を実行する少なくとも１つのプロセッサと、を備え、プロセッサは、検査対象の医用画像の画像特徴を取得し、画像特徴に基づいて参考症例及び診断ログを取得し、取得した参考症例及び診断ログに基づいて検査対象の医用画像に対する推奨処理を決定し、推奨処理を提示させる画像処理装置である。
　本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。
　推奨処理は、検査対象の医用画像についての自動病変抽出、及び自動病名判定処理のうちの少なくとも一方を含むことが好ましい。これにより、適切な処理を提示させることができる。
　プロセッサは、Ｄｉｃｏｍ（Digital imaging and communications in medicine）タグ情報、位置情報、及び類似画像検索のうちの少なくとも1つを用いて参考症例を取得することが好ましい。これにより、参考症例を適切に取得することができる。
　診断ログは、ユーザ毎に管理された過去の診断結果、及び画像処理が診断結果に与えた影響結果を含むことが好ましい。これにより、推奨処理を適切に決定することができる。
　プロセッサは、推奨処理が参考症例において有効活用された実績を提示させることが好ましい。これにより、処理要求を適切に促すことができる。
　プロセッサは、推奨処理を行わせた処理結果に基づいて新たな推奨処理を追加で提示させることが好ましい。これにより、より漏れなく推奨処理を提示させることができる。
　プロセッサは、画像特徴に基づいて検査対象の医用画像に類似する過去画像を取得することが好ましい。これにより、過去画像を適切に取得することができる。
　上記目的を達成するための画像処理システムの一の態様は、上記の画像処理装置と、検査対象の医用画像を撮影する撮像装置と、参考症例及び診断ログを記憶するデータベースと、推奨処理が提示されるディスプレイと、を備える画像処理システムである。
　本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。
　画像処理装置は、インターネットに接続されたサーバ装置に設けられることが好ましい。これにより、複数のユーザが画像処理装置にアクセスすることができる。
　上記目的を達成するための画像処理方法の一の態様は、検査対象の医用画像の画像特徴を取得する画像特徴取得工程と、画像特徴に基づいて検査対象の医用画像に類似する過去画像及び診断ログを取得する類似画像取得工程と、取得した過去画像及び診断ログに基づいて検査対象の推奨処理を決定する推奨処理決定工程と、推奨処理を提示する提示工程と、を備える画像処理方法である。
　本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。
　上記目的を達成するためのプログラムの一の態様は、上記の画像処理方法をコンピュータに実行させるためのプログラムである。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。
　本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。
　本発明によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。
図１は、医用画像処理システム１０の全体構成図である。 図２は、医用画像処理方法の各工程を示すフローチャートである。 図３は、医用画像処理システムの各プロセスを示すプロセス図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　〔医用画像処理システムの全体構成〕
　図１は、医用画像処理システム１０の全体構成図である。医用画像処理システム１０は、検査対象（患者）の画像を撮影し、撮影した画像に基づいて推奨される処理を提示するシステムである。図１に示すように、医用画像処理システム１０は、医用画像検査機器１２と、画像管理部１４と、推奨画像処理決定処理部１６と、診断ログ管理部１８と、ユーザ端末２０と、画像処理部２６と、を備えて構成される。
　医用画像検査機器１２と、画像管理部１４と、推奨画像処理決定処理部１６と、診断ログ管理部１８と、ユーザ端末２０とは、医療機関内に設けられ、それぞれ病院内ネットワーク２２を介してデータ送受信可能に接続される。
　病院内ネットワーク２２は、ＬＡＮ（Local Area Network）を適用可能である。病院内ネットワーク２２は、有線でもよいし、無線でもよい。
　病院内ネットワーク２２は不図示のルータを介してインターネット２４と接続される。病院内ネットワーク２２と画像処理部２６とは、インターネット２４を介してデータ送受信可能に接続される。
　医用画像検査機器１２は、検査対象の検査対象部位を撮像し、医用画像を生成する撮像装置である。医用画像検査機器１２の例として、Ｘ線撮像装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ（Computed Radiography）装置が挙げられる。
　画像管理部１４は、医用画像検査機器１２によって撮影された医用画像を管理するデータベースである。画像管理部１４は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。
　医用画像のフォーマットは、Ｄｉｃｏｍ（Digital imaging and communications in medicine）規格を適用可能である。医用画像は、Ｄｉｃｏｍ規格において規定された付帯情報（Ｄｉｃｏｍタグ情報）が付加されてもよい。なお、本明細書における画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれ得る。
　推奨画像処理決定処理部１６は、検査対象の画像の推奨処理を決定する。推奨画像処理決定処理部１６は、パーソナルコンピュータ、又はワークステーション（コンピュータの一例）を適用可能である。推奨画像処理決定処理部１６は、プロセッサ１６Ａと、メモリ１６Ｂと、を備える。プロセッサ１６Ａは、メモリ１６Ｂに記憶された命令を実行する。
　プロセッサ１６Ａのハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　メモリ１６Ｂは、プロセッサ１６Ａに実行させるための命令を記憶する。メモリ１６Ｂは、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサ１６Ａは、ＲＡＭを作業領域とし、ＲＯＭに記憶された画像処理プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、推奨画像処理決定処理部１６の各種の処理を実行する。
　診断ログ管理部１８は、診断ログを管理するデータベースである。診断ログ管理部１８は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。画像管理部１４と診断ログ管理部１８とは、１つのコンピュータで構成されてもよい。
　ユーザ端末２０は、医師等のユーザが使用する端末機器である。ユーザ端末２０は、例えばパーソナルコンピュータであり、入力装置２０Ａ及びディスプレイ２０Ｂを備える。ユーザ端末２０は、ワークステーションであってもよいし、タブレット端末であってもよい。ユーザは、入力装置２０Ａを使用して医用画像処理システム１０への指示を入力する。また、推奨画像処理決定処理部１６は、ディスプレイ２０Ｂに推奨画像処理を提示させる。
　画像処理部２６（画像処理装置の一例）は、例えばサーバ装置によって構成される。画像処理部２６は、検査対象の医用画像について、自動病変抽出及び自動病名判定処理のうちの少なくとも一方を含む画像処理を行う。画像処理部２６は、インターネット２４を介して複数の医療機関の病院内ネットワーク２２からアクセス可能である。画像処理部２６で行う処理は、課金制、又は固定料金制のクラウドサービスであってもよい。
　〔医用画像処理方法〕
　図２は、医用画像処理システム１０を用いた医用画像処理方法の各ステップを示すフローチャートである。また、図３は、医用画像処理システム１０の各プロセスを示すプロセス図である。ここでは、検査対象である患者Ｂの医用画像についての推奨処理をユーザＡに提示する例を説明する。
　ステップＳ１では、医用画像検査機器１２は、患者Ｂの検査を行い、撮影した医用画像を画像管理部１４に保存する（プロセスＰ１）。例えば、結節の疑いのある症例（血管近傍に肺結節のある症例）の患者Ｂに対してＣＴ検査を実施し、ＣＴ画像を撮影する。不図示のＣＴ装置は、撮影したＣＴ画像を画像管理部１４に保存する。
　ステップＳ２では、画像管理部１４は、患者Ｂの医用画像が医用画像検査機器１２から入力されたことを推奨画像処理決定処理部１６に通知する（プロセスＰ２）。ここでは、画像管理部１４は、患者ＢのＣＴ画像が入力されたことを通知する。
　ステップＳ３では、推奨画像処理決定処理部１６は、ステップＳ１（プロセスＰ１）で保存された医用画像の画像特徴を取得し（画像特徴取得工程の一例）、取得した画像特徴から類似する過去画像及び参考症例の検索を行う（類似画像取得工程の一例）。例えば、推奨画像処理決定処理部１６は、Ｄｉｃｏｍタグ情報、位置情報、及び類似画像検索のうちの少なくとも１つを用いて過去に検査した参考症例を検索し、抽出する。
　Ｄｉｃｏｍタグ情報を用いた例として、推奨画像処理決定処理部１６は、検査対象の肺結節の多発症例から類似した過去に検査した肺結節の多発症例を検索することができる。
　位置情報は、スライス枚数、スライス間隔等のタグ情報、及び部位情報のうち少なくとも１つを含む。
　また、類似画像検索は、画像特徴量をパラメータ化し、パラメータのマッチングにより類似している画像を検索する技術である。すなわち、推奨画像処理決定処理部１６は、医用画像の画像特徴に基づいて、画像管理部１４から患者Ｂの医用画像に類似する過去画像を取得する。
　ここでは、推奨画像処理決定処理部１６は、患者ＢのＣＴ画像の画像特徴から、患者Ｂと同様に血管近傍に肺結節のある症例（過去検査対象）を抽出する（プロセスＰ３）。
　ステップＳ４（類似画像取得工程の一例）では、推奨画像処理決定処理部１６は、ステップＳ３で抽出した参考症例の診断ログを診断ログ管理部１８から取得する（プロセスＰ４）。診断ログは、ユーザ毎に管理された過去の診断結果（読影結果）、及び画像処理が診断結果に与えた影響結果を含む。診断結果は、ＣＡＤの結果をユーザが確認する前の診断結果と、ＣＡＤの結果をユーザが確認した後の診断結果とを含んでもよい。また、ユーザ毎でなく、病院毎、医療業界全体であってもよい。
　ここでは、ユーザＡは血管近傍の肺結節の疾患の見逃しが多かったものとする。推奨画像処理決定処理部１６は、ステップＳ３で抽出した症例の過去画像について、ユーザＡが肺ＣＡＤを活用して５箇所の見逃しを発見した旨の診断ログを取得する。
　ステップＳ５では、推奨画像処理決定処理部１６は、ステップＳ４で取得した診断ログのうち、処理結果が有効に使用された処理を推奨処理として決定し（推奨処理決定工程の一例）、ユーザ端末２０のディスプレイ２０Ｂに表示してユーザに提案（提示の一例）する（提示工程の一例）。また、推奨画像処理決定処理部１６は、読影時間及び見逃し低減等、有効活用された内容も合わせて表示する（プロセスＰ５）。
　ここでは、推奨画像処理決定処理部１６は、肺ＣＡＤを推奨処理としてユーザＡに提案する。また、推奨画像処理決定処理部１６は、見逃し低減の実績として５箇所の追加検出についても併せて表示する。
　ステップＳ６では、ユーザＡは、実行する推奨処理を選択する。ここでは、ステップＳ５で提示された肺ＣＡＤを選択する。選択された推奨処理は、ユーザ端末２０から画像処理部２６にインターネット２４を介して処理実行が要求される（プロセスＰ６）。
　ステップＳ７では、画像処理部２６は、要求された推奨処理を実行する。ここでは、画像処理部２６は、ステップＳ１で撮影されたＣＴ画像について肺ＣＡＤを実行する（プロセスＰ７）。画像処理部２６で実行された推奨処理の結果は、ユーザ端末２０に送信される。
　ステップＳ８では、ユーザＡは、ステップＳ７での推奨処理の結果を活用した読影をユーザ端末２０のディスプレイ２０Ｂにおいて行う。ここでは、ユーザＡは、単独で肺結節の読影を行った後、推奨処理である肺ＣＡＤの結果を参照して見逃しがないかを確認し、読影を完了する（プロセスＰ８）。ユーザＡは、読影した結果を診断結果としてユーザ端末２０の入力装置２０Ａを用いて入力する。
　ステップＳ９では、ユーザ端末２０は、ステップＳ８でユーザＡが入力した診断結果を診断ログ管理部１８に保存する。ここでは、ユーザ端末２０は、重篤な結節（の見逃しを今回何個かすくえた）を確認した診断ログを更新する。
　ステップＳ１０では、推奨画像処理決定処理部１６は、推奨処理の再提案を行うか否かを判定する。推奨処理の再提案を行う場合は、推奨画像処理決定処理部１６は、ステップＳ３に戻り、ステップＳ３～ステップＳ９の処理を繰り返す（プロセスＰ１０）。ここでは、推奨画像処理決定処理部１６は、更新した診断ログを用いて再度、参考症例の検索を実施する。例えば、重篤な結節がある場合、推奨画像処理決定処理部１６は、骨転移の見逃しがあるため骨転移ＣＡＤを推奨処理として提案する。推奨処理の再提案を行わない場合は、医用画像処理システム１０は、本フローチャートの処理を終了する。
　以上のように、本態様によれば、より容易かつ漏れなく処理要求を促すことで、診断精度を向上させることができる。また、画像処理部２６が課金システムである場合には、利用促進を図ることが可能となる。
　推奨画像処理決定処理部１６が処理を行う少なくともステップＳ３、ステップＳ４、及びステップＳ５は、本実施形態に係る画像処理方法を構成する。画像処理方法をコンピュータに実行させるための画像処理プログラムは、推奨画像処理決定処理部１６のメモリ１６Ｂの不図示のＲＯＭに記憶される。
　〔その他〕
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…医用画像処理システム
１２…医用画像検査機器
１４…画像管理部
１６…推奨画像処理決定処理部
１８…診断ログ管理部
２０…ユーザ端末
２２…病院内ネットワーク
２４…インターネット
２６…画像処理部
Ｓ１～Ｓ１０…医用画像処理方法の各工程

Claims (11)

  1. 　プロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
    　メモリに記憶された命令を実行する少なくとも１つのプロセッサと、
    　を備え、
    　前記プロセッサは、
    　検査対象の医用画像の画像特徴を取得し、
    　前記画像特徴に基づいて参考症例及び診断ログを取得し、
    　取得した参考症例及び診断ログに基づいて前記検査対象の医用画像に対する推奨処理を決定し、
    　前記推奨処理を提示させる、
    　画像処理装置。
  2. 　前記推奨処理は、前記検査対象の医用画像についての自動病変抽出、及び自動病名判定処理のうちの少なくとも一方を含む請求項１に記載の画像処理装置。
  3. 　前記プロセッサは、Ｄｉｃｏｍ（Digital imaging and communications in medicine）タグ情報、位置情報、及び類似画像検索のうちの少なくとも１つを用いて前記参考症例を取得する請求項１又は２に記載の画像処理装置。
  4. 　前記診断ログは、ユーザ毎に管理された過去の診断結果、及び画像処理が診断結果に与えた影響結果を含む請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記プロセッサは、前記推奨処理が前記参考症例において有効活用された実績を提示させる請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記プロセッサは、前記推奨処理を行わせた処理結果に基づいて新たな推奨処理を追加で提示させる請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記プロセッサは、前記画像特徴に基づいて前記検査対象の医用画像に類似する過去画像を取得する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　請求項１から７のいずれか１項に記載の画像処理装置と、
    　検査対象の医用画像を撮影する撮像装置と、
    　前記参考症例及び前記診断ログを記憶するデータベースと、
    　前記推奨処理が提示されるディスプレイと、
    　を備える画像処理システム。
  9. 　前記画像処理装置は、インターネットに接続されたサーバ装置に設けられる請求項８に記載の画像処理システム。
  10. 　検査対象の医用画像の画像特徴を取得する画像特徴取得工程と、
    　前記画像特徴に基づいて前記検査対象の医用画像に類似する過去画像及び診断ログを取得する類似画像取得工程と、
    　取得した過去画像及び診断ログに基づいて前記検査対象の推奨処理を決定する推奨処理決定工程と、
    　前記推奨処理を提示する提示工程と、
    　を備える画像処理方法。
  11. 　請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2021/027869 2020-09-04 2021-07-28 画像処理装置、画像処理方法及びプログラム、画像処理システム WO2022049932A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021003601.7T DE112021003601T5 (de) 2020-09-04 2021-07-28 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und -programm, und bildverarbeitungssystem
JP2022546159A JP7483018B2 (ja) 2020-09-04 2021-07-28 画像処理装置、画像処理方法及びプログラム、画像処理システム
US18/168,569 US20230196574A1 (en) 2020-09-04 2023-02-14 Image processing apparatus, image processing method and program, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020148709 2020-09-04
JP2020-148709 2020-09-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/168,569 Continuation US20230196574A1 (en) 2020-09-04 2023-02-14 Image processing apparatus, image processing method and program, and image processing system

Publications (1)

Publication Number Publication Date
WO2022049932A1 true WO2022049932A1 (ja) 2022-03-10

Family

ID=80491972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027869 WO2022049932A1 (ja) 2020-09-04 2021-07-28 画像処理装置、画像処理方法及びプログラム、画像処理システム

Country Status (4)

Country Link
US (1) US20230196574A1 (ja)
JP (1) JP7483018B2 (ja)
DE (1) DE112021003601T5 (ja)
WO (1) WO2022049932A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287027A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 医療用の計画立案支援システム
JP2010170311A (ja) * 2009-01-22 2010-08-05 Toshiba Corp 医用画像処理装置
JP2011092286A (ja) * 2009-10-27 2011-05-12 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2019074868A (ja) * 2017-10-13 2019-05-16 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4799251B2 (ja) 2006-04-05 2011-10-26 富士フイルム株式会社 類似症例検索装置、類似症例検索方法およびそのプログラム
JP6514486B2 (ja) 2014-10-29 2019-05-15 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 医用システム及び医用装置並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007287027A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 医療用の計画立案支援システム
JP2010170311A (ja) * 2009-01-22 2010-08-05 Toshiba Corp 医用画像処理装置
JP2011092286A (ja) * 2009-10-27 2011-05-12 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2019074868A (ja) * 2017-10-13 2019-05-16 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム

Also Published As

Publication number Publication date
JP7483018B2 (ja) 2024-05-14
US20230196574A1 (en) 2023-06-22
JPWO2022049932A1 (ja) 2022-03-10
DE112021003601T5 (de) 2023-04-20

Similar Documents

Publication Publication Date Title
US11139067B2 (en) Medical image display device, method, and program
US20190295248A1 (en) Medical image specifying apparatus, method, and program
US11669960B2 (en) Learning system, method, and program
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
JP2022058397A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US20220028510A1 (en) Medical document creation apparatus, method, and program
US20220366151A1 (en) Document creation support apparatus, method, and program
US11984207B2 (en) Medical document creation support apparatus, method, and program
US20230320679A1 (en) Medical image display apparatus, method, and program
US20210035676A1 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
JP7109345B2 (ja) 優先度判定装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
US20220392619A1 (en) Information processing apparatus, method, and program
WO2022049932A1 (ja) 画像処理装置、画像処理方法及びプログラム、画像処理システム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
US20210210206A1 (en) Medical image diagnosis support device, method, and program
JP2021175454A (ja) 医用画像処理装置、方法およびプログラム
US20230121783A1 (en) Medical image processing apparatus, method, and program
US20230225681A1 (en) Image display apparatus, method, and program
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20230102745A1 (en) Medical image display apparatus, method, and program
US20230281810A1 (en) Image display apparatus, method, and program
WO2021246047A1 (ja) 経過予測装置、方法およびプログラム
US20230360213A1 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21863990

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022546159

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21863990

Country of ref document: EP

Kind code of ref document: A1