WO2020255901A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2020255901A1
WO2020255901A1 PCT/JP2020/023323 JP2020023323W WO2020255901A1 WO 2020255901 A1 WO2020255901 A1 WO 2020255901A1 JP 2020023323 W JP2020023323 W JP 2020023323W WO 2020255901 A1 WO2020255901 A1 WO 2020255901A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
representative
medical
medical image
information
Prior art date
Application number
PCT/JP2020/023323
Other languages
English (en)
French (fr)
Inventor
久保 武
全弘 八上
太 赤坂
岳人 青山
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2020255901A1 publication Critical patent/WO2020255901A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program for setting a display form of a representative image based on incidental information.
  • an examination is performed to visualize the information inside the patient as a medical image.
  • a plurality of medical images may be generated by using a plurality of imaging conditions in order to obtain more information in one examination.
  • the medical image taken during the examination is stored in the data server in the hospital.
  • the doctor interprets the medical image using a medical image display device.
  • difference information information such as differences and changes between multiple medical images obtained by the same or different tests
  • difference information there are various techniques for generating difference information.
  • difference image an image depicting a difference between an image to be diagnosed (hereinafter, diagnosis target image) and an image to be compared with the diagnosis target image (hereinafter, comparison image). Is being generated.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an information processing device, a control method of the information processing device, and a program that allow a user to easily select a medical image suitable for comparison. To do.
  • the image processing apparatus has the following configurations. That is, an image acquisition means for acquiring a medical image captured in an examination performed on a subject, a representative image generation means for generating a representative image of the medical image, and a representative generated by the representative image generation means.
  • the display control means includes a display control means for displaying an image on a display unit, and an incidental information acquisition means for acquiring ancillary information of a medical image acquired by the image acquisition means and ancillary information of an image to be diagnosed. It is characterized in that the display form of the representative image is set based on the incidental information of the medical image and the incidental information of the diagnosis target image.
  • Another image processing apparatus has the following configuration.
  • an image acquisition means for acquiring a medical image captured in an examination performed on a subject, a representative image generation means for generating a representative image of the medical image, and a representative generated by the representative image generation means.
  • the display control means includes a display control means for displaying an image on a display unit, and an incidental information acquisition means for acquiring ancillary information of a medical image acquired by the image acquisition means and ancillary information of an image to be diagnosed. Displaying a representative image of a medical image having incidental information similar to the incidental information of the diagnosis target image so as to be distinguishable from a representative image of a medical image having incidental information not similar to the incidental information of the diagnosis target image. It is a feature.
  • the user can easily select a medical image suitable for comparison.
  • the flowchart which shows the processing procedure of 1st Embodiment.
  • the flowchart which shows the processing procedure of 4th Embodiment The figure which shows the screen example after setting of the evaluation expression item in 4th Embodiment. The figure which shows the setting screen example of the evaluation expression item in 4th Embodiment.
  • the flowchart which shows the processing procedure of 5th Embodiment The figure which shows the screen example after displaying the overlap area mark in 5th Embodiment.
  • diagnosis target image and a comparison image in the case of generating a difference image as difference information will be described.
  • the scope of the present invention is not limited to this, and any information may be used as long as it is differential information generated using at least two medical images. Further, it is not always necessary to generate the difference information, and the selected image may be displayed in order to compare a plurality of medical images.
  • diagnosis target image and the comparison image are three-dimensional CT (Computed Tomography) images composed of a plurality of two-dimensional images (slice images) will be described.
  • CT Computer Tomography
  • the types of medical images to which the present invention can be applied are not limited to this. That is, any other type of medical image may be used as long as it can perform operations between images.
  • FIG. 1 is a diagram showing an overall configuration of an information processing system including an information processing device according to the first embodiment.
  • the information processing system includes an information processing device 10 and a database 22, and these devices are connected to each other so as to be able to communicate with each other via a communication means.
  • the communication means is composed of a LAN (Local Area Network) 21.
  • Database 22 manages medical images generated by imaging with a medical imaging device (not shown).
  • the database 22 manages information such as an electronic medical record system and HIS (Hospital Information Systems) RIS (Radiology Information Systems).
  • HIS Hospital Information Systems
  • RIS Radiology Information Systems
  • Various information related to the inspection recorded by the electronic medical record system, HIS, RIS, etc. will be referred to as inspection information below.
  • the information processing device 10 acquires medical images and examination information managed in the database 22 via the LAN 21.
  • the information processing device 10 includes a communication IF 31, a ROM 32, a RAM 33, a storage unit 34, an operation unit 35, a display unit 36, and a control unit 37 as its functional configuration.
  • the communication IF (Interface) 31 is realized by, for example, a LAN card or the like, and communicates between the external device (for example, the database 22) and the information processing device 10 via the LAN 21.
  • the ROM (Read Only Memory) 32 is realized by a non-volatile memory or the like, and stores various programs or the like.
  • the RAM (Random Access Memory) 33 is realized by a volatile memory or the like, and temporarily stores various information.
  • the storage unit 34 is realized by, for example, an HDD (Hard Disk Drive) or the like, and stores various information.
  • the operation unit 35 is realized by, for example, a keyboard, a mouse, or the like, and inputs an instruction from the user into the device.
  • the display unit 36 is realized by, for example, a display or the like, and displays various information toward a user (for example, a doctor).
  • the operation unit 35 and the display unit 36 provide a function as a GUI (Graphical User Interface) under the control of the control unit 37.
  • GUI Graphic User Interface
  • the control unit 37 is realized by, for example, a CPU (Central Processing Unit) or the like, and controls the processing in the information processing device 10 in an integrated manner.
  • the control unit 37 includes a medical image acquisition unit 41, a representative image generation unit 42, an identification information acquisition unit 43, ancillary information acquisition unit 44, an evaluation formula setting unit 45, an evaluation value calculation unit 46, and display control.
  • a unit 47 and a difference information generation unit 48 are provided.
  • the medical image acquisition unit 41 acquires search conditions for searching the examination information according to the user's operation (instruction) input by the operation unit 35.
  • the search condition is, for example, a patient identifier (hereinafter, patient ID), an examination period, or an examination type.
  • the medical image acquisition unit 41 searches the database 22 for inspection information satisfying the search conditions via the communication IF 31 and the LAN 21. Then, the medical image acquisition unit 41 acquires the medical image captured at the time of the examination as a candidate for the diagnosis target image and the comparison image.
  • the medical image acquisition unit 41 acquires, for example, medical image data conforming to the DICOM (Digital Imaging Communications in Medicine) standard.
  • DICOM Digital Imaging Communications in Medicine
  • the medical image acquisition unit 41 outputs the acquired medical image to the representative image generation unit 42 and the incidental information acquisition unit 44.
  • the acquired medical image may not exist, or only one may exist, or there may be a plurality of acquired medical images. However, in the following, for the sake of brevity, there are a plurality of acquired medical images. The case will be described.
  • the representative image generation unit 42 generates a representative image for a plurality of medical images acquired by the medical image acquisition unit 41. Then, the representative image generation unit 42 outputs the generated representative image to the display control unit 47. Details of the representative image will be described later.
  • the identification information acquisition unit 43 identifies information for identifying a diagnosis target image (hereinafter, diagnosis target identification information) and information for identifying a comparison image (hereinafter, comparison) according to a user operation (instruction) input by the operation unit 35. Identification information) is acquired. Then, the identification information acquisition unit 43 outputs the acquired diagnosis target identification information to the incidental information acquisition unit 44, the evaluation formula setting unit 45, and the difference information generation unit 48. Further, the identification information acquisition unit 43 outputs the acquired comparative identification information to the difference information generation unit 48.
  • the incidental information acquisition unit 44 acquires incidental information from a plurality of medical images acquired by the medical image acquisition unit 41. Then, the incidental information acquisition unit 44 outputs each acquired incidental information to the evaluation value calculation unit 46. The details of the incidental information will be described later, but it should be mentioned in advance that the incidental information also includes information for designating or identifying an arbitrary medical image.
  • the evaluation formula setting unit 45 identifies and identifies the incidental information of the diagnosis target image from the plurality of incidental information acquired by the incidental information acquisition unit 44 based on the diagnosis target identification information acquired by the identification information acquisition unit 43.
  • the evaluation formula is set based on the incidental information of the image to be diagnosed. Then, the evaluation formula setting unit 45 outputs the evaluation formula to the evaluation value calculation unit 46. The details of the evaluation formula will be described later.
  • the evaluation value calculation unit 46 calculates the evaluation value for each medical image by using the incidental information of each of the plurality of medical images acquired by the incidental information acquisition unit 44 and the evaluation formula set by the evaluation formula setting unit 45. .. Then, the evaluation value calculation unit 46 outputs a plurality of calculated evaluation values to the display control unit 47.
  • the display control unit 47 displays each representative image of the plurality of medical images generated by the representative image generation unit 42 on the display unit 36. Further, when the operation unit 35 acquires the information for designating the image to be diagnosed from the user, the evaluation value calculation unit 46 calculates the evaluation values for each of the plurality of medical images, and the display unit 36 displays the medical images. Change the display form of the representative image.
  • the method of changing the display form includes, for example, changing the display state (display or non-display) of the representative image, changing the image size, changing the presence / absence of highlighting, and changing the highlighting method.
  • the information processing apparatus 10 includes a medical image acquisition unit 41 that acquires a medical image captured in an examination performed on a subject, and a medical image acquired by the medical image acquisition unit 41. It has a representative image generation unit 42 that generates a representative image. Further, the display control unit 47 that displays the representative image generated by the representative image generation unit 42 on the display unit 36, and the incidental information of the medical image acquired by the medical image acquisition unit 41 and the incidental information of the image to be diagnosed are acquired. It is provided with an incidental information acquisition unit 44.
  • the display control unit 47 is characterized in that the display form of the representative image is set based on the incidental information of the medical image and the incidental information of the image to be diagnosed.
  • the difference information generation unit 48 acquires the diagnosis target image and the comparison image based on the diagnosis target identification information and the comparison identification information acquired by the identification information acquisition unit 43, and generates the difference information.
  • each unit included in the control unit 37 may be realized as an independent device.
  • each may be realized as software that realizes a function.
  • the software that realizes the function may operate on a server via a network such as the cloud.
  • it is assumed that each part is realized by software in the local environment.
  • the configuration of the information processing system shown in FIG. 1 is just an example.
  • the storage unit 34 of the information processing device 10 may have the function of the database 22, and the storage unit 34 may hold the examination information and the medical image.
  • FIG. 2 is a flowchart showing a processing procedure performed by the control unit 37.
  • the medical image acquisition unit 41 acquires a plurality of medical images that are candidates for the diagnosis target image and the comparison image from the database 22.
  • any known method may be used as a method for acquiring a desired medical image from the database 22.
  • it can be obtained by the following method.
  • the medical image acquisition unit 41 acquires search conditions according to a user operation (instruction).
  • the examination information satisfying the search condition is searched from the database 22, and a plurality of medical images captured at the time of the examination are acquired.
  • This process is executed by accepting an operation from the user (inputting a user's instruction) by the GUI provided by the operation unit 35 and the display unit 36.
  • the medical image acquisition unit 41 reads a plurality of medical images from the database 22, and the information processing device 10 stores them in the RAM 33 or the storage unit 34. Then, the process proceeds to step S210.
  • the medical image in this embodiment is stored in a format conforming to the DICOM standard, and various incidental information is stored in the DICOM header.
  • the incidental information includes, for example, patient information such as the patient ID, height, and weight of the patient. It also includes examination information such as an examination identifier (hereinafter, examination ID), modality, examination date and time, irradiation dose, and contrast conditions. It also includes attribute information of the image itself, such as image slice thickness and reconstruction function (more generally, reconstruction conditions).
  • the incidental information is a parameter set in the imaging of the medical image.
  • the parameter in the information processing apparatus 10 is characterized by including at least one of an imaging range, an imaging site, an imaging condition, a reconstruction condition, a slice thickness, and a contrast condition.
  • FIG. 3 is a screen example of the display unit 36 when the search condition is input.
  • the area 300 is an area for inputting search conditions.
  • the button 301 is a button for instructing the execution of the search process.
  • the user inputs an arbitrary search condition into the area 300 via the operation unit 35.
  • the patient ID, modality, imaging site, and examination date and time are set as items related to the search conditions (hereinafter, search items). Then, the value "1000" is input as the search condition of the patient ID, the value "CT” is input as the search condition of the modality, and the value "2010" is input as the search condition of the examination date and time.
  • search item and the input value in FIG. 3 are examples, and the present invention is not limited to this example. Any information may be set as a search item as long as it is information stored in the database 22 as incidental information of the medical image.
  • examination information such as the irradiation dose of radiation and contrast conditions (presence or absence of administration of contrast medium, dose, type of contrast medium) may be set as search items.
  • information such as image slice thickness and reconstruction function may be set as search items.
  • a predetermined value may be input to each search item, or a mechanism may be provided so that the user can input or change the value.
  • the user may be allowed to input a free sentence in a format that allows input, or the user may be allowed to select from a plurality of options presented in a pull-down format.
  • a predetermined option may be presented, or the option may be adaptively changed (according to a predetermined rule) according to the value entered in another search item. For example, when no value is entered in the search item of the patient ID, all modality types are presented as pull-down format options for the modality search item.
  • all the test information for the patient identified by the entered patient ID is acquired from the database 22 and used for the tests that the patient has received so far.
  • a plurality of values may be set in the search item, or a range of values may be set.
  • two values "2010” and “2012” can be entered in the search item of the inspection date and time, and a range of values "2010 to 2012" can be entered. become.
  • the medical image acquisition unit 41 acquires the search condition when the button 301 is pressed, searches the database 22 for the examination information satisfying the search condition, and acquires the medical image captured at the time of the examination.
  • the condition of the medical image is set as the search item, only the medical image satisfying the condition is acquired from the acquired examination information.
  • the method of instructing the execution of the search is not limited to pressing the button 301 or the like. For example, when a value is entered in a specific search item, the execution of the search may be instructed. Further, each time the user inputs a search condition, the medical image acquisition unit 41 may acquire a medical image satisfying the search condition already input at that time, even if the user does not give a clear instruction.
  • the representative image generation unit 42 reads out a plurality of medical images acquired by the medical image acquisition unit 41 from the RAM 33 or the storage unit 34, and generates representative images for each of the plurality of medical images. Then, these representative images and the medical images are stored in the RAM 33 or the storage unit 34 in a format that shows the correspondence between the generated representative images and the corresponding medical images.
  • the representative image refers to an image that is also called a thumbnail image, and is an image for displaying an outline of the corresponding medical image in a display form that can be seen at a glance.
  • the representative image is the corresponding medical image itself, an image obtained by reducing or enlarging the medical image, or a part of the medical image cut out. It can be an image.
  • the processing when the medical image is a three-dimensional image will be described.
  • the representative image is a three-dimensional image, it should be a slice image at a predetermined slice position (for example, located at the beginning or middle), a reduced or enlarged image of the slice image, or a cut-out image of a part of the slice image. Can be done.
  • the slice image at each slice position may be evaluated using a predetermined index, and the slice image determined based on the evaluation result (for example, the slice image having the maximum evaluation result) may be used as the representative image.
  • the evaluation result for example, the slice image having the maximum evaluation result
  • the representative image generation unit 42 can select the slice image having the largest lung area from the slice images constituting the medical image and use it as the representative image.
  • the representative image generation unit 42 can create a slice image in a tomographic direction different from the tomographic direction of a plurality of slice images constituting the medical image, and the created slice image can be used as a representative image.
  • a known MPR (Multi Planar Reconstruction) method can be used to create a medical image (referred to as A') composed of slice images in a tomographic direction different from the tomographic direction of the medical image (referred to as A). Therefore, from the medical image A composed of slice images having a horizontal fracture direction (axial), a medical image A'composed of slice images having a coronal or sagittal fracture direction is created. it can.
  • the slice image at the central slice position of the medical image A'of coronal or sagittal may be used as a representative image of the medical image A.
  • an image obtained by subjecting the sliced image to various image processing may be used as a representative image.
  • it is an image process such as various filter processes such as reduction or enlargement, partial cutting, sharpening process and flattening process described above.
  • any known method can be used as a method for generating a representative image from the medical image.
  • step S210 the display control unit 47 reads out a plurality of representative images generated by the representative image generation unit 42 from the RAM 33 or the storage unit 34, and displays the representative images on the display unit 36 so that the inspection dates and times are in chronological order. Display side by side.
  • FIG. 4 is a screen example of the display unit 36 when the processing of this step is completed.
  • the area 400 is an area for displaying a plurality of representative images (hereinafter, a representative image display area).
  • Images 401 to 411 are representative images corresponding to each of the plurality of medical images obtained as a result of the search. Of these, images 401 to 403 are representative images of medical images taken in the inspection on December 5, 2010.
  • images 404 to 408 are representative images of medical images taken in the examination on June 5, 2010.
  • images 409 to 411 are representative images of medical images taken in the examination on January 5, 2010.
  • the representative image display area is divided based on the inspection date and time, and the divided area is displayed so that the inspection date and time are in ascending order from the left side to the right side of the figure.
  • the representative images of the medical images taken at each examination date and time are displayed in the divided area for each examination date and time.
  • the screen example in FIG. 4 is only an example, and the present invention is not limited to this example.
  • the representative image display area may be divided based on the imaging region, and the representative image of the medical image captured by each imaging region may be displayed in the divided region for each imaging region. Further, for example, the representative image display area may be divided based on other information such as the slice thickness of the medical image and the contrast condition.
  • step S220 the control unit 37 determines whether or not there is an instruction to change the search condition by the user via the operation unit 35. Similar to step S200, the instruction for changing the search condition is executed by the user inputting an arbitrary search condition to the area 300 via the operation unit 35 or the like. If there is no instruction to change the search condition, the process proceeds to step S230. If there is an instruction to change the search condition, the process returns to step S200, and steps S200 and S210 are performed again based on the changed search condition.
  • step S230 the control unit 37 determines whether or not there is an instruction to set the diagnosis target image by the user via the operation unit 35. This determination process is executed by accepting an operation from the user (inputting a user's instruction) by the GUI provided by the operation unit 35 or the display unit 36. Specifically, the instruction for setting the image to be diagnosed is generated when the user selects an arbitrary representative image via the operation unit 35. Alternatively, it occurs when the user presses a setting button of a diagnosis target image (not shown) after the user selects a representative image. If there is no instruction to set the image to be diagnosed, the process returns to step S220.
  • the identification information acquisition unit 43 acquires the diagnosis target identification information as information for identifying the medical image (that is, the diagnosis target image) corresponding to the selected representative image.
  • the identification information acquisition unit 43 operates as a diagnosis target image designating means for designating a diagnosis target image based on a user's instruction.
  • the identification information acquisition unit 43 stores the acquired diagnosis target identification information in the RAM 33 or the storage unit 34.
  • the diagnosis target identification information is information for uniquely identifying the diagnosis target image from the medical images acquired by the medical image acquisition unit 41, and if it can be uniquely identified, any information can be used. May be good.
  • the medical image when the medical image is an image saved in the DICOM format, it may be a series ID which is a unique identifier assigned to the medical image at the time of imaging and saved in the DICOM header. Further, for example, it may be the memory address, folder path, or file path of the storage destination when the image to be diagnosed is stored in the RAM 33 or the storage unit 34.
  • the representative image of the diagnosis target image displayed on the display unit 36 may be emphasized and displayed via the display control unit 47. For example, when the outline of a representative image other than the image to be diagnosed is displayed in the first color (black, etc.), only the outline of the representative image of the image to be diagnosed is displayed in the second color (red, etc.). May be good. In the following, the description will be continued on the assumption that the user has designated the image 401 in FIG. 4 as the image to be diagnosed.
  • step S240 the incidental information acquisition unit 44 reads out a plurality of medical images acquired by the medical image acquisition unit 41 in step S200 from the RAM 33 or the storage unit 34, and acquires incidental information from each of the read medical images.
  • the plurality of medical images read out include the image to be diagnosed
  • the image to be diagnosed designated by the designated means (operation unit 35) by acquiring the incidental information from each medical image.
  • Ancillary information is also acquired.
  • the incidental information acquisition unit 44 stores the incidental information in the RAM 33 or the storage unit 34 in association with each medical image and its representative image. Then, the process proceeds to step S250.
  • the information referred to by the evaluation formula setting unit 45 in step S250 described later may be included in the incidental information acquired by the incidental information acquisition unit 44. That is, the incidental information acquisition unit 44 may acquire all the incidental information in each medical image, or may acquire only the incidental information referred to by the evaluation formula setting unit 45. In the present embodiment, the incidental information acquisition unit 44 shall acquire all the incidental information in each medical image. Further, the processing of this step may be performed at any time between the time when the search is executed in step S200 and the time before the evaluation value is calculated in step S260. That is, it may be carried out after step S210 or step S250, or may be carried out in parallel with the processing of other steps.
  • step S250 the evaluation formula setting unit 45 selects the incidental information of the diagnosis target image from the incidental information acquired by the incidental information acquisition unit 44 based on the diagnosis target identification information acquired by the identification information acquisition unit 43. Then, in order to make it easier for the user to select a comparison image suitable for generating the difference information, the evaluation formula setting unit 45 sets the evaluation formula based on the incidental information of the diagnosis target image. After that, the evaluation formula setting unit 45 stores the evaluation formula in the RAM 33 or the storage unit 34. Then, the process proceeds to step S260.
  • the evaluation formula is a formula for evaluating the similarity between the image to be diagnosed and the medical image to be evaluated by using some items of incidental information (hereinafter, evaluation formula items).
  • the evaluation expression setting unit 45 sets the evaluation expressions fa, fb, ... For each of the plurality of items a, b, ... Set as the evaluation expression items. Then, the evaluation formula setting unit 45 sets the final evaluation formula F (A, B) in which all the evaluation formulas are integrated.
  • the evaluation formula setting unit 45 substitutes the incidental information (A) of the diagnosis target image into the equation 2, the evaluation formula for evaluating whether each medical image is suitable as a comparative image is attached to the diagnosis target image. It corresponds to setting based on information.
  • the evaluation formulas shown in Equations 1 and 2 are examples, and the present invention is not limited to this example.
  • weights may be set for each evaluation formula for each evaluation formula item.
  • the evaluation formula when the weight of the evaluation formula for the evaluation formula item a is Wa, the weight of the evaluation formula for the evaluation formula item b is Wb, and the weight of the evaluation formula for the evaluation formula item c is Wc is Equation 3.
  • F (A, B) Wa ⁇ fa (Aa, Ba) + Wb ⁇ fb (Ab, Bb) + Wc ⁇ fc (Ac, Bc) ... (Equation 3)
  • Equation 2 the sum of the other evaluation formula items (Equation 2) and the weighted sum (Equation 3) are calculated, and then the evaluation value for the required evaluation formula item. May be further integrated. According to this, when the evaluation value of the evaluation formula item that must satisfy the condition is 0, the final evaluation value can be set to 0.
  • Equation 1 the case where the evaluation formula (Equation 1) based on whether or not the incidental information of the image to be diagnosed and the incidental information of the medical image to be evaluated match is used has been described, but the embodiment of the present invention is described. Not limited to this.
  • an evaluation formula based on the magnitude relationship between the incidental information of the image to be diagnosed and the incidental information of the medical image to be evaluated may be used.
  • Equation 4 if Aa is larger than Ba, T may be calculated as an evaluation value, and if it is smaller, F may be calculated.
  • fa (Aa, Ba) IF (Aa> Ba, T, F) ... (Equation 4)
  • the evaluation formula may be based on the degree of similarity between the incidental information of the image to be diagnosed and the incidental information of the medical image to be evaluated (distance between vectors when each information is represented by a vector in a multidimensional information space). For example, an evaluation formula such as Equation 5 in which the evaluation value becomes higher as Aa and Ba have similar values may be used. Note that
  • indicates the Euclidean distance between the two vectors when the incidental information Aa and Ba are represented by vectors. fa (Aa, Ba) 1 /
  • Equations 1, 4, and 5 specific examples are shown in Equations 1, 4, and 5 as methods for evaluating each evaluation expression item.
  • the evaluation formula for each of the plurality of evaluation formula items only one of the above evaluation methods may be used, or a different evaluation method may be used for each evaluation formula item.
  • the formula 1 may be used for the evaluation formula for the evaluation formula item a
  • the formula 4 may be used for the evaluation formula for the evaluation formula item b
  • the formula 5 may be used for the evaluation formula for the evaluation formula item c.
  • any known method for calculating the distance and the degree of similarity between two data other than the above may be used.
  • Aa (slice thickness): 1.0 mm
  • Ab Reconstruction function identified by the character string FC51 Ac (contrast condition): A contrast agent is used (with contrast), and the contrast state is in equilibrium phase.
  • the final evaluation formula to be set is formula 6.
  • FC51" Bb, 1,0) + IF
  • Contrast-enhanced, equilibrium phase Bc, 1,0) ... (Equation) 6)
  • step S260 the evaluation value calculation unit 46 reads out the incidental information acquired by the incidental information acquisition unit 44 and the evaluation formula set by the evaluation formula setting unit 45. Then, the evaluation value calculation unit 46 substitutes the incidental information in each medical image, which is a candidate for the comparison image, into the evaluation formula, and calculates the evaluation value for each medical image. Then, the evaluation value calculation unit 46 stores the calculated evaluation value in the RAM 33 or the storage unit 34 in association with at least one of each medical image and its representative image. After that, the process proceeds to step S270. That is, the information processing device 10 includes an evaluation value acquisition means for acquiring an evaluation value based on the incidental information of the medical image and the incidental information of the image to be diagnosed.
  • the evaluation value for the image to be diagnosed does not necessarily have to be calculated. For example, if there are medical images that do not need to be added to the candidates for comparison images, it is not necessary to calculate the evaluation value for those medical images. As a specific example, it is not necessary to calculate the evaluation value for the medical image taken in the same examination as the image to be diagnosed. Further, it is not necessary to calculate the evaluation value for the medical image which does not have the item of the incidental information set as the evaluation formula item.
  • the slice thickness of the medical image corresponding to the representative images of images 401 to 411, the reconstruction function, and the incidental information of the imaging conditions are shown in the second column from the left in Table 1, respectively. It shall be as shown in the 3rd and 4th columns. Further, the evaluation value for each medical image shall be calculated by substituting the corresponding incidental information into the equation 6. At this time, the evaluation values calculated for each medical image are as shown in the fifth column from the left in Table 1.
  • step S270 the display control unit 47 acquires the evaluation value for each medical image calculated by the evaluation value calculation unit 46, and displays the display form in the display unit 36 of the representative image corresponding to the diagnosis target image and other medical images.
  • Change based on the evaluation value For example, the display state (display or non-display) of each representative image, the image size, the presence / absence of highlighting, the highlighting method, and the like are changed.
  • the display form may be changed.
  • the similarity determination for example, it may be determined that the evaluation formulas described above are similar or dissimilar depending on whether or not they exceed a predetermined value, or the number of matching items (parameters) exceeds a predetermined number. It may be determined by whether or not it exceeds. Then, after changing the display form, the process proceeds to step S280.
  • the information processing apparatus 10 includes a medical image acquisition unit 41 that acquires a medical image captured in an examination performed on a subject, and a representative image generation unit 42 that generates a representative image of the medical image.
  • the display control unit 47 that displays the representative image generated by the representative image generation unit 42 on the display unit, and the incidental information that acquires the incidental information of the medical image acquired by the medical image acquisition unit 41 and the incidental information of the image to be diagnosed.
  • the acquisition unit 44 is provided.
  • the display control unit 47 uses the representative image of the medical image having the incidental information similar to the incidental information of the diagnosis target image as the medical image having the incidental information dissimilar to or less similar to the incidental information of the diagnosis target image.
  • the image to be diagnosed may be set based on the user's instruction, or the image with the latest inspection date may be set as the default setting. Further, the display control unit 47 determines the display form of the representative image corresponding to the medical image based on the evaluation value of each medical image, which represents the similarity between the incidental information of each medical image and the incidental information of the image to be diagnosed. Set. For example, the image size may be changed in proportion to the size of the evaluation value. Further, those having an evaluation value (similarity) above a certain level may be displayed, and those having a certain value or less may be hidden. In addition, an index indicating similarity may be attached to the representative image and displayed.
  • the display control unit 47 in the information processing apparatus 10 is characterized in that the display form of the representative image corresponding to the medical image is set based on the similarity between the incidental information of the medical image and the incidental information of the diagnosis target image. ..
  • the display control unit 47 in the information processing apparatus 10 displays a representative image corresponding to the medical image when the incidental information of the medical image and the incidental information of the diagnosis target image are similar. Then, when the incidental information of the medical image and the incidental information of the image to be diagnosed are not similar, the representative image corresponding to the medical image is hidden.
  • the evaluation standard is a standard for evaluating the evaluation value in order to change the display form of the representative image. That is, the information processing apparatus 10 displays a representative image corresponding to a medical image in which the evaluation value acquired by the evaluation value acquisition means satisfies a predetermined evaluation criterion, and the evaluation value acquired by the evaluation value acquisition means is a predetermined evaluation. The representative image corresponding to the medical image that does not meet the criteria is hidden. FIG.
  • FIG. 5 is an example of a screen on the display unit 36 when the first change method is implemented with the evaluation standard being “evaluation value is 2 or more”.
  • the evaluation standard being “evaluation value is 2 or more”.
  • the representative images of the medical images having an "evaluation value of 2 or more” are only image 401, image 404, image 406, image 407, image 409, and image 411, the other representative images are Do not display (hide) on the display unit 36.
  • the display control unit 47 may change the arrangement of the representative image so as to reduce the non-display area (margin).
  • the evaluation standard may be any standard as long as it can distinguish between the evaluation value satisfying the standard and the evaluation value not satisfying the standard. For example, "the evaluation value is equal to or less than a predetermined value” may be used as the evaluation standard, or "the evaluation value may be within the predetermined range” as the evaluation standard. Further, the evaluation standard may be set so that the number of representative images displayed on the display unit 36 satisfies a predetermined standard without setting a fixed threshold value for the evaluation value. For example, "selecting a predetermined number of representative images in descending order of evaluation value” may be used as an evaluation criterion. Further, the evaluation standard may be set to a fixed value in advance, or may be provided with a mechanism that the user can freely specify (change).
  • FIG. 7 is an example of a screen on the display unit 36 when the second change method is implemented with the evaluation standard being “evaluation value is 2 or more”.
  • the frames of image 401, image 404, image 406, image 407, image 409, and image 411 which are representative images of medical images having an evaluation value of 2 or more, are displayed relatively thickly. There is. Any method may be used to emphasize the representative image.
  • the display control unit 47 may change the color of the frame of the representative image, or may increase the size of the representative image relatively. Further, the display control unit 47 displays information (character string, mark, etc.) that can be recognized as a representative image corresponding to the medical image satisfying the evaluation criteria on the representative image or in the vicinity of the representative image. May be good. Further, the representative image of the diagnosis target image specified in step S230 may be emphasized by a method different from the representative image other than the diagnosis target image. For example, the display control unit 47 may change the color of the frame of the representative image of the image to be diagnosed and the color of the frame of the representative image other than the image to be diagnosed.
  • the display control unit 47 may change the representative image corresponding to the medical image that does not meet the evaluation criteria to a display form in which the representative image corresponding to the medical image that meets the evaluation criteria is relatively emphasized.
  • a representative image corresponding to a medical image that does not meet the evaluation criteria may be grayed out (displayed in a color tone that is less noticeable than others), or the size of the representative image may be relatively small.
  • information character string, mark, etc.
  • can be recognized as a representative image corresponding to a medical image that does not satisfy the evaluation criteria may be displayed on the representative image or in the vicinity of the representative image.
  • FIG. 8 is a screen example of the display unit 36 when the third change method is implemented.
  • the images 401 to 403 which are the representative images of the medical images taken during the examination on December 5, 2010, the magnitude relation of the corresponding evaluation values is as shown in Table 1> Image 401>.
  • Image 402 image 403. Therefore, the images 401 to 403 are arranged in the order of image 401, image 402, and image 403 from top to bottom.
  • the magnitude relationship of the evaluation values in the images 409 to 411 is image 411> image 409> image 410. Therefore, the images 409 to 411 are arranged in the order of image 411, image 409, and image 410 from top to bottom.
  • the order of the representative images may be any order as long as it is based on the size of the evaluation value.
  • the display control unit 47 may be arranged in ascending order of evaluation values, or may be arranged in order of proximity to a specific evaluation value. Further, the display control unit 47 does not display the representative images separately for each inspection date and time, but determines the arrangement order (regardless of the inspection date and time) for all the representative images at all the inspection dates and times, and the arrangement is determined. They may be arranged in order. Further, the display control unit 47 may change the order of the test information arranged in chronological order in the initial state so that the test information including the medical image satisfying the evaluation criteria is displayed closer to the image to be diagnosed. Good. For example, a test on January 5, 2010 may contain a larger rating of a medical image than a test on June 5, 2010. In this case, the display control unit 47 displays a partial area displaying the representative image of the inspection on January 5, 2010 and a partial area displaying the representative image of the inspection on June 5, 2010. The positions may be swapped.
  • the display form of the representative image is changed so that the display control unit 47 has a display form corresponding to the size of the evaluation value.
  • the control unit 37 determines in advance the display form of the representative image for each evaluation value.
  • the display control unit 47 changes the display form of the representative image so that the display form is determined for each evaluation value when the image to be diagnosed is selected. For example, the display control unit 47 sets the color of the frame of the representative image to blue when the "evaluation value is 1", yellow when the "evaluation value is 2", and when the "evaluation value is 3". Change to red.
  • any display form may be used as long as the display form can be changed step by step in this way.
  • the thickness of the border may be changed for each evaluation value.
  • the display control unit 47 sets the information (evaluation value itself (“1”, “2”, “3”, “4”, etc.) and the evaluation value) related to the evaluation value corresponding to the representative image on the representative image or in the vicinity of the representative image. Predetermined symbols (“ ⁇ ”, “ ⁇ ”, “ ⁇ ”, “ ⁇ ”, etc.), character strings, etc. may be displayed for each.
  • the display mode is changed to the display mode immediately before the display mode is changed by using the known Endo (cancel execution of the function executed immediately before) function (that is, the state shown in FIG. 4). You may be able to return.
  • the display control unit 47 may change the display form of the representative image by using the change method selected by the user among the above-mentioned change methods.
  • the display control unit 47 may display a button (not shown) corresponding to each change method on the screen, and change the display form of the representative image by the change method corresponding to the button pressed by the user.
  • each of the above-mentioned change methods may be combined.
  • the first change method and the second change method may be combined.
  • the display control unit 47 displays only the representative image corresponding to the medical image having the “evaluation value of 2 or more”, and relatively sets the frame of the representative image corresponding to the medical image having the “evaluation value of 3 or more”. It may be displayed thick.
  • the representative images of the medical images satisfying the evaluation criteria may be emphasized and displayed, and at the same time, the representative images of the medical images may be rearranged in the order according to the evaluation values.
  • step S280 the control unit 37 determines whether or not the user has instructed to set the comparison image via the operation unit 35. This determination process is executed by accepting an operation from the user (inputting a user's instruction) by the GUI provided by the operation unit 35 or the display unit 36. Specifically, the instruction for setting the comparison image is executed by the user selecting an arbitrary representative image via the operation unit 35 or the like. Further, it may be carried out by selecting a representative image and then selecting a setting button for a comparison image (not shown).
  • the identification information acquisition unit 43 acquires the identification information of the medical image represented by the designated representative image as the comparison identification information
  • the information processing device 10 acquires the RAM 33 or the storage unit 34. Remember this in.
  • the process proceeds to step S290.
  • the process may return to step S220, or the display control unit 47 may display a sentence prompting a warning on the display unit 36.
  • a GUI may be provided as a comparative image in which the same image as the image to be diagnosed cannot be selected.
  • the comparative identification information may be any information as long as it can identify the comparative image from the medical images acquired by the medical image acquisition unit 41.
  • the diagnosis target identification information it may be a series ID which is a unique identifier stored in the DICOM header, or the memory address and folder of the storage destination when the comparison image is stored in the RAM 33 or the storage unit 34. It may be a path or a file path. If there is no instruction to set the comparison image, the process returns to step S220.
  • step S290 the difference information generation unit 48 reads out the diagnosis target image and the comparison image based on the diagnosis target identification information and the comparison identification information, and generates the difference information. Then, the information processing device 10 stores the difference information in the RAM 33, the storage unit 34, the database 22, or the like, and ends the process in the present embodiment.
  • a difference image between the diagnosis target image and the comparison image is generated as the difference information.
  • the difference image is generated by a known alignment technique and difference processing technique, but since it is a conventional technique, the description thereof will be omitted in the present embodiment.
  • An external processing device may be configured to generate difference information such as a difference image.
  • the comparison image is based on the similarity between the incidental information of the diagnosis target image specified by the user and the incidental information of the medical image that is a candidate for the comparison image.
  • the display form of the medical image that is a candidate for is changed.
  • the visibility of the medical image (candidate for comparison image) suitable for comparison with the image to be diagnosed is greatly improved, so that the user can easily select the comparison image.
  • the image quality may be set as an evaluation expression item in the evaluation expression setting unit 45.
  • the evaluation formula setting unit 45 may set an evaluation formula that evaluates the image quality of the medical image to be evaluated or the image to be diagnosed by a known image processing technique and gives a different evaluation value according to the level of the image quality.
  • the evaluation formula item in the evaluation formula setting unit 45 is set based on the size of the region where the imaging range of the image to be diagnosed and the imaging range of the medical image to be evaluated overlap (hereinafter, overlapping region). You may.
  • the evaluation formula setting unit 45 evaluates the size of the overlapping region between the imaging range of the image to be diagnosed and the imaging range of the medical image to be evaluated by a known image processing technique, and evaluates different evaluation values according to the size of the overlapping region.
  • An evaluation formula may be set to give. Further, when a plurality of comparison images are selected as in the third embodiment described later, the evaluation formula setting unit 45 has a large overlap area with the diagnosis target image, but the overlap area with the already selected comparison image is large. An evaluation formula that gives a large evaluation value may be set for a small medical image to be evaluated.
  • the medical image acquisition unit 41 acquires the search condition in step S200, and the identification information acquisition unit 43 acquires the diagnosis target identification information in step S230.
  • the method of acquiring the search conditions and the diagnosis target identification information is not limited to this, and may be linked with a GUI for searching known test information.
  • control unit 37 may execute the information processing of the present embodiment after the user selects one image from the representative images displayed in the list.
  • the medical image acquisition unit 41 acquires the search conditions corresponding to the predetermined search items based on the incidental information of the medical image corresponding to the selected representative image. Then, the examination information satisfying the search condition is searched from the database 22, and the medical image captured at the time of the examination is acquired. Further, in step S230, the identification information acquisition unit 43 sets the medical image corresponding to the selected representative image as the image to be diagnosed.
  • step S230 and step S280 in the first embodiment the user selects and sets a diagnosis target image and a comparison image.
  • the selection of the diagnostic target image and the comparative image may require detailed observation of the candidate medical image. Therefore, in the present embodiment, the function for observing the medical image may be enabled. Further, the present embodiment may be linked with an image display device (also referred to as an image viewer).
  • control unit 37 may determine whether or not there is an instruction to select a representative image by the user via the operation unit 35, and may operate various functions of the image display device when there is an instruction to select the representative image.
  • the medical image corresponding to the selected representative image may be displayed on the image display device. This process is executed by accepting an operation from the user (inputting a user's instruction) by the GUI provided by the operation unit 35 or the display unit 36. Then, the user observes the medical image in detail by using various functions of the image display device.
  • various functions for observing the medical image may be enabled for the display area of the representative image on the display unit 36 so that the medical image corresponding to the representative image can be observed in detail.
  • the user can observe the diagnosis target image and the medical image as a candidate for the comparison image in detail, so that the diagnosis target image and the comparison image can be selected more appropriately.
  • steps S200 to S220 is the same as that of the first embodiment.
  • step S230 the user designates a plurality of representative images as the images to be diagnosed via the operation unit 35.
  • the identification information acquisition unit 43 acquires information for identifying the medical image corresponding to each of the selected representative images as the diagnosis target identification information.
  • the image 401 and the image 406 in FIG. 4 are selected.
  • step S240 is the same as that of the first embodiment.
  • steps S260 to S280 is the same as that of the first embodiment.
  • the image 411 is selected as the comparative image (medical image).
  • the difference information generation unit 48 reads out each diagnosis target image and comparison image (medical image) based on each diagnosis target identification information and comparison identification information, and generates each difference information.
  • the difference information generation unit 48 includes a medical image corresponding to the representative image of the image 401, a difference image of the medical image corresponding to the representative image of the image 411, and a medical image and an image corresponding to the representative image of the image 406.
  • a difference image of the medical image corresponding to the representative image of 411 is generated. That is, the information processing device 10 draws a difference between the designated means (operation unit 35) for designating the representative image displayed on the display unit 36 and the medical image corresponding to the designated representative image and the image to be diagnosed. It has a difference information generation unit 48 that generates an image.
  • the present embodiment it is possible to generate difference information for a plurality of images to be diagnosed without performing the series of processing procedures shown in the first embodiment a plurality of times, so that the user's labor can be reduced. it can.
  • the first embodiment the case where the number of comparative images to be selected is one has been described.
  • the processing procedure shown in the first embodiment it is necessary to carry out the processing procedure shown in the first embodiment a plurality of times, which is troublesome.
  • a method of efficiently generating difference information for a plurality of comparative images will be described.
  • the second embodiment is an embodiment when there are a plurality of diagnostic target images
  • the present embodiment is an embodiment when there are a plurality of comparative images.
  • the identification information acquisition unit 43 acquires the comparison identification information and proceeds to step S290 as an example.
  • the control unit 37 subsequently determines whether or not there is an instruction to generate the difference information. This determination process is executed by accepting an operation from the user (inputting a user's instruction) by the GUI provided by the operation unit 35 or the display unit 36. For example, it is executed by selecting (pressing) a difference information generation button (not shown) after the user selects a comparison image.
  • the identification information acquisition unit 43 acquires the comparison identification information and proceeds to step S290. If there is no instruction to generate the difference information, the process returns to step S250.
  • step S250 after selecting the comparison image, the evaluation formula setting unit 45 reads out the incidental information of the diagnosis target image and the comparison image from the incidental information acquired by the incidental information acquisition unit 44. Then, an evaluation formula is set based on the incidental information of both the diagnosis target image and the comparison image. That is, the evaluation formula setting unit 45 sets the evaluation formula in the diagnosis target image and the evaluation formula in the comparison image for each evaluation formula item, integrates the respective evaluation formulas, and evaluates the medical image to be evaluated. The final evaluation formula for this. Examples of the method of integrating the evaluation formulas include "total" and "average".
  • Aa be the incidental information of the diagnosis target image regarding the evaluation formula item a
  • Ca be the incidental information of the comparative image
  • Ba be the incidental information of the medical image to be evaluated.
  • the evaluation formula setting unit 45 constructs an evaluation formula that calculates the evaluation value T when Aa and Ba match, and calculates the evaluation value F when they do not match.
  • the evaluation formula setting unit 45 constructs an evaluation formula that calculates the evaluation value T when Ca and Ba match, and calculates the evaluation value F when they do not match.
  • F (A, C, B) WAa ⁇ fa (Aa, Ba) + WCa ⁇ fa (Ca, Ba) + WAb ⁇ fb (Ab, Bb) + WCb ⁇ fb (Cb, Bb) + WAc ⁇ fc (Ac, Bc) + WCc ⁇ Fc (Cc, Bc) ⁇ ⁇ ⁇ (Equation 8)
  • WAa, WCa, WAb, WCb, WAc, and WCc are weighting coefficients for each evaluation formula.
  • the evaluation formula in the present embodiment is an example, and the present invention is not limited to this.
  • the similarity between the comparison images may be more important than the similarity between the diagnosis target image and the comparison image.
  • different weights may be set for the evaluation formula set based on the incidental information for the diagnosis target image and the evaluation formula set based on the incidental information for the comparison image.
  • the same evaluation formula as before the selection of the comparison image may be used. In this case, as in the first embodiment, the evaluation value of each medical image is calculated based only on the similarity with the incidental information of the image to be diagnosed.
  • the evaluation value of each medical image does not change before and after selecting the comparison image. Change the evaluation formula when you want to compare the diagnosis target image and each comparison image individually (for example, when you want to generate and observe the difference image between the diagnosis target image and each comparison image individually). Not this method is desirable.
  • step S260 the evaluation value calculation unit 46 reads out the incidental information acquired by the incidental information acquisition unit 44 and the evaluation formula set by the evaluation formula setting unit 45 after selecting the comparison image. Then, the evaluation value calculation unit 46 substitutes the incidental information in each medical image into the evaluation formula, and calculates the evaluation value for each medical image.
  • the calculated evaluation value may be retained as it is as an evaluation value for each medical image, or may be integrated and retained with the evaluation value calculated in step S260 before selection of the comparison image. Further, if there is a hidden representative image in step S270 before the selection of the comparison image, it is not necessary to calculate the evaluation value for the medical image corresponding to the representative image.
  • step S270 after selecting the comparison image is the same as that of the first embodiment, the description thereof will be omitted.
  • step S280 after the selection of the comparison image, if there is an instruction to set a new comparison image, it is subsequently determined whether or not there is an instruction to generate the difference information.
  • the identification information acquisition unit 43 acquires the comparison identification information in each comparison image, and proceeds to step S290. If there is no instruction to generate the difference information, the process returns to step S250 and the same process is repeated.
  • step S290 the difference information generation unit 48 reads out the diagnosis target image and each comparison image based on the diagnosis target identification information and each comparison identification information, and generates each difference information.
  • a plurality of difference information obtained for each comparison image may be integrated to generate one difference information, or each difference information may be held individually.
  • the difference information is a difference image
  • a difference image in which a plurality of difference images are integrated may be generated.
  • a known method of synthesizing the images may be used for the integration of the difference images.
  • the difference information for a plurality of comparative images can be generated without performing the series of processing procedures shown in the first embodiment a plurality of times, so that the user's labor can be reduced. ..
  • the evaluation formula items in the evaluation formula set by the evaluation formula setting unit 45 have been described as being predetermined.
  • the evaluation formula item is set or changed based on the instruction of the user.
  • FIG. 9 shows a configuration example of the information processing device 10 according to the fourth embodiment. Compared with the configuration example (FIG. 1) of the information processing apparatus 10 in the first embodiment, the evaluation formula item acquisition unit 49 is added. In FIG. 9, each component other than the evaluation expression setting unit 45 and the evaluation expression item acquisition unit 49 is the same as each component in FIG. 1, and thus the description thereof will be omitted.
  • the evaluation formula item acquisition unit 49 acquires the evaluation formula item according to the user's instruction input by the operation unit 35. Then, the evaluation formula item acquisition unit 49 outputs the acquired evaluation formula item to the evaluation formula setting unit 45.
  • the evaluation formula setting unit 45 performs the same processing as the evaluation formula setting unit 45 in the first embodiment, but the point that the evaluation formula is set based on the evaluation formula item acquired by the evaluation formula item acquisition unit 49 is the first. It is different from the embodiment of 1.
  • FIG. 10 is a flowchart of processing performed by the control unit 37.
  • step S1000 to step S1040 are the same as steps S200 to S240 of the first embodiment, the description thereof will be omitted.
  • step S1050 the control unit 37 determines whether or not there is an instruction to set the evaluation expression item by the user via the operation unit 35. This determination process is executed by accepting an operation from the user (inputting a user's instruction) by the GUI provided by the operation unit 35 or the display unit 36.
  • the instruction for setting the evaluation formula item is performed by selecting an arbitrary evaluation formula item via the operation unit 35. Further, it may be carried out by selecting (pressing) the setting button of the evaluation formula item (not shown) after selecting the evaluation formula item. If there is no instruction to set the evaluation formula item, the process proceeds to step S1100.
  • step S1040 if there is no instruction to select the comparison image in step S1100 and there is no instruction to change the search condition and the image to be diagnosed in step S1020 and step S1030, the process of step S1040 is performed. It doesn't have to be.
  • the evaluation formula item acquisition unit 49 acquires the evaluation formula item. Then, the information processing device 10 stores the evaluation expression item in the RAM 33 or the storage unit 34. Then, the process proceeds to step S1060.
  • buttons 110 to 114 in FIG. 11 are buttons corresponding to items that are candidates for evaluation formula items.
  • Button 110 is a button corresponding to "slice thickness”
  • button 111 is a button corresponding to "reconstruction function”
  • button 112 is a button corresponding to "contrast-enhanced condition”.
  • the button 113 is a button corresponding to the “imaging range”
  • the button 114 is a button corresponding to the “pixel size”.
  • FIG. 11 shows a state in which the button 110, the button 111, and the button 112 are selected as the evaluation expression items by the user's instruction.
  • buttons of the selected evaluation formula items are displayed in a display form that can be identified by changing the display color of the buttons.
  • the display form of the display unit 36 in FIG. 11 is an example, and the implementation of the present invention is not limited to this example.
  • the evaluation expression item may be input by the user in a format in which a free sentence can be input, or may be selected by the user from a plurality of options presented in a pull-down format.
  • a preset evaluation expression item candidate may be presented as an option, or may be sequentially changed according to an input in another evaluation expression item.
  • candidates for evaluation formula items may be set in advance, or a mechanism may be provided so that the user can add or change them later.
  • each evaluation formula item described as Wa, Wb, and Wc of the formula 3 in the first embodiment may be set. Further, in the first embodiment, it may be possible to set an evaluation method of the incidental information of the diagnosis target image and the incidental information of the evaluation target for each evaluation formula item exemplified as the formula 1, the formula 4, and the formula 5. .. In addition, it may be possible to set a method for integrating each evaluation formula. Further, when a plurality of diagnosis target images or a plurality of comparison images are selected as in the second embodiment and the third embodiment, different evaluation formulas are used for each diagnosis target image or comparison image. Items and the like may be set. Further, as shown in FIG. 12, a setting screen in which settable items are put together on one screen may be displayed on the display unit 36, and a mechanism for setting by the user may be provided.
  • step S1060 the evaluation formula setting unit 45 selects the incidental information of the diagnosis target image from the incidental information acquired by the incidental information acquisition unit 44 based on the diagnosis target identification information acquired by the identification information acquisition unit 43. Further, the evaluation expression item acquired by the evaluation expression item acquisition unit 49 is read from the RAM 33 or the storage unit 34. Then, the evaluation formula setting unit 45 sets an evaluation formula based on the incidental information of the image to be diagnosed and the evaluation formula item. The information processing device 10 stores the evaluation formula in the RAM 33 or the storage unit 34. Then, the process proceeds to step S1070.
  • the evaluation formula set by this step is formula 9.
  • F (A, B) 1 ⁇ IF (1> Ba, 1,0) + 1 ⁇ IF
  • FC51 Bb, 1,0) + 2 ⁇ IF
  • Contrast medium, equilibrium phase Bc, 1,0 ) ... (Equation 9)
  • step S1070 and step S1080 Since the processing of step S1070 and step S1080 is the same as that of step S260 and step S270 of the first embodiment, the description thereof will be omitted.
  • step S1090 the control unit 37 determines whether or not the user has changed the setting of the evaluation expression item via the operation unit 35. This determination process is executed by accepting an operation from the user (inputting a user's instruction) by the GUI provided by the operation unit 35 or the display unit 36.
  • the instruction to change the evaluation formula item is implemented by changing an arbitrary evaluation formula item via the operation unit 35. Further, after changing the evaluation formula item, it may be carried out by pressing the setting button of the evaluation formula item (not shown). If there is no instruction to change the evaluation formula item, the process proceeds to step S1100.
  • the evaluation expression item acquisition unit 49 acquires the changed evaluation expression item.
  • the information processing device 10 stores the changed evaluation expression item in the RAM 33 or the storage unit 34. Then, the process proceeds to step S1060.
  • the instruction for changing the setting of the evaluation expression item by the user can be realized by the same method as the instruction for setting the evaluation expression item in step S1050.
  • steps S1100 and S1110 are the same as those in steps S280 and S290 of the first embodiment, the description thereof will be omitted.
  • the following effects can be obtained. That is, since the evaluation expression item can be arbitrarily set by the user, a suitable comparison image can be easily selected.
  • FIG. 13 shows a configuration example of the information processing device 10 according to the fifth embodiment. Compared with the configuration example (FIG. 1) of the information processing apparatus 10 in the first embodiment, the difference is that the overlapping area calculation unit 40 is added.
  • each component other than the four components of the medical image acquisition unit 41, the identification information acquisition unit 43, the display control unit 47, and the overlapping area calculation unit 40 is the same as each component in FIG. , The description is omitted.
  • the medical image acquisition unit 41 acquires search conditions according to the user's operation (instruction) input by the operation unit 35. Based on the acquired search conditions, the examination information satisfying the search conditions is searched from the database 22 via the communication IF 31 and the LAN 21, and the medical image captured at the time of the examination is acquired. Then, the medical image acquisition unit 41 outputs the acquired medical image to the representative image generation unit 42, the incidental information acquisition unit 44, and the overlapping area calculation unit 40.
  • the identification information acquisition unit 43 acquires the diagnosis target identification information and the comparison identification information according to the user's operation (instruction) input by the operation unit 35. Then, the identification information acquisition unit 43 outputs the acquired diagnosis target identification information to the evaluation formula setting unit 45, the difference information generation unit 48, and the overlapping area calculation unit 40. Further, the identification information acquisition unit 43 outputs the acquired comparative identification information to the difference information generation unit 48.
  • the overlapping area calculation unit 40 identifies the diagnosis target image from the medical images acquired by the medical image acquisition unit 41 based on the diagnosis target identification information acquired by the identification information acquisition unit 43. Then, the overlapping region between the image to be diagnosed and each of the plurality of medical images acquired by the medical image acquisition unit 41 is calculated. Then, the overlapping area calculation unit 40 outputs the calculated overlapping area to the display control unit 47.
  • the display control unit 47 displays the representative image generated by the representative image generation unit 42 on the display unit 36. Further, when the user specifies the image to be diagnosed by the operation unit 35, a mark indicating the overlap area calculated by the overlap area calculation unit 40 (hereinafter, the overlap area mark) is displayed in association with each representative image. .. That is, the information processing apparatus 10 is characterized in that information indicating an overlapping region of the imaging range of the medical image and the image to be diagnosed is displayed together with the representative image. Further, the display form on the display unit 36 is changed based on the evaluation value calculated by the evaluation value calculation unit 46.
  • FIG. 14 is a flowchart of processing performed by the control unit 37.
  • step S1400 to step S1430 Since the processes from step S1400 to step S1430 are the same as steps S200 to S230 of the first embodiment, the description thereof will be omitted.
  • step S1440 the overlapping area calculation unit 40 reads out the medical image acquired by the medical image acquisition unit 41. Further, the diagnosis target image is selected based on the diagnosis target identification information acquired by the identification information acquisition unit 43. Then, for each of the plurality of medical images acquired by the medical image acquisition unit 41, a region (overlapping region) in which the diagnostic target image and the imaging range overlap is calculated. Then, the information processing device 10 stores the calculated overlapping area in the RAM 33 or the storage unit 34 in association with the representative image of the corresponding medical image.
  • the overlapping region between the images can be calculated by performing a known image alignment process between the images.
  • Known image alignment processes include rigid body alignment based on image similarity and FFD (Free-Form Deformation) methods.
  • the imaging range of each image may be determined by using a known technique for extracting the anatomical feature portion of the human body from the image, and the overlapping region between the imaging ranges may be obtained.
  • incidental information indicating the imaging range for example, head, chest, abdomen, chest and abdomen, upper body, lower body, whole body, etc.
  • the method of acquiring the imaging range from the image and the method of calculating the overlapping region between the images may be any other method.
  • the display control unit 47 reads out the overlapping area calculated by the overlapping area calculation unit 40, and displays the overlapping area mark on the display unit 36 in association with the corresponding representative image.
  • the display control unit 47 will be described in detail with reference to FIGS. 15 to 17.
  • FIG. 15 is a screen example of the display unit 36 at the end of the process of this step when a medical image corresponding to the representative image of the image 401 is selected as the image to be diagnosed.
  • overlapping area marks are displayed next to images 402 to 411, which are representative images of each of the plurality of medical images other than the image to be diagnosed.
  • FIG. 16 is a diagram showing an imaging range in the body axis direction of a medical image corresponding to each representative image of image 401, image 404, image 405, and image 408 in FIG.
  • the figure 1600 represents a subject
  • the arrow A401 indicates the imaging range in the body axis direction of the image to be diagnosed (medical image corresponding to the representative image of the image 401).
  • arrows A404, arrow A405, and arrow A408 each indicate an axial imaging range of a medical image corresponding to a representative image of image 404, image 405, and image 408. That is, in FIG.
  • the overlapping region between the imaging range of the image to be diagnosed and the imaging range of the medical image corresponding to the representative image of the image 404 is the range from the lower end of the arrow A404 to the upper end of the arrow A404.
  • the overlapping region between the imaging range of the image to be diagnosed and the imaging range of the medical image corresponding to the representative image of the image 405 is the range from the lower end of the arrow A405 to the upper end of the arrow A401.
  • the overlapping region between the imaging range of the image to be diagnosed and the imaging range of the medical image corresponding to the representative image of the image 408 is the range from the lower end of the arrow A401 to the upper end of the arrow A401.
  • FIG. 17 is a diagram showing side by side the representative images of each of the images 404, 405, and 408 in FIG. 15 and the imaging range of the medical image corresponding to each representative image shown in FIG.
  • each of the mark M404, the mark M405, and the mark M408 in FIG. 17 is an overlapping area mark of the diagnosis target image and the medical image corresponding to each representative image.
  • the display control unit 47 determines the position where the overlapping area mark is displayed as follows. First, the display control unit 47 normalizes the size of the imaging range of the image to be diagnosed according to the size in the vertical direction of the representative image (that is, as shown in FIG. 17, the upper ends of the images 404, 405, and 408. And the lower end match the imaging range A401 of the image to be diagnosed). Then, the relative position of the overlapping region in the imaging range of the image to be diagnosed after normalization is calculated. Then, the overlapping area mark is displayed at the right or left position of the representative image corresponding to the position.
  • the display control unit 47 normalizes the size of the arrow A401 with respect to the vertical size of the image 404, and is a relative position in the range from the lower end of the arrow A404 to the upper end of the arrow A404, which is an overlapping area. Is calculated. Then, the mark M404 is displayed at a position on the right side of the representative image corresponding to the range from the lower end of the arrow A404 to the upper end of the arrow A404.
  • the display control unit 47 normalizes the size of the arrow A401 with respect to the vertical size of the image 405, and the relative position of the range from the lower end of the arrow A405, which is the overlapping region, to the upper end of the arrow A401.
  • the mark M405 is displayed at a position on the right side of the representative image corresponding to the range from the lower end of the arrow A405 to the upper end of the arrow A401.
  • the display control unit 47 normalizes the size of the arrow A401 with respect to the vertical size of the image 408, and is a relative position in the range from the lower end of the arrow A401 to the upper end of the arrow A401, which is an overlapping area. Is calculated. Then, the mark M408 is displayed at a position on the right side of the representative image corresponding to the range from the lower end of the arrow A401 to the upper end of the arrow A401.
  • the display control unit 47 can display the overlap area mark calculated by the overlap area calculation unit 40 on the display unit 36 in association with the representative image. It can. That is, the information processing device 10 has an image acquisition unit 41 that acquires a medical image captured in an examination performed on a subject, and a representative image generation unit 42 that generates a representative image of the acquired image. Further, it has a display control unit 47 for displaying the representative image generated by the representative image generation unit 42 on the display unit 36, and an overlap region calculation unit 40 for calculating the overlap region of the imaging range of the medical image and the image to be diagnosed.
  • the display control unit 47 is characterized in that the information indicating the overlapping area calculated by the overlapping area calculation unit 40 is displayed together with the representative image.
  • the display form of the overlapping area mark may be any form as long as the user can recognize the size and positional relationship of the overlapping area.
  • the transparency may be set for the overlapping area mark
  • the size of the overlapping area mark in the horizontal direction may be matched with the size of the representative image
  • the overlapping area mark may be displayed superimposed on the representative image.
  • the overlapping region corresponding to each diagnosis target image or comparison image may be displayed.
  • step S1450 When the display of the overlapping area mark is completed, the process proceeds to step S1450. Further, the process of this step may be performed at any time from after the diagnosis target image is set in step S1430 to before the comparison image is selected in step S1490. It may be carried out after step S1470, or may be carried out in parallel with the processing of other steps. Further, in step S1480, when the process of hiding a part of the representative image is performed, it is not necessary to calculate the overlapping area for the medical image corresponding to the representative image to be hidden. Further, the process of calculating the overlapping area and the process of displaying the overlapping area mark may be separated and executed at different time points. The process of displaying the overlapping area mark may be performed at the same time as the process of step S1480.
  • the overlapping area marks may be displayed in the order in which the calculation of the overlapping area is completed. Further, if the user instructs the execution of the process of step S1490 before displaying all the overlapping area marks, the execution of the process of this step may be stopped at that point.
  • step S1450 to step S1470 are the same as those of steps S240 to S260 of the first embodiment, the description thereof will be omitted.
  • step S1480 as in the first embodiment, the display control unit 47 reads out the evaluation values for each medical image calculated by the evaluation value calculation unit 46. Then, the display form of the representative image corresponding to each medical image and the display unit 36 of the overlapping area mark is changed based on the evaluation value. Since the process for changing the display form of the representative image is the same as that of the first embodiment, the description thereof will be omitted. In addition, when the process of hiding a part of the representative image is performed, the overlapping area mark for the representative image is also hidden. In the process of changing the display form of the overlapping area mark, for example, the width of the overlapping area mark, the thickness of the frame, the type of color, and the like are changed based on the evaluation value.
  • step S1490 to step S1500 are the same as those of steps S280 to S290 of the first embodiment, the description thereof will be omitted.
  • the following effects can be obtained. That is, the user can easily confirm the relative positional relationship of the imaging range of the medical image corresponding to each of the plurality of representative images with respect to the imaging range of the image to be diagnosed, so that a more suitable comparison image can be easily selected. be able to. Therefore, it is possible to reduce the time and effort of the user in generating the difference information.
  • the overlapping area calculation unit 40 has described an example in which the overlapping area of the imaging range in the body axis direction is calculated and displayed as the overlapping area mark.
  • the overlapping area to be calculated and displayed does not have to be limited to the body axis direction.
  • the overlapping area of the imaging range in the direction of the left and right axes of the body hereinafter, the left-right axis direction
  • the direction of the front-back axis hereinafter, the front-back axis direction
  • 19A is a diagram showing imaging ranges in the body axis direction and the left-right axis direction of the medical image corresponding to the representative images of the image 401 and the image 404 in FIG.
  • the figure 1600 represents a subject
  • the arrow A401 indicates the imaging range in the body axis direction of the image to be diagnosed
  • the arrow A404 indicates the imaging range in the body axis direction of the medical image corresponding to the representative image of the image 404.
  • the arrow B401 indicates the imaging range in the left-right axis direction of the image to be diagnosed
  • the arrow B404 indicates the imaging range in the left-right axis direction of the medical image corresponding to the representative image of the image 404. That is, in FIG.
  • the overlapping region between the imaging range in the body axis direction of the image to be diagnosed and the imaging range in the body axis direction of the medical image corresponding to the representative image of the image 404 is from the lower end of the arrow A404 to the upper end of the arrow A404. It becomes a range. Further, the overlapping region between the imaging range in the left-right axis direction of the image to be diagnosed and the imaging range in the left-right axis direction of the medical image corresponding to the representative image of the image 404 is the range from the left end of the arrow B404 to the right end of the arrow B404. Further, FIG. 19B is a diagram showing the image 404 in FIG.
  • the mark M404 in FIG. 19B is an overlapping area mark in the body axis direction between the image to be diagnosed and the medical image corresponding to the representative image of the image 404.
  • the mark N404 is an overlapping area mark in the left-right axial direction between the image to be diagnosed and the medical image corresponding to the representative image of the image 404.
  • the display position of the overlapping area mark in the body axis direction is determined in the same manner as in the present embodiment.
  • the display position of the overlapping area mark in the left-right axis direction is determined as follows.
  • the display control unit 47 normalizes the size of the imaging range of the image to be diagnosed according to the lateral size of the representative image, and the relative position of the overlapping region in the imaging range of the image to be diagnosed after normalization. Is calculated. Then, the overlapping area mark is displayed at a position below or above the representative image corresponding to the position.
  • FIG. 19B is an example in which the overlapping area mark in the body axis direction is displayed on the right side of the image 404, and the overlapping area mark in the left-right axis direction is displayed below.
  • the user can easily relate the relative positional relationship of the imaging range of the medical image corresponding to the representative image to the imaging range of the image to be diagnosed not only in the body axis direction but also in the left-right axis direction or the front-back axis direction. You can check.
  • the display position of the overlapping area mark normalizes the size of the imaging range of the image to be diagnosed according to the size in the vertical or horizontal direction of the representative image, and is in the imaging range of the image to be diagnosed after normalization. It was determined based on the relative position of the overlapping area.
  • the method of determining the display position of the overlapping area mark is not limited to this.
  • the size of the imaging range of the medical image corresponding to the representative image is normalized according to the size of the representative image, and determined based on the relative position of the overlapping region in the imaging range of the medical image after normalization. You may. This will be described in detail with reference to FIG.
  • FIG. 20 is a diagram showing side by side images 404, 405, and 408 in FIG. 15, and an imaging range of a medical image corresponding to each representative image shown in FIG. 16, as in FIG. However, FIG. 20 shows the vertical size of the representative image and the size of the imaging range of the medical image corresponding to the representative image.
  • the marks P404, P405, and P408 in FIG. 20 are overlapping area marks of the image to be diagnosed and the medical image corresponding to each representative image.
  • the display control unit 47 normalizes the size of the arrow A404 with respect to the vertical size of the image 404, and is a relative position in the range from the lower end of the arrow A404 to the upper end of the arrow A404, which is an overlapping area. Is calculated.
  • the mark P404 is displayed at a position on the right side of the representative image corresponding to the range from the lower end of the arrow A404 to the upper end of the arrow A404.
  • the display control unit 47 normalizes the size of the arrow A405 with respect to the vertical size of the image 405, and the relative position of the range from the lower end of the arrow A405, which is the overlapping region, to the upper end of the arrow A401. Is calculated.
  • the mark P405 is displayed at a position on the right side of the representative image corresponding to the range from the lower end of the arrow A405 to the upper end of the arrow A401.
  • the display control unit 47 normalizes the size of the arrow A408 with respect to the vertical size of the image 408, and is a relative position in the range from the lower end of the arrow A401 to the upper end of the arrow A401, which is an overlapping area. Is calculated. Then, the mark P408 is displayed at a position on the right side of the representative image corresponding to the range from the lower end of the arrow A401 to the upper end of the arrow A401.
  • the user can easily confirm the relative positional relationship of the imaging range of the image to be diagnosed with respect to the imaging range of the medical image corresponding to the representative image.
  • the overlapping area calculation unit 40 calculates the overlapping area between the image to be diagnosed and the medical image corresponding to the representative image, and marks the overlapping area at the left, right, or upper and lower positions of the representative image. It was displayed. However, the overlapping area calculation unit 40 does not calculate the overlapping area between the diagnosis target image and the medical image corresponding to the representative image, and displays the relative positional relationship between the diagnosis target image and the medical image corresponding to the representative image. You may.
  • the size of the whole body imaging range of the subject is normalized according to the size of the representative image, and the relative imaging range of the diagnostic target image and the medical image corresponding to the representative image in the normalized whole body imaging range.
  • the mark may be displayed at any position. This will be described in detail with reference to FIG.
  • FIG. 21 is a diagram showing side by side the representative images of the image 404, the image 405, and the image 408 in FIG. 15, and the imaging range of the medical image corresponding to each representative image shown in FIG. 16, similarly to FIG. ..
  • FIG. 21 shows the size of the imaging range of the whole body matched with the size of the representative image in the vertical direction.
  • the marks Q404, Q405, and Q408 in FIG. 21 are marks indicating the imaging range of the image to be diagnosed (hereinafter referred to as the marks to be diagnosed).
  • the marks R404, the mark R405, and the mark R408 are marks indicating the imaging range of the medical image corresponding to the representative image (hereinafter referred to as the representative medical mark).
  • the display control unit 47 normalizes the size of the imaging range of the whole body with respect to the vertical sizes of the image 404, the image 405, and the image 408, and diagnoses the imaging range of the whole body after the normalization. Calculate the relative position of the imaging range of the target image. In addition, the relative position of the imaging range of the medical image corresponding to the representative image with respect to the imaging range of the whole body after normalization is calculated. Then, in FIG. 21A, the mark Q404 is displayed at a position corresponding to the imaging range of the image to be diagnosed at the position on the right side of the image 404, and at a position corresponding to the imaging range of the medical image corresponding to the image 404 at the position adjacent to the mark Q404. The mark R404 is displayed.
  • the display control unit 47 displays the mark Q405 at a position corresponding to the imaging range of the image to be diagnosed at the position to the right of the image 405, and sets the imaging range of the medical image corresponding to the image 405 at the position adjacent to the mark Q405.
  • the mark R405 is displayed at the corresponding position.
  • the display control unit 47 displays the mark Q408 at a position corresponding to the imaging range of the image to be diagnosed at the position to the right of the image 408, and sets the imaging range of the medical image corresponding to the image 408 at the position adjacent to the mark Q408.
  • the mark R408 is displayed at the corresponding position.
  • the user can easily confirm the relative positional relationship between the imaging range of the diagnostic target image corresponding to the whole body of the subject and the imaging range of the medical image corresponding to the representative image.
  • the maximum imaging range of the modality and the range of the bed for imaging may be used as the standard for normalization.
  • Modification 5-4 In the present embodiment, for the representative image other than the diagnosis target image, the overlapping area between the medical image corresponding to the representative image and the diagnosis target image is calculated, and the overlapping area mark is displayed. In this modification, the display of the overlapping area mark on the representative image of the image to be diagnosed will be described.
  • step S1490 when the user selects an arbitrary representative image via the operation unit 35 when the user sets the comparison image, the overlapping area calculation unit 40 includes the medical image and the diagnosis target image corresponding to the representative image. The overlapping area of the imaging range of is calculated. Then, the overlapping area mark is displayed on the representative image corresponding to the image to be diagnosed. Further, when the representative image selected by the user via the operation unit 35 is changed, the overlapping area mark is changed according to the change.
  • the size of the overlapping area mark is determined based on the size of the overlapping area, and the display position of the overlapping area mark is the overlapping area with respect to the imaging range of the diagnosis target image or the comparative image. It was decided based on the positional relationship of.
  • the display form of the overlapping area mark is not limited to this. That is, the display form of the overlapping area mark may be any form as long as the user can recognize both or one of the size and the positional relationship of the overlapping area.
  • the overlapping area mark may be a character information indicating both or one of the size and positional relationship of the overlapping area.
  • the character information indicating the size of the overlapping area there is information such as the number of pixels corresponding to the overlapping area and the size in the real space.
  • the character information indicating the positional relationship of the overlapping area there is information such as the number of pixels corresponding to the distance from the top of the head and the names of the main organs drawn in the range of the overlapping area.
  • the overlapping area mark may be a shape or color mark determined according to both or one of the size and positional relationship of the overlapping area, not limited to the character information.
  • the display control unit 47 may be configured to determine the display / non-display of the overlapping area mark according to the size and the positional relationship of the overlapping area.
  • the star-shaped mark may be displayed as the overlapping area mark at the upper right position of the corresponding representative image.
  • a mark having a shape simulating a main organ drawn in the range of the overlapping area may be used as the overlapping area mark and displayed on the corresponding representative image.
  • the present invention can take embodiments as a system, an apparatus, a method, a program, a storage medium, or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices by distributing the functions of the image processing device, or may be applied to a device composed of one device. Further, in order to realize the functions and processes of the present invention on a computer, the program code itself installed on the computer also realizes the present invention. The scope of the present invention also includes the computer program itself for realizing the functions and processes shown in the above-described embodiment.
  • the function of the above-described embodiment is realized by the computer executing the read program, and the embodiment is realized in collaboration with the OS running on the computer based on the instruction of the program.
  • the function may be realized.
  • the OS or the like performs a part or all of the actual processing, and the processing realizes the functions of the above-described embodiment.
  • the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, and some or all of the functions of the above-described embodiment are realized. You may.
  • the scope of the present invention is not limited to the above-described embodiment. It is also possible to combine at least two of the plurality of modifications described above.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明に係る情報処理装置は、被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、医用画像の代表画像を生成する代表画像生成手段と、代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、表示制御手段は、医用画像の付帯情報と診断対象画像の付帯情報に基づいて代表画像の表示形態を設定することを特徴とする。

Description

情報処理装置、情報処理方法、及びプログラム
 本発明は、付帯情報に基づいて代表画像の表示形態を設定する情報処理装置、情報処理方法、及びプログラムに関する。
 医療現場では、患者の体内の情報を医用画像として可視化する検査が実施される。当該検査では、1回の検査でより多くの情報を得るために、複数の撮像条件を用いて、複数の医用画像を生成する場合もある。検査の際に撮像される医用画像は、病院内のデータサーバに保存される。医師は、医用画像表示装置を用いて医用画像を読影する。
 医師は、読影において、同一または異なる検査により得られる複数の医用画像間の差異や変化等の情報(以下、差分情報)を活用する。従来、差分情報を生成するための様々な技術がある。例えば、特許文献1では、診断の対象である画像(以下、診断対象画像)と診断対象画像の比較の対象である画像(以下、比較画像)との差を描出した画像(以下、差分画像)を生成している。
特開2005-39701号公報
 しかしながら、大量の医用画像の中から、比較に適した医用画像をユーザが選択する作業には時間と労力を要した。
 本発明は上記課題に鑑みてなされたものであり、比較に適した医用画像をユーザが容易に選択することができる情報処理装置、情報処理装置の制御方法、及びプログラムを提供することを目的とする。
 なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
 本発明に係る画像処理装置は、以下の構成を備える。すなわち、被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、前記医用画像の代表画像を生成する代表画像生成手段と、前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づいて前記代表画像の表示形態を設定することを特徴とする。また別の本発明に係る画像処理装置は、以下の構成を備える。すなわち、被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、前記医用画像の代表画像を生成する代表画像生成手段と、前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、前記表示制御手段は、前記診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、前記診断対象画像の付帯情報に類似しない付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする。
 本発明によれば、比較に適した医用画像をユーザが容易に選択することができる。
第1の実施形態に係る情報処理システムのブロック図。 第1の実施形態の処理手順を示すフローチャート。 第1の実施形態における医用画像取得前の画面例を示す図。 第1の実施形態における代表画像表示後の画面例を示す図。 代表画像の表示形態の第1の変更方法における画面例を示す図。 代表画像の表示形態の第1の変更方法における別の画面例を示す図。 代表画像の表示形態の第2の変更方法における画面例を示す図。 代表画像の表示形態の第3の変更方法における画面例を示す図。 第4の実施形態に係る情報処理システムのブロック図。 第4の実施形態の処理手順を示すフローチャート。 第4の実施形態における評価式項目の設定後の画面例を示す図。 第4の実施形態における評価式項目の設定画面例を示す図。 第5の実施形態に係る情報処理システムのブロック図。 第5の実施形態の処理手順を示すフローチャート。 第5の実施形態における重複領域印の表示後の画面例を示す図。 第5の実施形態における医用画像の撮像範囲の例を示す図。 第5の実施形態における重複領域印の表示方法の第一の例を示す図。 第5の実施形態における重複領域印の表示方法の第一の例を示す図。 第5の実施形態における重複領域印の表示方法の第一の例を示す図。 第5の実施形態における重複領域印の表示方法の第二の例を示す図。 第5の実施形態における重複領域印の表示方法の第二の例を示す図。 第5の実施形態における重複領域印の表示方法の第二の例を示す図。 変形例5-1における重複領域印の表示方法の例を示す図。 変形例5-1における重複領域印の表示方法の例を示す図。 変形例5-2における重複領域印の表示方法の例を示す図。 変形例5-2における重複領域印の表示方法の例を示す図。 変形例5-2における重複領域印の表示方法の例を示す図。 変形例5-3における重複領域印の表示方法の例を示す図。 変形例5-3における重複領域印の表示方法の例を示す図。 変形例5-3における重複領域印の表示方法の例を示す図。
 以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。但し、本発明の範囲は以下で説明する各実施形態に限定されるものではない。
 また、以下では、例として、差分情報として差分画像を生成する場合における診断対象画像と比較画像の選択について説明する。但し、本発明の範囲はこれに限定されるものではなく、少なくとも2つの医用画像を用いて生成する差分情報であれば、どのような情報であってもよい。また、差分情報の生成は必ずしも必要ではなく、複数の医用画像を比較するために、選択した画像の表示を行う構成であってもよい。また、以下の例では、診断対象画像及び比較画像は、複数の2次元画像(スライス画像)によって構成される3次元CT(Computed Tomography)画像である場合について説明する。ただし、本発明が適用できる医用画像の種類はこれに限定されるものではない。すなわち、画像間の演算ができる種類であれば、他のどのような種類の医用画像であってもよい。
 [第1の実施形態]
 図1は、第1の実施形態に係わる情報処理装置を含む情報処理システムの全体構成を示す図である。
 情報処理システムは、情報処理装置10とデータベース22を含んでおり、これらの装置は、通信手段を介して互いに通信可能に接続されている。本実施形態においては、通信手段はLAN(Local Area Network)21で構成される。
 データベース22は、不図示の医用画像撮影装置による撮像によって生成された医用画像を管理する。また、データベース22は、電子カルテシステムやHIS(Hospital Information Systems)RIS(Radiology Information Systems)等の情報を管理する。電子カルテシステム、HISやRIS等により記録された検査に関する各種の情報を以下、検査情報とする。情報処理装置10は、データベース22で管理される医用画像や検査情報を、LAN21を介して取得する。
 情報処理装置10は、その機能的な構成として、通信IF31、ROM32、RAM33、記憶部34、操作部35、表示部36、制御部37を具備する。
 通信IF(Interface)31は、例えば、LANカード等で実現され、LAN21を介した外部装置(例えば、データベース22)と情報処理装置10との間の通信を行う。ROM(Read Only Memory)32は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。RAM(Random Access Memory)33は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部34は、例えば、HDD(Hard Disk Drive)等で実現され、各種情報を記憶する。操作部35は、例えば、キーボードやマウス等で実現され、ユーザからの指示を装置内に入力する。表示部36は、例えば、ディスプレイ等で実現され、各種情報をユーザ(例えば、医師)に向けて表示する。操作部35や表示部36は、制御部37からの制御によりGUI(Graphical User Interface)としての機能を提供する。
 制御部37は、例えば、CPU(Central Processing Unit)等で実現され、情報処理装置10における処理を統括制御する。制御部37は、その機能的な構成として、医用画像取得部41、代表画像生成部42、識別情報取得部43、付帯情報取得部44、評価式設定部45、評価値算出部46、表示制御部47、差分情報生成部48を具備する。
 医用画像取得部41は、操作部35によって入力されるユーザの操作(指示)に従って、検査情報を検索するための検索条件を取得する。ここで、検索条件とは、例えば、患者の識別子(以下、患者ID)や検査期間や検査種別である。更に、医用画像取得部41は通信IF31とLAN21を介して、データベース22から検索条件を満たす検査情報を検索する。そして、医用画像取得部41は当該検査の際に撮像された医用画像を、診断対象画像と比較画像の候補として取得する。医用画像取得部41は、例えばDICOM(Digital Imaging Communications in Medicine)規格に準拠した医用画像データを取得する。そして、医用画像取得部41は、取得した医用画像を、代表画像生成部42と付帯情報取得部44へ出力する。なお、検索条件によっては、取得した医用画像は存在しないか、或いは1つだけ存在する、または複数存在する場合があり得るが、以下では説明を簡潔にするため、取得した医用画像が複数存在する場合について説明する。
 代表画像生成部42は、医用画像取得部41が取得した複数の医用画像に対して代表画像を生成する。そして、代表画像生成部42は、生成した代表画像を表示制御部47へ出力する。代表画像の詳細については後述する。
 識別情報取得部43は、操作部35によって入力されるユーザの操作(指示)に従って、診断対象画像を識別する情報(以下、診断対象識別情報)、及び、比較画像を識別する情報(以下、比較識別情報)を取得する。そして、識別情報取得部43は、取得した診断対象識別情報を、付帯情報取得部44、評価式設定部45、及び差分情報生成部48へ出力する。また、識別情報取得部43は、取得した比較識別情報を、差分情報生成部48へ出力する。
 付帯情報取得部44は、医用画像取得部41が取得した複数の医用画像から付帯情報を取得する。そして、付帯情報取得部44は、取得した各付帯情報を評価値算出部46へ出力する。付帯情報の詳細については後述するが、付帯情報には任意の医用画像を指定または識別する情報も含まれていることを予め述べておく。
 評価式設定部45は、識別情報取得部43が取得した診断対象識別情報に基づいて、付帯情報取得部44が取得した複数の付帯情報の中から診断対象画像の付帯情報を識別し、識別した診断対象画像の付帯情報に基づいて評価式を設定する。そして、評価式設定部45は、当該評価式を評価値算出部46へ出力する。評価式の詳細については後述する。
 評価値算出部46は、付帯情報取得部44が取得した複数の医用画像の夫々の付帯情報と、評価式設定部45が設定した評価式とを用いて、各医用画像に対する評価値を算出する。そして、評価値算出部46は、算出した複数の評価値を表示制御部47へ出力する。
 表示制御部47は、代表画像生成部42が生成した複数の医用画像の夫々の代表画像を表示部36に表示する。また、操作部35によって診断対象画像を指定する情報をユーザから取得した際には、評価値算出部46が算出した複数の医用画像夫々に対する評価値に基づいて、表示部36における各医用画像の代表画像の表示形態を変更する。ここで、表示形態の変更方法には、例えば、代表画像の表示状態(表示または非表示)の変更、画像サイズの変更、強調表示の有無や強調表示方法の変更等がある。即ち、本発明に記載の情報処理装置10は、被検体に対して実施される検査において撮像された医用画像を取得する医用画像取得部41と、医用画像取得部41によって取得された医用画像の代表画像を生成する代表画像生成部42を有する。さらに、代表画像生成部42によって生成された代表画像を表示部36に表示させる表示制御部47と、医用画像取得部41によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得部44とを備える。そして、表示制御部47は、医用画像の付帯情報と診断対象画像の付帯情報とに基づいて代表画像の表示形態を設定することを特徴とする。
 差分情報生成部48は、識別情報取得部43が取得した診断対象識別情報と比較識別情報とに基づいて、診断対象画像と比較画像を取得し差分情報を生成する。
 なお、制御部37が具備する各部の少なくとも一部は、独立した装置として実現してもよい。また、夫々が機能を実現するソフトウェアとして実現してもよい。この場合、機能を実現するソフトウェアは、クラウドをはじめとするネットワークを介したサーバ上で動作してもよい。本実施形態では各部はローカル環境におけるソフトウェアにより夫々実現されているものとする。
 また、図1に示す情報処理システムの構成はあくまで一例である。例えば、情報処理装置10の記憶部34がデータベース22の機能を具備し、記憶部34が検査情報及び医用画像を保持してもよい。
 次に、図2~図8を用いて、本実施形態における制御部37による全体の処理手順を説明する。
 図2は、制御部37が行う処理手順を示すフローチャートである。
 ステップS200において、医用画像取得部41は、診断対象画像と比較画像の候補となる複数の医用画像を、データベース22から取得する。この処理では、データベース22から所望の医用画像を取得する方法として、公知のいずれの方法を用いてもよい。例えば、以下の方法で取得することができる。まず、医用画像取得部41は、ユーザの操作(指示)に従って検索条件を取得する。そして、当該検索条件を満たす検査情報をデータベース22から検索し、当該検査の際に撮像された複数の医用画像を取得する。この処理は、操作部35と表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。この処理により医用画像取得部41は、複数の医用画像をデータベース22から読み出し、情報処理装置10は、RAM33または記憶部34にこれらを記憶する。そして、ステップS210に進む。なお、本実施形態における医用画像はDICOM規格に準拠した形式で保存されているものとし、DICOMヘッダには様々な付帯情報が保存されている。ここで、付帯情報には、例えば、患者の患者ID、身長、体重等の患者の情報を含む。また、検査の識別子(以下、検査ID)、モダリティ、検査日時、照射線量、造影条件等の検査情報を含む。また、画像のスライス厚、再構成関数(より一般的に表現すれば、再構成条件)等の画像自体の属性情報を含む。さらに、患者の撮像範囲や、撮像部位、撮像の条件等の撮像に関する情報も含む。換言すると、付帯情報とは、医用画像の撮像において設定されたパラメータであると言うことができる。情報処理装置10におけるパラメータは、撮像範囲、撮像部位、撮像条件、再構成条件、スライス厚、造影条件の少なくとも一つを含むことを特徴とする。
 図3を用いて、本ステップの処理の一例を詳細に説明する。図3は、検索条件入力時の表示部36における画面例である。図3において、領域300は検索条件を入力するための領域である。また、ボタン301は検索処理の実行を指示するためのボタンである。ユーザは、操作部35を介して領域300に任意の検索条件を入力する。図3においては、検索条件に関わる項目(以下、検索項目)として、患者ID、モダリティ、撮像部位、検査日時が設定されている。そして、患者IDの検索条件として値「1000」が入力され、モダリティの検索条件として値「CT」が入力され、検査日時の検索条件として値「2010年」が入力された状態を示している。ただし、図3の検索項目及び入力された値は一例であり、本発明は本例に限定されるものではない。医用画像の付帯情報としてデータベース22に保存されている情報であれば、どのような情報を検索項目として設定してもよい。例えば、放射線の照射線量や造影条件(造影剤の投与の有無、投与量、造影剤の種類)等の検査情報を検索項目として設定してもよい。また、画像のスライス厚や再構成関数等の情報を検索項目として設定してもよい。また、各検索項目には予め決められた値を入力しておいてもよいし、ユーザが入力または変更できる仕組みを備えてもよい。また、各検索項目の値の入力方法は、自由文を入力可能な形式でユーザに入力させてもよいし、プルダウン形式で提示した複数の選択肢の中からユーザに選択させてもよい。当該選択肢としては、予め決められた選択肢を提示してもよいし、他の検索項目に入力された値に応じて適応的に(予め決められた規則に従って)変更してもよい。例えば、患者IDの検索項目に値が入力されていない時は、モダリティの検索項目のプルダウン形式の選択肢として全てのモダリティの種類を提示する。一方、患者IDの検索項目に値が入力された時は、入力された患者IDによって識別される患者に対する全検査情報をデータベース22から取得し、当該患者がこれまでに受けた検査に使用されたモダリティの種類のみを選択肢として提示する。また、検索項目に、複数の値を設定できるようにしてもよいし、値の範囲を設定できるようにしてもよい。この場合、検査日時の検索項目に、例えば、値「2010年」と値「2012年」の2つを入力することや、値の範囲「2010年から2012年まで」を入力することができるようになる。
 検索条件の入力を終了した後に、ユーザは、ボタン301を押すことで検索の実行を指示する。医用画像取得部41は、ボタン301が押された際の検索条件を取得し、当該検索条件を満たす検査情報をデータベース22から検索し、当該検査の際に撮像された医用画像を取得する。なお、検索項目として医用画像の条件が設定された場合は、取得された検査情報の中で、当該条件を満たす医用画像のみを取得する。また、検索の実行の指示方法は、ボタン301等の押下に限るものではない。例えば、特定の検索項目に値が入力された時に、検索の実行が指示されたとしてもよい。また、ユーザが検索条件を入力する度に、ユーザによる明確な指示はなくとも、医用画像取得部41は、その時点で入力済の検索条件を満たす医用画像を取得してもよい。
 ステップS210において、代表画像生成部42は、医用画像取得部41が取得した複数の医用画像をRAM33または記憶部34から読み出し、複数の医用画像の夫々に対して代表画像を生成する。そして、生成した代表画像と対応する医用画像との対応関係がわかる形式で、これらの代表画像と医用画像をRAM33または記憶部34に記憶する。ここで、代表画像とは、サムネイル画像とも呼ばれる画像を指し、対応する医用画像の概要が一見して分かるような表示形態で表示するための画像である。より具体的には、医用画像が2次元画像(一枚のスライス画像)の場合は、代表画像は、対応する医用画像そのもの、医用画像を縮小または拡大した画像、または医用画像の一部分を切り出した画像とすることができる。一方、医用画像が3次元画像(複数枚のスライス画像から構成される画像)の場合の処理について述べる。代表画像が三次元画像の場合、予め決めたスライス位置にある(例えば、先頭や中間に位置する)スライス画像、スライス画像を縮小または拡大した画像、またはスライス画像の一部分を切り出した画像とすることができる。あるいは、各スライス位置にあるスライス画像を予め決めた指標を用いて評価し、当該評価結果に基づいて決定されるスライス画像(例えば、評価結果が最大となるスライス画像)を代表画像としてもよい。この場合、例えば、当該指標を「各スライス画像中の肺の面積」とすると決めた場合は、公知の肺領域抽出技術を用いることにより、各スライス画像における肺の面積を取得できる。そして、代表画像生成部42は医用画像を構成するスライス画像中で肺の面積が最大であるスライス画像を選択し、代表画像とすることができる。
 別の例として、代表画像生成部42は医用画像を構成する複数のスライス画像の断層方向とは異なる断層方向のスライス画像を作成し、作成したスライス画像を代表画像とすることもできる。ここで、公知のMPR(Multi Planar Reconstruction)法を用いて、医用画像(Aとする)の断層方向とは異なる断層方向のスライス画像から構成される医用画像(A’とする)を作成できる。従って、断層方向が水平断(axial)のスライス画像から構成される医用画像Aから、断層方向が冠状断(coronal)または矢状断(sagittal)のスライス画像から構成される医用画像A’を作成できる。そして、冠状断(coronal)または矢状断(sagittal)の医用画像A’の中央スライス位置にあるスライス画像を、医用画像Aの代表画像としてもよい。また更に、スライス画像に様々な画像処理を施した画像を代表画像としてもよい。例えば、前述の縮小または拡大、一部分の切り出し、先鋭化処理や平坦化処理等の各種のフィルタ処理等の画像処理である。これ以外にも、医用画像から代表画像を生成する方法として、公知の任意の方法を用いることができる。
 再び、ステップS210において、表示制御部47は、代表画像生成部42が生成した複数の代表画像をRAM33または記憶部34から読み出し、検査日時が時系列順となるように代表画像を表示部36に並べて表示する。図4を用いて、本ステップの処理の一例を詳細に説明する。図4は、本ステップの処理が終了した時の表示部36の画面例である。図4にいて、領域400は、複数の代表画像を表示する領域(以下、代表画像表示領域)である。画像401~画像411は、検索の結果として得られた複数の医用画像の夫々に対応する代表画像である。この内、画像401~画像403は、2010年12月5日の検査で撮像された医用画像の代表画像である。また、画像404~画像408は、2010年6月5日の検査で撮像された医用画像の代表画像である。また、画像409~画像411は、2010年1月5日の検査で撮像された医用画像の代表画像である。図4では、検査日時に基づいて代表画像表示領域を分割しており、図の左側から右側に向かって検査日時が昇順になるように分割領域を表示している。各検査日時に撮像された医用画像の代表画像は、各検査日時用の分割領域内に表示されている。なお、図4における画面例は一例に過ぎず、本発明は本例に限定されるものではない。例えば、撮像部位に基づいて代表画像表示領域を分割し、各撮像部位が撮像された医用画像の代表画像を、各撮像部位用の分割領域内に表示してもよい。また例えば、医用画像のスライス厚や造影条件等の他の情報に基づいて代表画像表示領域を分割してもよい。代表画像の表示が完了した後は、ステップS220へ進む。
 ステップS220において、制御部37は、操作部35を介したユーザによる検索条件の変更の指示の有無を判定する。検索条件の変更の指示は、ステップS200と同様に、操作部35を介してユーザが領域300に対して任意の検索条件を入力することなどにより実施される。検索条件の変更の指示が無い場合は、ステップS230に進む。検索条件の変更の指示が有る場合は、ステップS200に戻り、変更された検索条件に基づいてステップS200及びステップS210を再び実施する。
 ステップS230において、制御部37は、操作部35を介したユーザによる診断対象画像の設定の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。具体的には、診断対象画像の設定の指示は、操作部35を介してユーザが任意の代表画像を選択した時に発生する。あるいは、ユーザが代表画像を選択した後に、ユーザが不図示の診断対象画像の設定ボタンを押した時に発生する。診断対象画像の設定の指示が無い場合は、ステップS220へ戻る。診断対象画像の設定の指示が有る場合は、識別情報取得部43は、選択した代表画像に対応する医用画像(すなわち、診断対象画像)を識別する情報として診断対象識別情報を取得する。換言すると、識別情報取得部43は、ユーザの指示に基づいて診断対象画像を指定する診断対象画像指定手段として動作する。そして、識別情報取得部43は、取得した診断対象識別情報をRAM33または記憶部34に記憶する。その後、ステップS240に進む。ここで、診断対象識別情報は、医用画像取得部41が取得した医用画像の中から診断対象画像を一意に識別するための情報であり、一意に識別できるならば、どのような情報であってもよい。例えば、医用画像がDICOM形式で保存された画像の場合、撮像した際に医用画像に対して割り振られ、DICOMヘッダに保存された固有の識別子であるシリーズIDであってもよい。また例えば、診断対象画像をRAM33または記憶部34に保存した時の保存先のメモリアドレス、フォルダパスまたはファイルパスであってもよい。なお、診断対象画像の設定の指示が有る場合は、表示制御部47を介して表示部36に表示された診断対象画像の代表画像を強調して表示してもよい。例えば、診断対象画像以外の代表画像の輪郭線を第1の色(黒色など)で表示する場合に、診断対象画像の代表画像の輪郭線だけを第2の色(赤色など)で表示してもよい。以下では、ユーザは、図4における画像401を診断対象画像として指定したと仮定して、説明を続ける。
 ステップS240において、付帯情報取得部44は、ステップS200において医用画像取得部41が取得した複数の医用画像をRAM33または記憶部34から読み出し、読み出した医用画像の夫々から付帯情報を取得する。ここで、読み出した複数の医用画像の中には診断対象画像も含まれているので、各医用画像から付帯情報を取得することによって、指定手段(操作部35)によって指定された診断対象画像の付帯情報も取得される。そして、付帯情報取得部44は、当該付帯情報を夫々の医用画像及びその代表画像と対応付けて、RAM33または記憶部34に記憶する。そして、ステップS250へ進む。なお、各医用画像の付帯情報のうち、後述するステップS250において評価式設定部45が参照する情報が、付帯情報取得部44によって取得される付帯情報に含まれていればよい。つまり、付帯情報取得部44は夫々の医用画像における全ての付帯情報を取得してもよいし、評価式設定部45が参照する付帯情報のみを取得してもよい。本実施形態においては、付帯情報取得部44は、夫々の医用画像における全ての付帯情報を取得するものとする。また、本ステップの処理は、ステップS200において検索を実行した後から、ステップS260において評価値を算出する前までの間であれば、どの時点で実施してもよい。つまり、ステップS210やステップS250の後に実施してもよいし、他のステップの処理と並行して実施してもよい。
 ステップS250において、評価式設定部45は、識別情報取得部43が取得した診断対象識別情報に基づいて、付帯情報取得部44が取得した付帯情報の中から診断対象画像の付帯情報を選び出す。そして、差分情報を生成するのに適した比較画像をユーザが選定し易くするために、評価式設定部45は、診断対象画像の付帯情報に基づいて評価式を設定する。その後、評価式設定部45は、RAM33または記憶部34に当該評価式を記憶する。そして、ステップS260に進む。ここで、当該評価式は、付帯情報の一部の項目(以下、評価式項目)を用いて、診断対象画像と評価対象となる医用画像との類似性を評価する式とする。
 本実施形態では、評価式項目として複数の項目a,b,…を扱う場合を例として説明する。例えば、診断対象画像と評価対象の医用画像との間の評価式項目aの一致・不一致を評価する評価式faを、以下のように定義する。まず、評価式項目aに関する診断対象画像の付帯情報をAa、評価対象の医用画像の付帯情報をBaとする。そして、評価式設定部45は、AaとBaが一致した場合は評価値としてTを算出し、不一致の場合は評価値としてFを算出する評価式faを、式1の通り記述するものとする。なお、Tの値はFの値より大きな値とする。
fa(Aa,Ba)=IF(Aa=Ba,T,F)・・・(式1)
 評価式設定部45は、式1と同様に、評価式項目として設定される複数の項目a,b,…の夫々に対して、評価式fa,fb,…を設定する。そして、評価式設定部45は、全評価式を統合した最終的な評価式F(A,B)を設定する。ここで、Aは、評価に用いる全ての評価式項目に関する診断対象画像の付帯情報(すなわち、A={Aa,Ab,…})を表す。同様に、Bは、評価に用いる全ての評価式項目に関する評価対象の医用画像の付帯情報(すなわち、B={Ba,Bb,…})を表す。評価式項目毎の評価式を統合する方法としては、例えば各評価式により算出した値の「合計」、「平均」などがある。例えば、評価式項目としてa,b,cを設定し、評価式項目毎の評価式を統合する方法として「合計」を設定する場合には、最終的な評価式F(A,B)は式2となる。
F(A,B)=fa(Aa,Ba,)+fb(Ab,Bb)+fc(Ac,Bc)・・・(式2)
 ここで、評価式設定部45が診断対象画像の付帯情報(A)を式2に代入することは、夫々の医用画像が比較画像として適しているかを評価する評価式を、診断対象画像の付帯情報に基づいて設定していることに相当する。もちろん、式1及び式2に示した評価式は一例であり、本発明は本例に限定されるものではない。例えば、最終的な評価式において、各評価式項目に関する評価式の夫々に重みを設定してもよい。例えば、評価式項目aに関する評価式の重みをWa、評価式項目bに関する評価式の重みをWb、評価式項目cに関する評価式の重みをWcと設定する場合の評価式は式3となる。
F(A,B)=Wa・fa(Aa,Ba)+Wb・fb(Ab,Bb)+Wc・fc(Ac,Bc)・・・(式3)
 また、条件を満たすことが必須の評価式項目がある場合には、それ以外の評価式項目の和(式2)や加重和(式3)を求めた後に、必須の評価式項目に関する評価値を更に積算するようにしてもよい。これによると、条件を満たすことが必須の評価式項目の評価値が0の場合に、最終的な評価値を0とすることができる。
 なお、上記の例では、診断対象画像の付帯情報と評価対象の医用画像の付帯情報が一致するか否かに基づく評価式(式1)を用いる場合について説明したが、本発明の実施例はこれに限らない。例えば、診断対象画像の付帯情報と評価対象の医用画像の付帯情報との大小関係に基づいた評価式を用いてもよい。例えば式4のように、AaがBaより大きい場合は評価値としてTを算出し、小さい場合はFを算出してもよい。
fa(Aa,Ba)=IF(Aa>Ba,T,F)・・・(式4)
 また、診断対象画像の付帯情報と評価対象の医用画像の付帯情報との類似度(各情報を多次元情報空間におけるベクトルで表現した場合のベクトル間の距離)に基づいた評価式としてもよい。例えば式5のように、AaとBaが類似した値であるほど評価値が高くなる評価式を用いてもよい。なお、|Aa-Ba|は、付帯情報AaとBaの夫々をベクトル表現した場合の2つのベクトル間のユークリッド距離を示す。
fa(Aa,Ba)=1/|Aa-Ba|・・・(式5)
 以上の説明では、各評価式項目の評価の方法として、式1、式4、式5に具体例を示した。本発明の実施例としては、複数の評価式項目の夫々に関する評価式として、上記何れか1つの評価方法だけを用いても良いし、評価式項目毎に異なる評価方法を用いても良い。例えば、評価式項目aに関する評価式に式1を用い、評価式項目bに関する評価式に式4を用い、評価式項目cに関する評価式に式5を用いてもよい。なお、画像間の付帯情報の一致度を定義する評価式として、上記以外の、2つのデータ間の距離や類似度を算出する公知の任意の方法を用いてもよい。
 ここで、より具体的な例を用いて、本ステップにおける評価式の設定方法について説明する。ここでは、評価式項目として、a:スライス厚、b:再構成関数、c:造影条件、の3つの項目を用いる場合を例として説明する。まず、各評価式項目に関する評価式では、評価値Tとして値1、評価値Fとして値0を設定するものとする。そして、各評価式項目における評価方法として、式1を用いるものとする。また、全評価式項目の評価式を統合する方法として「合計」を用いるものとする。また更に、ステップS240において、評価式設定部45が取得した診断対象画像の付帯情報Aa,Ab,Acは、夫々次の値であるものとする。
Aa(スライス厚):1.0mm
Ab(再構成関数):FC51という文字列によって識別される再構成関数
Ac(造影条件):造影剤を使用し(造影有)、かつ造影状態が平衡相である
 上述の例では、本ステップにおいて設定される最終的な評価式は、式6となる。
F(A,B)=IF(1=Ba,1,0)+IF(“FC51”=Bb,1,0)+IF(“造影有、平衡相”=Bc,1,0)・・・(式6)
 ステップS260において、評価値算出部46は、付帯情報取得部44が取得した付帯情報と、評価式設定部45が設定した評価式とを読み出す。そして、評価値算出部46は、比較画像の候補である夫々の医用画像における付帯情報を当該評価式に代入し、夫々の医用画像に対する評価値を算出する。そして、評価値算出部46は、RAM33または記憶部34に、算出した評価値を夫々の医用画像及びその代表画像の少なくとも一方に対応付けて記憶する。その後、ステップS270へ進む。即ち、情報処理装置10は、医用画像の付帯情報と診断対象画像の付帯情報に基づく評価値を取得する評価値取得手段を備える。なお、診断対象画像に対する評価値は必ずしも算出しなくともよい。例えば、比較画像の候補に加える必要のない医用画像がある場合は、それらの医用画像に対する評価値は算出しなくともよい。具体例としては、診断対象画像と同じ検査において撮像された医用画像に対する評価値は算出しなくともよい。また、評価式項目として設定された付帯情報の項目を有さない医用画像に対しては、評価値を算出しなくともよい。
 以下の説明では、図4の例において、画像401~画像411の代表画像に対応する医用画像のスライス厚、再構成関数、造影条件の付帯情報が、夫々、表1の左から2列目、3列目、4列目に示す通りであるものとする。また、夫々の医用画像に対する評価値は、対応する付帯情報を式6に代入することにより算出されるものとする。このとき、夫々の医用画像に対して算出される評価値は、表1の左から5列目に示す通りである。
Figure JPOXMLDOC01-appb-T000001
 ステップS270において、表示制御部47は、評価値算出部46が算出した夫々の医用画像に対する評価値を取得し、診断対象画像及び他の医用画像に対応する代表画像の表示部36における表示形態を、当該評価値に基づいて変更する。例えば、各代表画像の表示状態(表示または非表示)、画像サイズ、強調表示の有無や強調表示方法などを変更する。ここで、診断対象画像の付帯情報と他の医用画像の付帯情報とが類似するか否かを区別可能な形態で表示できれば、表示形態の変更方法は問わない。類似判定は、例えば上述までの評価式が所定の値を超えるか否かによって類似する、類似しないを判定してもよいし、いくつかの項目(パラメータ)の一致した数が所定の数を超えるか、超えないかにより判定されてもよい。そして表示形態の変更後に、ステップS280へ進む。
 以上説明した通り、情報処理装置10は、被検体に対して実施される検査において撮像された医用画像を取得する医用画像取得部41と、医用画像の代表画像を生成する代表画像生成部42を有する。さらに代表画像生成部42によって生成された代表画像を表示部に表示させる表示制御部47と、医用画像取得部41によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得部44とを備える。さらに、表示制御部47は、診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、診断対象画像の付帯情報に類似しないまたは類似性の低い付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする。診断対象画像は、ユーザの指示に基づき設定してもよいし、デフォルトの設定として、検査日が最新の画像が設定されてもよい。また、表示制御部47は、各医用画像の付帯情報と診断対象画像の付帯情報との類似性を表す、夫々の医用画像の評価値に基づいて、医用画像に対応する代表画像の表示形態を設定する。例えば、評価値の大きさに比例して画像サイズを変更してもよい。また、評価値(類似性)が一定以上のものを表示し、一定以下のものを非表示に設定してもよい。また、類似性を示す指標を代表画像に付帯させて表示してもよい。つまり、情報処理装置10における表示制御部47は、医用画像の付帯情報と診断対象画像の付帯情報の類似性に基づいて、医用画像に対応する代表画像の表示形態を設定することを特徴とする。例えば、情報処理装置10における表示制御部47は、医用画像の付帯情報と診断対象画像の付帯情報が類似している場合に、医用画像に対応する代表画像を表示する。そして、医用画像の付帯情報と診断対象画像の付帯情報が類似していない場合に、医用画像に対応する代表画像を非表示とすることを特徴とする。
 以下では、図5~図8及び表1を用いて、代表画像の表示形態の変更方法について詳細に説明する。なお、以下で説明する各表示形態の変更方法はあくまで一例であり、本発明はこれらの変更方法に限られるものではない。
 表示制御部47における代表画像の表示形態の変更方法の一例である第1の変更方法として、所定の評価基準を満たす医用画像の代表画像のみを表示する場合について説明する。ここで、評価基準とは、代表画像の表示形態を変更するために、評価値を評価するための基準である。即ち、情報処理装置10は、評価値取得手段により取得された評価値が所定の評価基準を満たす医用画像に対応する代表画像を表示し、評価値取得手段により取得された評価値が所定の評価基準を満たさない医用画像に対応する代表画像を非表示とする。図5は、評価基準を「評価値が2以上」として、第1の変更方法を実施した場合の表示部36における画面例である。この例では、表1より、「評価値が2以上」の医用画像の代表画像は画像401、画像404、画像406、画像407、画像409、画像411のみであるため、それ以外の代表画像は表示部36に表示しない(非表示にする)。また、図5に示すように、一部の代表画像が非表示となった場合、画面上の非表示領域(余白)が増えるため、ユーザにとって視認性が低下する可能性がある。そこで、表示制御部47は、非表示領域(余白)を減少させるように、代表画像の配置を変更してもよい。代表画像の配置を変更した場合の画面例を図6に示す。なお、評価基準は、基準を満たす評価値と基準を満たさない評価値を区別できるものであればどのような基準でもよい。例えば、「評価値が所定値以下」を評価基準としてもよいし、「評価値が所定の範囲内」を評価基準としてもよい。また、評価値に対して固定の閾値を設定せずに、表示部36に表示する代表画像の数が所定の基準を満たすような評価基準を設定してもよい。例えば、「評価値が大きい順に所定数の代表画像を選ぶ」ことを評価基準としてもよい。また、評価基準は予め固定値を定めてもよいし、ユーザが自由に指定(変更)できる仕組みを備えてもよい。
 次に、代表画像の表示形態の変更方法の一例である第2の変更方法として、表示制御部47が所定の評価基準を満たす医用画像の代表画像を強調して表示する場合について説明する。図7は、評価基準を「評価値が2以上」として、第2の変更方法を実施した場合の表示部36における画面例である。この例では、表1より、「評価値が2以上」の医用画像の代表画像である画像401、画像404、画像406、画像407、画像409、画像411の枠を相対的に太く表示している。なお、代表画像を強調する方法はどのような方法であってもよい。例えば、表示制御部47が代表画像の枠の色を変更してもよいし、代表画像の大きさを相対的に大きくしてもよい。更には、表示制御部47は評価基準を満たす医用画像に対応する代表画像であることが認識可能な情報(文字列やマーク等)を、当該代表画像上や当該代表画像の近傍に表示させてもよい。また、ステップS230で指定した診断対象画像の代表画像は、診断対象画像以外の代表画像とは異なる方法により強調してもよい。例えば、表示制御部47は診断対象画像の代表画像の枠の色と、診断対象画像以外の代表画像の枠の色とを変えてもよい。
 更に、表示制御部47は評価基準を満たさない医用画像に対応する代表画像を、評価基準を満たす医用画像に対応する代表画像が相対的に強調されるような表示形態に変更してもよい。例えば、評価基準を満たさない医用画像に対応する代表画像をグレーアウト(他よりも目立たない色調で表示)してもよいし、当該代表画像の大きさを相対的に小さくしてもよい。更には、評価基準を満たさない医用画像に対応する代表画像であることが認識可能な情報(文字列やマーク等)を、当該代表画像上や当該代表画像の近傍に表示させてもよい。
 次に、代表画像の表示形態の変更方法の一例である第3の変更方法として、夫々の検査日時の医用画像における代表画像を、表示制御部47が算出された評価値が大きい順に並べて表示する場合について説明する。図8は、第3の変更方法を実施した場合の表示部36における画面例である。この例では、検査日時が2010年12月5日の検査の際に撮像された医用画像の代表画像である画像401~画像403において、対応する評価値の大小関係は、表1より画像401>画像402=画像403である。従って、画像401~画像403は、上から下に向かって画像401、画像402、画像403の順に並べる。同様に、画像404~画像408における評価値の大小関係は、画像406>画像404=画像407>画像405=画像408である。従って、画像404~画像408は右上から左下に向かって画像406、画像404、画像407、画像405、画像408の順に並べる。同様に、画像409~画像411における評価値の大小関係は、画像411>画像409>画像410である。従って、画像409~画像411は、上から下に向かって画像411、画像409、画像410の順に並べる。なお、代表画像の並び順は、評価値の大きさに基づくものであればどのような順でもよい。例えば、表示制御部47は評価値の小さい順に並べてもよいし、特定の評価値に近い順に並べてもよい。また、表示制御部47は検査日時毎に代表画像を分けて表示するのではなく、全ての検査日時における全ての代表画像に対して(検査日時とは無関係に)並び順を決定し、当該並び順に従って並べてもよい。また、表示制御部47は評価基準を満たす医用画像を含む検査情報が診断対象画像のより近くに表示されるように、初期状態では時系列順に並んでいる検査情報の並び順を変更してもよい。例えば、2010年6月5日の検査よりも2010年1月5日の検査のほうが、より大きい評価値の医用画像を含んでいる場合がある。この場合には表示制御部47は、2010年1月5日の検査の代表画像を表示している部分領域と、2010年6月5日の検査の代表画像を表示している部分領域の表示位置を入れ替えてもよい。
 次に、代表画像の表示形態の変更方法の一例である第4の変更方法として、表示制御部47が評価値の大きさに応じた表示形態となるように、代表画像の表示形態を変更する場合について説明する。制御部37は、予め評価値毎に代表画像の表示形態を定めておく。そして表示制御部47は、診断対象画像が選択された場合に、評価値毎に定められた表示形態となるように、代表画像の表示形態を変更する。例えば、表示制御部47は、代表画像の枠の色を、「評価値が1」である場合は青色、「評価値が2」である場合は黄色、「評価値が3」である場合は赤色に変更する。このように段階的に表示形態が変更できるのであれば、どのような表示形態であっても構わない。例えば、評価値毎に枠線の太さを変えるようにしてもよい。また、表示制御部47は、代表画像上や代表画像の近傍に、当該代表画像に対応する評価値に関する情報(評価値自体(「1」「2」「3」「4」等)や評価値毎に予め定められた記号(「◎」「○」「△」「×」等)や文字列等)を表示してもよい。
 また、表示形態を変更した後に、以前の(表示形態を変更する前の)表示形態に戻れるようにしてもよい。例えば、ユーザが不図示のリセットボタンを押すことにより、公知のUndo(直前に実行した機能の実行の取り消し)機能を用いて表示形態を変更する直前の表示形態(すなわち、図4の状態)に戻れるようにしてもよい。
 また、表示制御部47は、前述した各変更方法のうち、ユーザによって選択された変更方法を用いて、代表画像の表示形態を変更してもよい。例えば、表示制御部47は、各変更方法に対応する不図示のボタンを画面に表示し、ユーザによって押されたボタンに対応する変更方法で、代表画像の表示形態を変更すればよい。
 更に、前述した各変更方法を組み合わせてもよい。例えば、第1の変更方法と第2の変更方法を組み合わせてもよい。例えば、表示制御部47は、「評価値が2以上」の医用画像に対応する代表画像のみを表示すると共に、「評価値が3以上」の医用画像に対応する代表画像の枠を相対的に太く表示してもよい。また、第2の変更方法と第3の変更方法を組み合わせてもよい。例えば、評価基準を満たす医用画像の代表画像を強調して表示すると同時に、評価値に応じた順番で医用画像の代表画像を並べ替えるようにしてもよい。
 ステップS280において、制御部37は、操作部35を介したユーザによる比較画像の設定の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザから操作を受け付ける(ユーザの指示を入力する)ことで実行される。具体的には、比較画像の設定の指示は、操作部35を介して任意の代表画像をユーザが選択することなどにより実施される。また、代表画像を選択した後に、不図示の比較画像の設定ボタンを選択することで実施されてもよい。比較画像の設定の指示が有る場合は、識別情報取得部43は、指定された代表画像が表す医用画像の識別情報を、比較識別情報として取得し、情報処理装置10は、RAM33または記憶部34にこれを記憶する。そして、ステップS290へ進む。なお、比較画像として診断対象画像と同じ画像が選択された場合は、ステップS220へ戻るようにしてもよいし、表示制御部47が警告を促す文章を表示部36に表示してもよい。また、比較画像として診断対象画像と同じ画像を選択できないGUIを提供してもよい。比較識別情報は、医用画像取得部41が取得した医用画像の中から、比較画像を識別できる情報であればどのような情報であってもよい。例えば、診断対象識別情報と同様に、DICOMヘッダに保存された固有の識別子であるシリーズIDであってもよいし、比較画像をRAM33または記憶部34に保存した時の保存先のメモリアドレス、フォルダパスまたはファイルパスであってもよい。比較画像の設定の指示が無い場合は、ステップS220へ戻る。
 ステップS290において、差分情報生成部48は、診断対象識別情報と比較識別情報とに基づいて、診断対象画像と比較画像とを読み出し、差分情報を生成する。そして、情報処理装置10は、RAM33、記憶部34またはデータベース22などに差分情報を記憶し、本実施形態における処理を終了する。本実施形態においては、差分情報として診断対象画像と比較画像との間の差分画像を生成する。差分画像は、公知の位置合わせ技術と差分処理技術によって生成するが、従来技術であるため、本実施形態では説明を省略する。なお、差分画像等の差分情報の生成は必須ではなく、診断対象識別情報と比較識別情報を(あるいは、診断対象画像と比較画像の画像データ自体を)外部に出力し、その情報に基づいて、外部の処理装置が差分画像等の差分情報を生成する構成であってもよい。
 以上のように、本実施形態に係る情報処理装置によれば、以下の効果を得られる。つまり、データサーバに大量の医用画像が蓄積されている場合でも、ユーザによって指定された診断対象画像の付帯情報と比較画像の候補となる医用画像の付帯情報との類似性に基づいて、比較画像の候補となる医用画像の表示形態が変更される。これにより、診断対象画像と比較するのに適した医用画像(比較画像の候補)の視認性が大幅に向上するため、比較画像をユーザが容易に選択することができる。
 (変形例1-1)
 第1の実施形態では、評価式設定部45が設定する評価式における評価式項目が、付帯情報の項目である場合について説明した。しかし、本発明はこれに限らない。
 例えば、評価式設定部45における評価式項目として、画質を設定してもよい。評価式設定部45は公知の画像処理技術によって、評価対象の医用画像または診断対象画像の画質を評価し、画質の水準に応じて異なる評価値を与える評価式を設定してもよい。
 また別の例では、評価式設定部45における評価式項目として、診断対象画像の撮像範囲と評価対象の医用画像の撮像範囲とが重複する領域(以下、重複領域)の大きさに基づいて設定してもよい。評価式設定部45は公知の画像処理技術によって、診断対象画像の撮像範囲と評価対象の医用画像の撮像範囲との重複領域の大きさを評価し、重複領域の大きさに応じて異なる評価値を与える評価式を設定してもよい。また、後述する第3の実施形態のように複数の比較画像を選択する場合には、評価式設定部45は診断対象画像との重複領域は大きいが既に選択された比較画像との重複領域が小さい評価対象の医用画像に対して、大きい評価値を与える評価式を設定してもよい。
 (変形例1-2)
 第1の実施形態では、ユーザの操作(指示)に従って、ステップS200において医用画像取得部41は検索条件を取得し、ステップS230において識別情報取得部43は診断対象識別情報を取得した。しかし、検索条件及び診断対象識別情報の取得の方法は、これに限らず、公知の検査情報の検索用のGUIと連携してもよい。
 つまり、ユーザが一覧表示された代表画像から1つの画像を選択した後に、制御部37が本実施形態の情報処理を実行するようにしてもよい。その場合、図2におけるステップS200では、医用画像取得部41は、予め定めた検索項目に対応する検索条件を、選択した代表画像に対応する医用画像の付帯情報に基づいて取得する。そして、当該検索条件を満たす検査情報をデータベース22から検索し、当該検査の際に撮像された医用画像を取得する。また、ステップS230では、識別情報取得部43は、選択した代表画像に対応する医用画像を診断対象画像として設定する。
 本変形例によれば、ユーザが日常的に使用している検査情報の検索用のGUIなど、任意の外部機器と連携することができるため、ユーザにとっての使用性が向上する。
 (変形例1-3)
 第1の実施形態におけるステップS230及びステップS280において、ユーザは診断対象画像及び比較画像を選択し設定する。診断対象画像及び比較画像の選択では、候補となる医用画像の詳細な観察が必要となる場合がある。従って、本実施形態において医用画像の観察用の機能を使用可能としてもよい。また、本実施形態は画像表示装置(画像Viewerとも呼ばれる)と連携してもよい。
 例えば、制御部37は、操作部35を介したユーザによる代表画像の選択の指示の有無を判定し、選択の指示が有る場合には画像表示装置の各種機能を動作させてもよい。この場合、選択された代表画像に対応する医用画像を画像表示装置に表示させてもよい。この処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。そして、ユーザは画像表示装置が有する各種機能を用いて当該医用画像を詳細に観察する。
 また別の例では、表示部36における代表画像の表示領域に対して医用画像の観察用の各種機能を使用可能とし、代表画像に対応する医用画像を詳細に観察できるようにしてもよい。
 本変形例によれば、ユーザは診断対象画像及び比較画像の候補となる医用画像の詳細な観察が可能となるため、より適切に診断対象画像及び比較画像を選択することができる。
 なお、上述した変形例1-1乃至変形例1-3は、後述する第2乃至第5の実施形態にも適用可能であり、これらもまた本発明の実施形態となりうる。
 [第2の実施形態]
 第1の実施形態では、選択する診断対象画像の数が1つの場合について説明した。この場合、複数の診断対象画像に対して差分情報を生成するためには、第1の実施形態に示す処理手順を複数回実施する必要があり、手間がかかるという課題があった。本実施形態では、複数の診断対象画像に対して、効率的に差分情報を生成する方法について説明する。
 ステップS200~ステップS220の処理は第1の実施形態と同等である。
 ステップS230において、ユーザは操作部35を介して、診断対象画像として、複数の代表画像を指定する。このとき、識別情報取得部43は、選択された夫々の代表画像に対応する医用画像を識別する情報を、診断対象識別情報として取得する。本実施形態では、図4における画像401と画像406が選択されたものとする。
 ステップS240の処理は、第1の実施形態と同等である。
 ステップS250において、評価式設定部45は、付帯情報取得部44が取得した付帯情報の中から複数の診断対象画像の夫々の付帯情報を読み出す。次に、読み出した夫々の付帯情報に基づいて評価式を設定する。その後、評価式設定部45は、夫々の評価式を統合して、評価対象の医用画像を評価するための最終的な評価式を設定する。例えば、夫々の診断対象画像に関する評価式の「合計」を、最終的な評価式とする。例えば、診断対象画像が二つある場合であれば、評価式設定部45は、評価式F(A1,A2,B)を、式7のように設定する。
F(A1,A2,B)=F(A1,B)+F(A2,B)・・・(式7)
 ここで、Ai(i=1,2)は、i番目の診断対象画像の付帯情報を表す。
 ステップS260~ステップS280の処理は、第1の実施形態と同等である。本実施形態においては、比較画像(医用画像)として画像411が選択されたものとする。
 ステップS290において、差分情報生成部48は、夫々の診断対象識別情報と比較識別情報とに基づいて、夫々の診断対象画像と比較画像(医用画像)とを読み出し、夫々の差分情報を生成する。本実施形態では、差分情報生成部48は、画像401の代表画像に対応する医用画像と画像411の代表画像に対応する医用画像の差分画像と、画像406の代表画像に対応する医用画像と画像411の代表画像に対応する医用画像の差分画像とを生成する。すなわち、情報処理装置10は、表示部36に表示された代表画像を指定する指定手段(操作部35)と、指定された代表画像に対応する医用画像と診断対象画像との差を描出する差分画像を生成する差分情報生成部48を有する。
 本実施形態によれば、第1の実施形態で示した一連の処理手順を複数回行うことなく、複数の診断対象画像に対する差分情報を生成することができるため、ユーザの手間を低減させることができる。
 [第3の実施形態]
 第1の実施形態では、選択する比較画像の数が1つの場合について説明した。この場合、複数の比較画像に対して差分情報を生成するためには、第1の実施形態に示す処理手順を複数回実施する必要があり、手間がかかるという課題があった。本実施形態では、複数の比較画像に対して、効率的に差分情報を生成する方法について説明する。なお、第2の実施形態は診断対象画像が複数の場合の実施形態であり、本実施形態は比較画像が複数の場合の実施形態である。
 第1の実施形態では、ステップS280において、比較画像の設定の指示が有る場合は、識別情報取得部43は比較識別情報を取得し、ステップS290へ進む場合を例として説明した。本実施形態では、ステップS280において、比較画像の設定の指示が有る場合は、制御部37は、続いて差分情報の生成の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。例えば、ユーザが比較画像を選択した後に、不図示の差分情報生成ボタンを選択する(押す)ことで実行される。差分情報の生成の指示が有る場合は、識別情報取得部43は比較識別情報を取得し、ステップS290へ進む。差分情報の生成の指示が無い場合は、ステップS250へ戻る。
 比較画像の選択後のステップS250では、評価式設定部45は、付帯情報取得部44が取得した付帯情報の中から診断対象画像と比較画像の付帯情報を読み出す。そして、診断対象画像と比較画像との両方の付帯情報に基づいた評価式を設定する。つまり、評価式設定部45は、評価式項目に対して、診断対象画像における評価式と比較画像における評価式を夫々設定し、夫々の評価式を統合して、評価対象の医用画像を評価するための最終的な評価式とする。評価式を統合する方法としては、例えば「合計」、「平均」などがある。例えば、評価式項目としてa、b、cの3つの付帯情報が設定され、評価式を統合する方法として「合計」が設定された場合について説明する。評価式項目aに関する診断対象画像の付帯情報をAa、比較画像の付帯情報をCaとし、評価対象の医用画像の付帯情報をBaとする。そして、評価式設定部45は、AaとBaが一致した場合は評価値Tを算出し、不一致の場合は評価値Fを算出する評価式を構築する。また、評価式設定部45は、CaとBaが一致した場合評価値Tを算出し、不一致の場合は評価値Fを算出する評価式を構築する。そして、それらを統合した最終的な評価式F(A,C,B)を式8として設定する。
F(A,C,B)=WAa・fa(Aa,Ba)+WCa・fa(Ca,Ba)+WAb・fb(Ab,Bb)+WCb・fb(Cb,Bb)+WAc・fc(Ac,Bc)+WCc・fc(Cc,Bc)・・・(式8)
 なお、WAa、WCa、WAb、WCb、WAc、WCcは、各評価式に関する重み係数である。
 もちろん、本実施形態における評価式は一例であり、本発明はこれに限定されない。特に、複数の比較画像を選択する場合は、診断対象画像と比較画像との類似性よりも、比較画像同士の類似性の方が、重要な場合がある。その場合は、例えば、診断対象画像に対する付帯情報をもとに設定される評価式と、比較画像に対する付帯情報をもとに設定される評価式とで、夫々異なる重みを設定してもよい。また、比較画像の選択後であっても、比較画像の選択前と同じ評価式を用いるようにしてもよい。この場合、第1の実施形態と同様に、診断対象画像の付帯情報との類似性にのみ基づいて、夫々の医用画像の評価値が算出される。すなわち、比較画像を選択する前後で、夫々の医用画像の評価値は変化しない。診断対象画像と、夫々の比較画像との比較を個別に行いたい場合(例えば、診断対象画像と夫々の比較画像との差分画像を個別に生成して観察したい場合)には、評価式を変更しないこの方法が望ましい。
 比較画像の選択後のステップS260において、評価値算出部46は、付帯情報取得部44が取得した付帯情報と評価式設定部45が比較画像の選択後に設定した評価式とを読み出す。そして、評価値算出部46は、夫々の医用画像における付帯情報を当該評価式に代入し、夫々の医用画像に対する評価値を算出する。なお、算出した評価値はそのまま夫々の医用画像に対する評価値として保持してもよいし、比較画像の選択前のステップS260によって算出された評価値と統合して保持してもよい。また、比較画像の選択前のステップS270において、非表示となった代表画像が存在する場合は、当該代表画像に対応する医用画像に対しては、評価値を算出しなくともよい。
 比較画像の選択後のステップS270の処理は、第1の実施形態と同様であるため、説明を省略する。
 比較画像の選択後のステップS280において、新たな比較画像の設定の指示が有る場合は、続いて差分情報の生成の指示の有無を判定する。差分情報の生成の指示が有る場合は、識別情報取得部43は夫々の比較画像における比較識別情報を取得し、ステップS290へ進む。差分情報の生成の指示が無い場合は、ステップS250へ戻り、同様の処理を繰り返す。
 ステップS290において、差分情報生成部48は、診断対象識別情報と夫々の比較識別情報とに基づいて、診断対象画像と夫々の比較画像とを読み出し、夫々の差分情報を生成する。このとき、夫々の比較画像に対して得られる複数の差分情報を統合して一つ差分情報を生成してもよいし、夫々の差分情報を個別に保持してもよい。差分情報が差分画像の場合、複数の差分画像を統合した差分画像を生成するようにしてもよい。なお、差分画像の統合は、画像を合成する公知の方法を用いてもよい。
 本実施形態によれば、第1の実施形態で示した一連の処理手順を複数回行うことなく、複数の比較画像に対する差分情報を生成することができるため、ユーザの手間を低減させることができる。
 [第4の実施形態]
 第1の実施形態では、評価式設定部45が設定する評価式における評価式項目は予め定めされているものとして説明した。本実施形態における情報処理装置では、ユーザの指示に基づいて評価式項目を設定または変更する。
 図9に、第4の実施形態における情報処理装置10の構成例を示す。第1の実施形態における情報処理装置10の構成例(図1)と比べると、評価式項目取得部49が追加されている点が異なる。図9において、評価式設定部45と評価式項目取得部49以外の各構成部は、図1における各構成部と同様であるため、説明を省略する。
 評価式項目取得部49は、操作部35によって入力されるユーザの指示に従って、評価式項目を取得する。そして、評価式項目取得部49は、取得した評価式項目を評価式設定部45へ出力する。
 評価式設定部45は、第1の実施形態における評価式設定部45と同様の処理を行うが、評価式項目取得部49が取得した評価式項目に基づいて評価式を設定する点が、第1の実施形態とは異なる。
 次に、図10~12を用いて、第4の実施形態における制御部37による全体の処理手順を説明する。
 図10は、制御部37が行う処理のフローチャートである。
 ステップS1000からステップS1040までの処理は、第1の実施形態のステップS200からステップS240と同様であるため、説明を省略する。
 ステップS1050において、制御部37は、操作部35を介したユーザによる評価式項目の設定の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。評価式項目の設定の指示は、操作部35を介して任意の評価式項目を選択することにより実施される。また、評価式項目を選択した後に、不図示の評価式項目の設定ボタンを選択する(押す)ことで実施されてもよい。評価式項目の設定の指示が無い場合は、ステップS1100へ進む。なお、この場合に、ステップS1100において比較画像の選択の指示が無い場合であって、ステップS1020及びステップS1030において検索条件及び診断対象画像の変更の指示が無い場合は、ステップS1040の処理を実施しなくともよい。評価式項目の設定の指示が有る場合は、評価式項目取得部49は評価式項目を取得する。そして、情報処理装置10は、RAM33または記憶部34に評価式項目を記憶する。そしてステップS1060に進む。
 以下、図11を用いて具体的に説明する。図11は、評価式項目の設定終了時の表示部36における画面の一例である。図11におけるボタン110~ボタン114は、評価式項目の候補となる項目に対応したボタンである。ボタン110は「スライス厚」に対応するボタンであり、ボタン111は「再構成関数」に対応するボタンであり、ボタン112は「造影条件」に対応するボタンである。また、ボタン113は「撮像範囲」に対応するボタンであり、ボタン114は「画素サイズ」に対応するボタンである。図11は、評価式項目として、ユーザ指示によりボタン110、ボタン111、ボタン112が選択されている状態を表している。ここでは、ボタンの表示色を変えることで、選択された評価式項目のボタンが識別できる表示形態とする場合を例として表している。もちろん、図11における表示部36の表示形態は一例であり、本発明の実施は本例に限定されない。例えば、評価式項目の入力は、自由文を入力可能な形式でユーザに入力させてもよいし、プルダウン形式で提示した複数の選択肢の中からユーザに選択させてもよい。当該選択肢は、予め設定した評価式項目の候補を選択肢として提示してもよいし、他の評価式項目における入力に応じて順次変更するようにしてもよい。また、評価式項目の候補は予め設定しておいてもよいし、ユーザが後から追加または変更できる仕組みを備えるようにしてもよい。さらには、第1の実施形態における式3のWa、Wb、Wcとして説明した各評価式項目における重要度や優先度を設定できるようにしても良い。また、第1の実施形態において、式1、式4、式5として例示した、各評価式項目に関する診断対象画像の付帯情報と評価対象の付帯情報との評価方法を設定できるようにしてもよい。また、各評価式を統合する方法を設定できるようにしてもよい。また、第2の実施形態や第3の実施形態のように、複数の診断対象画像または複数の比較画像が選択される場合には、夫々の診断対象画像または比較画像に対して、異なる評価式項目等を設定できるようにしてもよい。また、図12に示すように、設定可能な項目を1画面にまとめた設定用の画面を表示部36に表示し、ユーザが設定できる仕組みを備えてもよい。
 ステップS1060において、評価式設定部45は、識別情報取得部43が取得した診断対象識別情報に基づいて、付帯情報取得部44が取得した付帯情報の中から診断対象画像の付帯情報を選び出す。また、評価式項目取得部49が取得した評価式項目をRAM33または記憶部34から読み出す。そして、評価式設定部45は、診断対象画像の付帯情報と当該評価式項目とに基づいた評価式を設定する。情報処理装置10は、RAM33または記憶部34に当該評価式を記憶する。そして、ステップS1070に進む。
 例えば、図12の画面例に例示した通りにユーザが評価式項目を設定した場合を仮定する。また、評価式設定部45が取得した診断対象画像の付帯情報として、スライス厚は1.0mm、再構成関数はFC51という文字列によって識別される再構成関数、造影条件は造影剤を使用し(造影有)、かつ造影状態が平衡相、という情報が取得されたとする。この場合、本ステップによって設定される評価式は、式9となる。
F(A,B)=1・IF(1>Ba,1,0)+1・IF(“FC51”=Bb,1,0)+2・IF(“造影有、平衡相”=Bc,1,0)・・・(式9)
 ステップS1070及びステップS1080の処理は、第1の実施形態のステップS260及びステップS270と同様であるため、説明を省略する。
 ステップS1090において、制御部37は、操作部35を介したユーザによる評価式項目の設定の変更の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。評価式項目の変更の指示は、操作部35を介して任意の評価式項目を変更することにより実施される。また、評価式項目を変更した後に、不図示の評価式項目の設定ボタンを押すことで実施されてもよい。評価式項目の変更の指示が無い場合は、ステップS1100へ進む。評価式項目の設定の指示が有る場合は、評価式項目取得部49は変更された評価式項目を取得する。そして、情報処理装置10は、RAM33または記憶部34に変更された評価式項目を記憶する。そしてステップS1060に進む。ユーザによる評価式項目の設定の変更の指示は、ステップS1050における評価式項目の設定の指示と同様の方法により実現できる。
 ステップS1100及びステップS1110における処理は、第1の実施形態のステップS280及びステップS290と同様であるため、説明を省略する。
 以上のように、本実施形態に係る情報処理装置によれば、以下の効果を得られる。つまり、評価式項目をユーザが任意に設定できるため、好適な比較画像を容易に選択することができる。
 [第5の実施形態]
 第1の実施形態の変形例1-1において、診断対象画像と評価対象の医用画像との撮像範囲の重複領域に基づいて評価値を算出する場合の例を説明した。この場合、診断対象画像または評価対象の医用画像の撮像範囲に対する当該重複領域の位置及び大きさは、適切な差分情報を生成するために重要である。第5の実施形態における情報処理装置では、診断対象画像と評価対象の医用画像との撮像範囲の重複領域を容易に確認できる情報をユーザに提示する。
 図13に、第5の実施形態における情報処理装置10の構成例を示す。第1の実施形態における情報処理装置10の構成例(図1)と比べると、重複領域算出部40が追加されている点が異なる。図13において、医用画像取得部41、識別情報取得部43、表示制御部47、及び重複領域算出部40の4つの構成部以外の各構成部は、図1における各構成部と同様であるため、説明を省略する。
 医用画像取得部41は、操作部35によって入力されるユーザの操作(指示)に従って、検索条件を取得する。取得した検索条件に基づいて、通信IF31とLAN21を介してデータベース22から検索条件を満たす検査情報を検索し、当該検査の際に撮像された医用画像を取得する。そして、医用画像取得部41は、取得した医用画像を、代表画像生成部42、付帯情報取得部44、重複領域算出部40へ出力する。
 識別情報取得部43は、操作部35によって入力されるユーザの操作(指示)に従って、診断対象識別情報や比較識別情報を取得する。そして、識別情報取得部43は、取得した診断対象識別情報を評価式設定部45、差分情報生成部48、重複領域算出部40へ出力する。また、識別情報取得部43は、取得した比較識別情報を差分情報生成部48へ出力する。
 重複領域算出部40は、識別情報取得部43が取得した診断対象識別情報に基づいて、医用画像取得部41が取得した医用画像の中から診断対象画像を識別する。そして、診断対象画像と、医用画像取得部41が取得した複数の医用画像の夫々との重複領域を算出する。そして、重複領域算出部40は、算出した重複領域を、表示制御部47へ出力する。
 表示制御部47は、代表画像生成部42が生成した代表画像を表示部36に表示する。また、操作部35によってユーザが診断対象画像を指定した際には、重複領域算出部40が算出した重複領域を示す印(以下、重複領域印)を、夫々の代表画像に対応付けて表示する。即ち、情報処理装置10は、医用画像及び診断対象画像の撮像範囲の重複領域を示す情報を代表画像とともに表示させることを特徴とする。また、評価値算出部46が算出した評価値に基づいて、表示部36における表示形態を変更する。
 次に、図14~図18を用いて、第5の実施形態における制御部37による全体の処理手順を説明する。
 図14は、制御部37が行う処理のフローチャートである。
 ステップS1400からステップS1430までの処理は、第1の実施形態のステップS200からステップS230と同様であるため、説明を省略する。
 ステップS1440において、重複領域算出部40は、医用画像取得部41が取得した医用画像を読み出す。また、識別情報取得部43が取得した診断対象識別情報に基づいて、診断対象画像を選び出す。そして、医用画像取得部41が取得した複数の医用画像の夫々に対して、診断対象画像と撮像範囲が重複する領域(重複領域)を算出する。そして、情報処理装置10は、算出した重複領域を、対応する医用画像の代表画像と対応付けて、RAM33または記憶部34に記憶する。ここで、画像間の重複領域は、当該画像間に公知の画像位置合わせ処理を施すことなどによって算出できる。公知の画像位置合わせ処理には、画像の類似度に基づく剛体位置合わせや、FFD(Free-Form Deformation)手法がある。またその他にもLDDMM(Large Deformation Diffeomorphic Metric Mapping)手法などがある。また、画像から人体の解剖学的な特徴部位を抽出する公知の技術を用いて夫々の画像の撮像範囲を判別し、撮像範囲間の重複領域を求めてもよい。また、夫々の医用画像から撮像範囲を示す付帯情報(例えば、頭部、胸部、腹部、胸腹部、上半身、下半身、全身、等)を取得し、当該撮像範囲に基づいて画像間の重複領域を求めてもよい。また、画像からの撮像範囲の取得方法や画像間の重複領域の算出方法は、他の何れの方法によるものであってもよい。
 次に、表示制御部47は、重複領域算出部40が算出した重複領域を読み出し、重複領域印を、対応する代表画像と対応付けて表示部36に表示する。ここでは、表示制御部47が行う重複領域印の表示の一例を、図15~図17を用いて詳細に説明する。
 図15は、診断対象画像として画像401の代表画像に対応する医用画像を選択した場合における、本ステップの処理終了時の表示部36における画面例である。図15では、診断対象画像以外の複数の医用画像の夫々の代表画像である画像402~画像411の横に、重複領域印が表示されている。
 重複領域印の表示形態について、図16及び図17を用いて説明する。
 図16は、図15における画像401、画像404、画像405、画像408の夫々の代表画像に対応する医用画像の体軸方向の撮像範囲を示した図である。図形1600は被検体を表し、矢印A401は、診断対象画像(画像401の代表画像に対応する医用画像)の体軸方向の撮像範囲を示す。同様に、矢印A404、矢印A405、及び矢印A408の夫々は、画像404、画像405、及び画像408の代表画像に対応する医用画像の体軸方向の撮像範囲を示す。つまり、図16では、診断対象画像の撮像範囲と画像404の代表画像に対応する医用画像の撮像範囲との重複領域は、矢印A404の下端から矢印A404の上端の範囲となる。同様に、診断対象画像の撮像範囲と画像405の代表画像に対応する医用画像の撮像範囲との重複領域は、矢印A405の下端から矢印A401の上端の範囲となる。同様に、診断対象画像の撮像範囲と画像408の代表画像に対応する医用画像の撮像範囲との重複領域は、矢印A401の下端から矢印A401の上端の範囲となる。
 図17は、図15における画像404、画像405、及び画像408の夫々の代表画像と、図16に示す夫々の代表画像に対応する医用画像の撮像範囲とを並べて示した図である。なお、図17における印M404、印M405、及び印M408の夫々は、診断対象画像と夫々の代表画像に対応する医用画像との重複領域印である。表示制御部47は、重複領域印を表示する位置を次のように決定する。まず、表示制御部47は、診断対象画像の撮像範囲の大きさを代表画像の縦方向の大きさに合わせて正規化する(すなわち、図17に示すように、画像404、405、408の上端と下端に、診断対象画像の撮像範囲A401を一致させる)。そして、正規化後の診断対象画像の撮像範囲における重複領域の相対的な位置を算出する。そして、当該位置に対応する代表画像の右または左の位置に重複領域印を表示する。
 図17Aでは、表示制御部47は、画像404の縦方向の大きさに対して矢印A401の大きさを正規化し、重複領域である矢印A404の下端から矢印A404の上端の範囲の相対的な位置を算出する。そして、矢印A404の下端から矢印A404の上端の範囲に対応した代表画像の右の位置に、印M404を表示する。図17Bでは、表示制御部47は、画像405の縦方向の大きさに対して矢印A401の大きさを正規化し、重複領域である矢印A405の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A405の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印M405を表示する。図17Cでは、表示制御部47は、画像408の縦方向の大きさに対して矢印A401の大きさを正規化し、重複領域である矢印A401の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A401の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印M408を表示する。このような処理を全ての代表画像に対して実施することで、表示制御部47は、重複領域算出部40が算出した重複領域印を、代表画像と対応付けて表示部36に表示することができる。即ち、情報処理装置10は、被検体に対して実施される検査において撮像された医用画像を取得する画像取得部41と、取得した画像の代表画像を生成する代表画像生成部42を有する。また代表画像生成部42によって生成された代表画像を表示部36に表示させる表示制御部47と、医用画像及び診断対象画像の撮像範囲の重複領域を算出する重複領域算出部40を有する。そして表示制御部47は、重複領域算出部40によって算出された重複領域を示す情報を代表画像とともに表示させることを特徴とする。
 なお、重複領域印の表示形態は、重複領域の大きさや位置関係をユーザが認識することができればどのような形態であってもよい。例えば図18に示すように、重複領域印に透過度を設定し、重複領域印の横方向の大きさを代表画像の大きさと一致させ、代表画像に重ねて表示してもよい。また、第2の実施形態や第3の実施形態のように、複数の診断対象画像または複数の比較画像の選択を必要とする場合には、夫々の診断対象画像または比較画像に対応する重複領域印を表示してもよい。
 重複領域印の表示が完了した際には、ステップS1450へ進む。また、本ステップの処理は、ステップS1430において診断対象画像を設定した後から、ステップS1490で比較画像を選択する前までの間であれば、どの時点で実施してもよい。ステップS1470の後に実施してもよいし、他のステップの処理と並行に実施してもよい。また、ステップS1480において、一部の代表画像を非表示とする処理を実施する場合は、非表示とする代表画像に対応する医用画像に対しては重複領域を算出しなくともよい。また、重複領域を算出する処理と重複領域印を表示する処理を分けて、夫々異なる時点で実施してもよい。重複領域印を表示する処理は、ステップS1480の処理と同時に実施してもよい。また、夫々の代表画像に対応する医用画像において、重複領域の算出に要する時間に差がある場合は、重複領域の算出が完了した順に重複領域印を表示してもよい。また、全ての重複領域印を表示する前に、ユーザよりステップS1490の処理の実施を指示された場合は、その時点で本ステップの処理の実施を止めてもよい。
 ステップS1450~ステップS1470までの処理は第1の実施形態のステップS240~ステップS260と同様であるため、説明を省略する。
 ステップS1480において、第1の実施形態と同様に、表示制御部47は、評価値算出部46が算出した夫々の医用画像に対する評価値を読み出す。そして、夫々の医用画像に対応する代表画像や重複領域印の表示部36における表示形態を、当該評価値に基づいて変更する。代表画像の表示形態を変更する場合の処理は、第1の実施形態と同様であるため、説明を省略する。また、一部の代表画像の非表示とする処理を実施する場合は、当該代表画像に対する重複領域印も非表示とする。重複領域印の表示形態を変更する場合の処理は、例えば、重複領域印の横幅の大きさや枠の太さや色の種類等を当該評価値に基づいて変更する。
 ステップS1490~ステップS1500までの処理は第1の実施形態のステップS280~ステップS290と同様であるため、説明を省略する。
 以上のように、本実施形態に係る情報処理装置によれば、以下の効果を得られる。つまり、ユーザは、診断対象画像の撮像範囲に対する、複数の代表画像の夫々に対応する医用画像の撮像範囲の相対的な位置関係を容易に確認できるため、より好適な比較画像を容易に選択することができる。従って、差分情報の生成におけるユーザの手間を低減することができる。
 (変形例5-1)
 本実施形態では、重複領域算出部40は、体軸方向の撮像範囲の重複領域を算出し重複領域印として表示する例について説明した。しかし、算出及び表示する重複領域は体軸方向に限る必要はない。例えば、体の左右の軸の方向(以下、左右軸方向)や前後の軸の方向(以下、前後軸方向)における撮像範囲の重複領域を算出し、重複領域印として表示してもよい。図19を用いて詳細に説明する。図19Aは、図15における画像401、画像404の夫々の代表画像に対応する医用画像の体軸方向及び左右軸方向の撮像範囲を示した図である。図形1600は被検体を表し、矢印A401は診断対象画像の体軸方向の撮像範囲を示し、矢印A404は画像404の代表画像に対応する医用画像の体軸方向の撮像範囲を示す。矢印B401は診断対象画像の左右軸方向の撮像範囲を示し、矢印B404は画像404の代表画像に対応する医用画像の左右軸方向の撮像範囲を示す。つまり、図19Aでは、診断対象画像の体軸方向の撮像範囲と画像404の代表画像に対応する医用画像の体軸方向の撮像範囲との重複領域は、矢印A404の下端から矢印A404の上端の範囲となる。また、診断対象画像の左右軸方向の撮像範囲と画像404の代表画像に対応する医用画像の左右軸方向の撮像範囲との重複領域は、矢印B404の左端から矢印B404の右端の範囲となる。また、図19Bは図15における画像404と、図19Aに示す診断対象画像と画像404との代表画像に対応する医用画像の撮像範囲とを並べて示した図である。なお、図19Bにおける印M404は、診断対象画像と画像404の代表画像に対応する医用画像との体軸方向の重複領域印である。同様に、印N404は、診断対象画像と画像404の代表画像に対応する医用画像との左右軸方向の重複領域印である。体軸方向の重複領域印の表示位置に関しては、本実施形態と同様に決定する。左右軸方向の重複領域印の表示位置に関しては、次のように決定する。まず、表示制御部47は、診断対象画像の撮像範囲の大きさを代表画像の横方向の大きさに合わせて正規化し、正規化後の診断対象画像の撮像範囲における重複領域の相対的な位置を算出する。そして、当該位置に対応する代表画像の下または上の位置に重複領域印を表示する。図19Bは、画像404の右に体軸方向の重複領域印を表示し、下に左右軸方向の重複領域印を表示した例である。
 本変形例によれば、ユーザは体軸方向のみならず、左右軸方向または前後軸方向における診断対象画像の撮像範囲に対する代表画像に対応する医用画像の撮像範囲の相対的な位置関係を容易に確認することができる。
 (変形例5-2)
 本実施形態では、重複領域印の表示位置は、診断対象画像の撮像範囲の大きさを代表画像の縦または横方向の大きさに合わせて正規化し、正規化後の診断対象画像の撮像範囲における重複領域の相対的な位置に基づいて決定していた。しかし、重複領域印の表示位置の決定方法はこれに限らない。
 例えば、代表画像に対応する医用画像の撮像範囲の大きさを代表画像の大きさに合わせて正規化し、正規化後の当該医用画像の撮像範囲における重複領域の相対的な位置に基づいて決定してもよい。図20を用いて詳細に説明する。
 図20は、図17と同様に、図15における画像404と画像405と画像408と、図16に示す夫々の代表画像に対応する医用画像の撮像範囲とを並べて示した図である。但し、図20は代表画像の縦方向の大きさに代表画像に対応する医用画像の撮像範囲の大きさを合わせて示している。なお、図20における印P404、印P405、印P408は、診断対象画像と夫々の代表画像に対応する医用画像との重複領域印である。図20Aでは、表示制御部47は、画像404の縦方向の大きさに対して矢印A404の大きさを正規化し、重複領域である矢印A404の下端から矢印A404の上端の範囲の相対的な位置を算出する。そして、矢印A404の下端から矢印A404の上端の範囲に対応した代表画像の右の位置に、印P404を表示する。図20Bでは、表示制御部47は、画像405の縦方向の大きさに対して矢印A405の大きさを正規化し、重複領域である矢印A405の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A405の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印P405を表示する。図20Cでは、表示制御部47は、画像408の縦方向の大きさに対して矢印A408の大きさを正規化し、重複領域である矢印A401の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A401の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印P408を表示する。
 本変形例によれば、ユーザは、代表画像に対応する医用画像の撮像範囲に対する、診断対象画像の撮像範囲の相対的な位置関係を容易に確認することができる。
 (変形例5-3)
 本実施形態及び変形例5-2では、重複領域算出部40は、診断対象画像と代表画像に対応する医用画像との重複領域を算出し、代表画像の左右または上下の位置に重複領域印を表示していた。しかし、重複領域算出部40は、診断対象画像と代表画像に対応する医用画像との重複領域を算出せずに、診断対象画像と代表画像に対応する医用画像との相対的な位置関係を表示してもよい。
 例えば、被検体の全身の撮像範囲の大きさを代表画像の大きさに合わせて正規化し、正規化後の全身の撮像範囲における診断対象画像及び代表画像に対応する医用画像の撮像範囲の相対的な位置に印を表示してもよい。図21を用いて詳細に説明する。
 図21は、図17と同様に、図15における画像404と画像405と画像408の代表画像と、図16に示す夫々の代表画像に対応する医用画像の撮像範囲とを並べて示した図である。但し、図21は代表画像の縦方向の大きさに全身の撮像範囲の大きさを合わせて示している。なお、図21における印Q404、印Q405、印Q408は、診断対象画像の撮像範囲を示す印(以下、診断対象印)である。また、印R404、印R405、印R408は、代表画像に対応する医用画像の撮像範囲を示す印(以下、代表医用印)である。
 図21では、表示制御部47は、画像404、画像405、画像408の夫々の縦方向の大きさに対して全身の撮像範囲の大きさを正規化し、正規化後の全身の撮像範囲に対する診断対象画像の撮像範囲の相対的な位置を算出する。また、正規化後の全身の撮像範囲に対する代表画像に対応する医用画像の撮像範囲の相対的な位置を算出する。そして、図21Aでは、画像404の右の位置における診断対象画像の撮像範囲に対応した位置に印Q404を表示し、その隣の位置における画像404に対応する医用画像の撮像範囲に対応した位置に印R404を表示する。図21Bでは、表示制御部47は、画像405の右の位置における診断対象画像の撮像範囲に対応した位置に印Q405を表示し、その隣の位置における画像405に対応する医用画像の撮像範囲に対応した位置に印R405を表示する。図21Cでは、表示制御部47は、画像408の右の位置における診断対象画像の撮像範囲に対応した位置に印Q408を表示し、その隣の位置における画像408に対応する医用画像の撮像範囲に対応した位置に印R408を表示する。
 本変形例によれば、ユーザは被検体の全身に対応する診断対象画像の撮像範囲と代表画像に対応する医用画像の撮像範囲との相対的な位置関係を容易に確認することができる。なお、被検体の全身の撮像範囲を正規化の基準とする以外にも、モダリティの最大撮像範囲や撮像用のベッドの範囲を正規化の基準として用いてもよい。
 (変形例5-4)
 本実施形態では、診断対象画像以外の代表画像に対して、当該代表画像に対応する医用画像と診断対象画像との重複領域を算出し、重複領域印を表示していた。本変形例では、診断対象画像の代表画像に対する重複領域印の表示について説明する。
 ステップS1490において、重複領域算出部40は、ユーザが比較画像を設定する際にユーザが操作部35を介して任意の代表画像を選択する場合、当該代表画像に対応する医用画像と診断対象画像との撮像範囲の重複領域を算出する。そして、診断対象画像に対応する代表画像に対して重複領域印を表示する。また、ユーザが操作部35を介して選択する代表画像を変更する場合は、当該変更に応じて重複領域印を変更する。
 (変形例5-5)
 本実施形態では、重複領域印の表示形態は、重複領域印の大きさは重複領域の大きさに基づいて決定し、重複領域印の表示位置は診断対象画像または比較画像の撮像範囲に対する重複領域の位置関係に基づいて決定していた。しかし、重複領域印の表示形態はこれに限らない。つまり、重複領域印の表示形態は、重複領域の大きさや位置関係の両方または何れか一方をユーザが認識することができれば、どのような形態であってもよい。
 例えば、重複領域の大きさや位置関係の両方または何れか一方を示す文字情報を重複領域印とする構成でもよい。ここで、重複領域の大きさを示す文字情報としては、重複領域に対応するピクセル数や実空間上でサイズ等の情報がある。また、重複領域の位置関係を示す文字情報としては、頭頂からの距離に対応するピクセル数や重複領域の範囲に描出されている主要臓器の名称等の情報がある。
 また、文字情報に限らず重複領域の大きさや位置関係の両方または何れか一方に応じて決定される形状または色の印を重複領域印とする構成でもよい。また、表示制御部47は、重複領域印の表示・非表示を重複領域の大きさや位置関係に応じて決定する構成としてもよい。
 例えば、重複領域の大きさが所定の大きさ以上の場合は、星形の印を重複領域印として、対応する代表画像の右上の位置に表示する構成でもよい。または、重複領域の範囲に描出されている主要臓器を模擬した形状の印を重複領域印として、対応する代表画像に重ねて表示する構成でもよい。
 [その他の実施形態]
 以上、実施形態を詳述したが、本発明は、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、画像処理装置の機能を分散させることで複数の機器から構成されるシステムに本発明を適用してもよいし、一つの機器からなる装置に適用してもよい。また、本発明の機能及び処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。また、本発明の範囲には、上述の実施例に示す機能及び処理を実現するためのコンピュータプログラム自体も含まれる。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合には、OSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。なお本発明の範囲は上述した実施形態に限定されるものではない。上述した複数の変形例のうち少なくとも二つを組み合わせることも可能である。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
 この出願は2019年6月20日に出願された日本国特許出願第2019-114969からの優先権を主張するものであり、その内容を引用してこの出願の一部とするものである。

Claims (16)

  1.  被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、
     前記医用画像の代表画像を生成する代表画像生成手段と、
     前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、
     前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、
     前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づいて前記代表画像の表示形態を設定することを特徴とする情報処理装置。
  2.  被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、
     前記医用画像の代表画像を生成する代表画像生成手段と、
     前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、
     前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、
     前記表示制御手段は、前記診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、前記診断対象画像の付帯情報に類似しない付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする情報処理装置。
  3.  前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報の類似性に基づいて代表画像の表示形態を設定することを特徴とする請求項1または2に記載の情報処理装置。
  4.  前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報が類似している場合、前記医用画像に対応する代表画像を表示し、前記医用画像の付帯情報と前記診断対象画像の付帯情報が類似していない場合、前記医用画像に対応する代表画像を非表示とすることを特徴とする請求項3に記載の情報処理装置。
  5.  前記付帯情報は、医用画像の撮像において設定されたパラメータであることを特徴とする請求項1乃至4のいずれか一項に記載の情報処理装置。
  6.  前記パラメータは、撮像範囲、撮像部位、撮像条件、再構成条件、スライス厚、造影条件の少なくとも1つを含むことを特徴とする請求項5に記載の情報処理装置。
  7.  ユーザの指示に基づいて診断対象画像を指定する指定手段を更に備え、
     前記付帯情報取得手段は、前記指定手段で指定された診断対象画像の付帯情報を取得することを特徴とする請求項1または2に記載の情報処理装置。
  8.  前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づく評価値を取得する評価値取得手段を更に備えることを特徴とする請求項1乃至7のいずれか一項に記載の情報処理装置。
  9.  前記表示制御手段は、前記評価値取得手段により取得された評価値が所定の評価基準を満たす医用画像に対応する代表画像を表示し、前記評価値取得手段により取得された評価値が所定の評価基準を満たさない医用画像に対応する代表画像を非表示とすることを特徴とする請求項8に記載の情報処理装置。
  10.  前記表示制御手段は、前記医用画像及び前記診断対象画像の撮像範囲の重複領域を示す情報を前記代表画像とともに表示させることを特徴とする請求項1または2に記載の情報処理装置。
  11.  前記表示部に表示された前記代表画像を指定する指定手段と、
     該指定された前記代表画像に対応する医用画像と前記診断対象画像との差を描出する差分画像を生成する生成手段とを更に備えることを特徴とする請求項1乃至10のいずれか一項に記載の情報処理装置。
  12.  被検体に対して実施される検査において撮像された医用画像を取得する画像取得ステップと、
     前記医用画像の代表画像を生成する代表画像生成ステップと、
     前記代表画像生成ステップによって生成された代表画像を表示部に表示させる表示制御ステップと、
     前記画像取得ステップによって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得ステップとを備え、
     前記表示制御ステップは、前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づいて前記代表画像の表示または非表示を設定することを特徴とする情報処理方法。
  13.  被検体に対して実施される検査において撮像された医用画像を取得する画像取得ステップと、
     前記医用画像の代表画像を生成する代表画像生成ステップと、
     前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御ステップと、
     前記画像取得ステップによって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得ステップとを備え、
     前記表示制御ステップは、前記診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、前記診断対象画像の付帯情報に類似しない付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする情報処理方法。
  14.  被検体に対して実施される検査において撮像された医用画像を取得する画像取得ステップと、
     前記医用画像の代表画像を生成する代表画像生成ステップと、
     前記代表画像生成ステップによって生成された代表画像を表示部に表示させる表示制御ステップと、
     前記医用画像及び診断対象画像の撮像範囲の重複領域を算出する重複領域算出ステップと、
     前記表示制御ステップは、前記重複領域算出ステップによって算出された重複領域を示す情報を前記代表画像とともに表示させることを特徴とする情報処理方法。
  15.  請求項12乃至14のいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
  16.  被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、
     前記医用画像の代表画像を生成する代表画像生成手段と、
     前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、
     前記医用画像及び診断対象画像の撮像範囲の重複領域を算出する重複領域算出手段と、前記表示制御手段は、前記重複領域算出手段によって算出された重複領域を示す情報を前記代表画像とともに表示させることを特徴とする情報処理装置。
PCT/JP2020/023323 2019-06-20 2020-06-15 情報処理装置、情報処理方法、及びプログラム WO2020255901A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-114969 2019-06-20
JP2019114969A JP2021000221A (ja) 2019-06-20 2019-06-20 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020255901A1 true WO2020255901A1 (ja) 2020-12-24

Family

ID=73994449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023323 WO2020255901A1 (ja) 2019-06-20 2020-06-15 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2021000221A (ja)
WO (1) WO2020255901A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008029401A (ja) * 2006-07-26 2008-02-14 Toshiba Corp X線画像診断装置
JP2011143159A (ja) * 2010-01-18 2011-07-28 Toshiba Corp 医用画像表示装置、医用診断システム及び画像データ表示用制御プログラム
WO2011122402A1 (ja) * 2010-03-31 2011-10-06 株式会社 日立メディコ 検査情報表示装置及び方法
JP2011218223A (ja) * 2004-06-14 2011-11-04 Canon Inc 画像処理装置及び方法、並びにプログラム
JP2013128725A (ja) * 2011-12-22 2013-07-04 Hitachi Medical Corp 検査情報表示装置及びシステム
JP2018175410A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011218223A (ja) * 2004-06-14 2011-11-04 Canon Inc 画像処理装置及び方法、並びにプログラム
JP2008029401A (ja) * 2006-07-26 2008-02-14 Toshiba Corp X線画像診断装置
JP2011143159A (ja) * 2010-01-18 2011-07-28 Toshiba Corp 医用画像表示装置、医用診断システム及び画像データ表示用制御プログラム
WO2011122402A1 (ja) * 2010-03-31 2011-10-06 株式会社 日立メディコ 検査情報表示装置及び方法
JP2013128725A (ja) * 2011-12-22 2013-07-04 Hitachi Medical Corp 検査情報表示装置及びシステム
JP2018175410A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2021000221A (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
US20220199230A1 (en) Context driven summary view of radiology findings
US8625867B2 (en) Medical image display apparatus, method, and program
JP5670079B2 (ja) 医用画像表示装置および方法、並びにプログラム
US8744149B2 (en) Medical image processing apparatus and method and computer-readable recording medium for image data from multiple viewpoints
US7979383B2 (en) Atlas reporting
US7130457B2 (en) Systems and graphical user interface for analyzing body images
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
CN105167793B (zh) 图像显示装置、显示控制装置及显示控制方法
CN106529115B (zh) 信息处理装置、信息处理方法
JP2005103055A (ja) 医用画像処理装置
US20150235007A1 (en) System and method for generating a report based on input from a radiologist
JP6460636B2 (ja) 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
US20090106047A1 (en) Integrated solution for diagnostic reading and reporting
US20100082365A1 (en) Navigation and Visualization of Multi-Dimensional Image Data
JP2019008349A (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US11395701B1 (en) Method of selecting a specific surgical device for preoperative planning
CN109273066A (zh) 医疗报告生成方法及装置、电子设备及存储介质
JP5539478B2 (ja) 情報処理装置および情報処理方法
JP7247245B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020255901A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113329684A (zh) 注释支持装置、注释支持方法及注释支持程序
EP3498172A1 (en) Resection process estimation device and resection process navigation system
JP4385707B2 (ja) 医用画像処理システム、医用画像処理方法及びプログラム
US10713539B2 (en) Recording medium, case data generation support system, and case data generation support method
JP2005173818A (ja) 医用画像診断支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826807

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20826807

Country of ref document: EP

Kind code of ref document: A1