WO2022070532A1 - 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2022070532A1
WO2022070532A1 PCT/JP2021/023596 JP2021023596W WO2022070532A1 WO 2022070532 A1 WO2022070532 A1 WO 2022070532A1 JP 2021023596 W JP2021023596 W JP 2021023596W WO 2022070532 A1 WO2022070532 A1 WO 2022070532A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
tomographic
interest
image processing
Prior art date
Application number
PCT/JP2021/023596
Other languages
English (en)
French (fr)
Inventor
有加里 奥村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022553471A priority Critical patent/JP7479494B2/ja
Priority to EP21874836.6A priority patent/EP4224414A4/en
Publication of WO2022070532A1 publication Critical patent/WO2022070532A1/ja
Priority to US18/178,434 priority patent/US20230206397A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025Tomosynthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/502Clinical applications involving diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/436Limited angle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Definitions

  • the technology of the present disclosure relates to an image processing device, an operation method of the image processing device, and an operation program of the image processing device.
  • a technique for obtaining a plurality of tomographic images on an arbitrary tomographic surface of a subject such as tomosynthesis imaging in which the subject is irradiated with radiation from a plurality of different irradiation angles, is known.
  • the structure of the subject extending in the depth direction in which the tomographic planes are lined up can be separated and visualized for each tomographic image. Therefore, it is possible to depict a structure of interest such as a lesion, which was difficult to depict with a two-dimensional image which is a simple projection image of the subject.
  • US Patent Application Publication No. 2015/201890 describes a technique for generating a tomographic image (hereinafter abbreviated as high-resolution tomographic image) in which the entire area is high-resolution. Is described.
  • the image interpreting doctor when interpreting a tomographic image obtained by tomosynthesis imaging, the image interpreting doctor first interprets a two-dimensional image instead of immediately interpreting the tomographic image. Then, a two-dimensional image is used to roughly estimate the location of the lesion. After that, the tomographic image of the tomographic surface where the lesion with a guess is likely to exist is searched, and the searched tomographic image is interpreted in detail.
  • the reason for this interpretation procedure is that it is inefficient to randomly interpret multiple tomographic images without any guesswork at first.
  • the lesion is expressed in high definition by a high-resolution tomographic image, so that the interpretation is improved.
  • high resolution tomographic images take time to generate. For this reason, when the image interpreting doctor instructs to display the high-resolution tomographic image and starts the generation of the high-resolution tomographic image, it is regarded as a practical problem from the instruction to the actual display of the high-resolution tomographic image. There was a risk of a long time lag.
  • One embodiment according to the technique of the present disclosure is an image processing apparatus capable of shortening the time required for displaying a high-resolution tomographic image without increasing the resolution of the tomographic images of all the tomographic surfaces in advance.
  • An operation method of an image processing device, and an operation program of the image processing device are provided.
  • the image processing apparatus includes a processor and a memory connected to or built in the processor, and the processor represents a plurality of tomographic planes of a subject, respectively, and a plurality of tomographic images having a first resolution. Is acquired, and when an operation instruction regarding image interpretation is received from the user, a part of the tomographic image is set as the target area, and the process of setting the second resolution higher than the first resolution is performed only in the target area. By applying, a high-resolution partial image of the target area is generated and the high-resolution partial image is displayed.
  • the processor accepts an input instruction of a designated area for a two-dimensional image which is a projected image of the subject as an operation instruction, and sets a target area based on the designated area.
  • the processor performs a process of detecting the structure of interest in the designated area, and when the structure of interest is detected, the area including the structure of interest in the tomographic image is set as the target area.
  • the processor performs a process of detecting the structure of interest in the specified area, and if the structure of interest is not detected, the area corresponding to the specified area in the tomographic image of the predetermined set tomographic plane is set as the target area. Is preferable.
  • the subject is preferably the breast and the structure of interest is preferably at least one of a mass, spicula, calcification, and line structure.
  • tomographic images were obtained by tomosynthesis imaging in which the subject was irradiated with radiation from multiple different irradiation angles, and two-dimensional images were simple imaging in which the radiation source was directly facing the radiation detector and the radiation was irradiated. It is preferable to use either a simple two-dimensional image obtained by the above method or a composite two-dimensional image which is a pseudo simple two-dimensional image synthesized from a plurality of tomographic images using a composite image generation technique.
  • the processor performs a process of detecting a structure of interest in the two-dimensional image when the first display instruction of the two-dimensional image which is a projected image of the subject is received, and when the structure of interest is detected, the torpedo It is preferable to set the area including the interest structure detected in the image as the target area.
  • the subject is preferably the breast and the structure of interest is preferably at least one of a mass, spicula, calcification, and line structure.
  • tomographic images were obtained by tomosynthesis imaging in which the subject was irradiated with radiation from multiple different irradiation angles, and two-dimensional images were simple imaging in which the radiation source was directly facing the radiation detector and the radiation was irradiated. It is preferable to use either a simple two-dimensional image obtained by the above method or a composite two-dimensional image which is a pseudo simple two-dimensional image synthesized from a plurality of tomographic images using a composite image generation technique.
  • the processor applies the super-resolution method to the processing in which the first resolution is set to the second resolution.
  • the processor sets a plurality of target areas and generates a plurality of high-resolution partial images, it is preferable to generate the high-resolution partial image each time the second display instruction of the high-resolution partial image is received from the user.
  • the processor When the processor sets a plurality of target areas and generates a plurality of high-resolution partial images, the processor displays each high-resolution partial image of the plurality of target areas before receiving the second display instruction of the high-resolution partial image from the user. It is preferable to generate.
  • the processor displays a high-resolution partial image separately from the tomographic image in which the target area is set.
  • the processor synthesizes and displays a high-resolution partial image with an enlarged image that is simply enlarged according to the second resolution in an area other than the target area of the tomographic image in which the target area is set.
  • the processor displays the high-resolution partial image before the tomographic image in which the target area is not set.
  • the processor When the processor sets a plurality of target areas and generates a plurality of high-resolution partial images, the processor first displays one high-resolution partial image that satisfies a predetermined display condition among the plurality of high-resolution partial images. Is preferable.
  • the processor displays the high-resolution partial image when the second display instruction of the high-resolution partial image is received through the graphical user interface after receiving the operation instruction.
  • the method of operating the image processing device is a case where a plurality of tomographic planes of a subject are represented, a plurality of tomographic images having a first resolution are acquired, and an operation instruction regarding image interpretation is received from a user.
  • a high-resolution partial image of the target area is generated by setting a part of the tomographic image as the target area and performing a process of setting the second resolution higher than the first resolution only to the target area. And to display high resolution partial images.
  • the operation program of the image processing apparatus represents a plurality of tomographic planes of a subject, acquires a plurality of tomographic images having the first resolution, and receives an operation instruction regarding image interpretation from a user.
  • a high-resolution partial image of the target area is generated by setting a part of the tomographic image as the target area and performing a process of setting the second resolution higher than the first resolution only to the target area.
  • the computer perform processing including that and displaying a high-resolution partial image.
  • an image processing device and an image processing device capable of shortening the time required for displaying a high-resolution tomographic image without increasing the resolution of the tomographic images of all the tomographic surfaces in advance. It is possible to provide an operation method of the image processing device and an operation program of the image processing device.
  • FIG. 1 It is a schematic block diagram of the radiation imaging system to which the image processing apparatus of this disclosure is applied. It is a figure which looked at the mammography photographing apparatus from the direction of the arrow A of FIG. It is a figure which shows the hardware configuration of an image processing apparatus. It is a figure which shows the functional structure of an image processing apparatus. It is a figure for demonstrating acquisition of a projection image. It is a figure which shows the tomographic image group. It is a figure which shows the formation of the synthetic 2D image. It is a figure for demonstrating the formation of a synthetic 2D image in detail. It is a figure which shows the screen for designating a tomographic image group, and the screen which includes a synthetic 2D image.
  • FIG. 24 It is a figure which shows the screen which contains the simple magnified tomographic image which combined the high-resolution partial image shown in FIG. 24. It is a figure which shows the screen which provided the annotation addition button and the high resolution button. It is a figure which shows a mode that annotation is added to the place which selected an annotation addition button, moved the cursor and clicked. It is a figure which shows a mode that a designated area is set in the place which selected the high-resolution button, moved the cursor and clicked. It is a figure which shows the process of the interest structure detection part and the target area setting part of 2nd Embodiment. It is a figure which shows the screen of the 2nd Embodiment which includes a synthetic 2D image, and is provided with a high-resolution image display button. It is a figure which shows the processing procedure of the image processing apparatus in 2nd Embodiment.
  • FIG. 1 is a schematic configuration diagram of a radiation imaging system 100 to which the image processing device 4 according to the embodiment of the present disclosure is applied
  • FIG. 2 is a view of a mammography imaging device in the radiation imaging system 100 as viewed from the direction of arrow A in FIG. be.
  • the radiographic imaging system 100 according to the present embodiment performs tomosynthesis imaging of the breast M, which is an example of the "subject" according to the technique of the present disclosure, in order to generate a tomographic image of the breast M.
  • the radiographic imaging system 100 includes a mammography imaging apparatus 1, a console 2, an image storage system 3, and an image processing apparatus 4.
  • the mammography photographing apparatus 1 includes an arm portion 12 connected to a base (not shown) by a rotating shaft 11.
  • An imaging table 13 is attached to one end of the arm portion 12, and a radiation irradiation unit 14 is attached to the other end so as to face the photographing table 13.
  • the arm portion 12 is configured so that the photographing table 13 is fixed and only the end portion to which the radiation irradiation portion 14 is attached can be rotated.
  • a radiation detector 15 such as a flat panel detector is provided inside the photographing table 13.
  • the radiation detector 15 has a radiation detection surface 15A.
  • a charge amplifier that converts the charge signal read from the radiation detector 15 into a voltage signal
  • a correlated double sampling circuit that samples the voltage signal output from the charge amplifier, and a voltage signal.
  • a circuit board or the like provided with an AD (Analog Digital) conversion unit or the like for converting a digital signal into a digital signal is also installed.
  • the radiation source 16 is housed inside the radiation irradiation unit 14.
  • the radiation source 16 emits radiation such as ⁇ -rays and X-rays.
  • the timing of irradiating radiation from the radiation source 16 and the radiation generation conditions in the radiation source 16, that is, the selection of the material of the target and the filter, the tube voltage, the irradiation time, and the like are controlled by the console 2.
  • a compression plate 17 arranged above the imaging table 13 to press and press the breast M, a support portion 18 for supporting the compression plate 17, and a support portion 18 are vertically attached to FIGS. 1 and 2.
  • a moving mechanism 19 for moving in the direction is provided. The distance between the compression plate 17 and the photographing table 13, that is, the compression thickness is input to the console 2.
  • the console 2 displays a shooting order and various information acquired from an unillustrated RIS (Radiology Information System) or the like via a network such as a wireless communication LAN (Local Area Network), and instructions or the like directly given by an engineer or the like. It has a function of controlling the mammography photographing apparatus 1 by using the device. Specifically, the console 2 acquires a plurality of projected images as described later by causing the mammography imaging device 1 to perform tomosynthesis imaging of the breast M, reconstructs the plurality of projected images, and performs a plurality of tomographic images. To generate.
  • the server computer is used as the console 2.
  • the image storage system 3 is a system that stores image data such as a radiation image, a projection image, and a tomographic image taken by the mammography photographing apparatus 1.
  • the image storage system 3 takes out an image in response to a request from the console 2, the image processing device 4, and the like from the stored image, and transmits the image to the requesting device.
  • Specific examples of the image storage system 3 include PACS (Picture Archiving and Communication Systems).
  • the image processing device 4 is a computer such as a workstation, a server computer, and a personal computer, and has a CPU (Central Processing Unit) 21, a non-volatile storage 23, and a memory 26 as a temporary storage area.
  • the image processing device 4 includes a display 24 such as a liquid crystal display, an input device 25 such as a keyboard and a mouse, and a network I / F (Interface Face) 27 connected to a network (not shown).
  • a display 24 such as a liquid crystal display
  • an input device 25 such as a keyboard and a mouse
  • a network I / F Interface Face
  • the CPU 21, storage 23, display 24, input device 25, memory 26, and network I / F 27 are connected to the bus 28.
  • the CPU 21 is an example of a "processor” according to the technique of the present disclosure.
  • the memory 26 is an example of the “memory” according to the technique of the present disclosure.
  • the memory 26 may be built in the CPU 21.
  • the storage 23 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the image processing program 22 installed in the image processing device 4 is stored in the storage 23 as a storage medium.
  • the CPU 21 reads the image processing program 22 from the storage 23, expands it into the memory 26, and executes the expanded image processing program 22.
  • the image processing program 22 is an example of the “operation program of the image processing device” according to the technique of the present disclosure.
  • the image processing program 22 is stored in a storage device of a server computer connected to the network or in a network storage in a state of being accessible from the outside, and is downloaded to a computer constituting the image processing device 4 in response to a request. Will be installed. Alternatively, it is recorded and distributed on a recording medium such as a DVD (Digital Versaille Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in the computer constituting the image processing device 4 from the recording medium.
  • a recording medium such as a DVD (Digital Versaille Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • FIG. 4 is a diagram showing a functional configuration of the image processing apparatus 4 according to the first embodiment.
  • the image processing device 4 includes an image acquisition unit 30, a composition unit 31, an instruction reception unit 32, an interest structure detection unit 33, a target area setting unit 34, a high resolution unit 35, and a display control unit 36.
  • the image processing device 4 includes an image acquisition unit 30, a composition unit 31, an instruction reception unit 32, an interest structure detection unit 33, a target area setting unit 34, and a high resolution unit 35. And functions as a display control unit 36.
  • the image acquisition unit 30 acquires a tomographic image from the console 2 or the image storage system 3 via the network I / F27. Further, the image acquisition unit 30 may acquire a projected image from the console 2 or the image storage system 3 via the network I / F27.
  • the console 2 controls the mammography imaging device 1 to cause the mammography imaging device 1 to perform tomosynthesis imaging.
  • the mammography imaging apparatus 1 moves the radiation source 16 to the respective radiation source positions of S1, S2, ..., Sn by rotating the arm portion 12 (see FIG. 1) around the rotation axis 11.
  • the radiation source 16 moves to each radiation source position in this way, the irradiation angle of the radiation to the breast M changes.
  • radiation is applied to the breast M, which is the subject, under predetermined imaging conditions for tomosynthesis imaging.
  • the radiation source position Sc is the radiation source position where the optical axis X0 of the radiation emitted from the radiation source 16 is orthogonal to the detection surface 15A of the radiation detector 15. That is, the radiation source position Sc is a position for simple radiography in which the radiation source 16 faces the radiation detector 15 and irradiates the radiation.
  • a simple two-dimensional image Gc0 may be acquired by irradiating the breast M with a higher dose of radiation than other radiation source positions at this radiation source position Sc.
  • the simple two-dimensional image Gc0 is an example of a "two-dimensional image" according to the technique of the present disclosure.
  • the console 2 generates a tomographic image that emphasizes the desired tomographic plane of the breast M by reconstructing a plurality of projected images Gi acquired by tomosynthesis imaging.
  • the console 2 uses a well-known back projection method such as a simple back projection method or a filter back projection method from a plurality of projected images Gi to a plurality of tomographic planes of the breast M as shown in FIG.
  • the plurality of tomographic images Dj constitute a tomographic image group SD which is three-dimensional volume data in the set three-dimensional space.
  • the pixel value of the tomographic image Dj has a larger value as the brightness is higher (that is, white) and a smaller value as the brightness is lower (that is, black).
  • the tomographic image group SD a plurality of tomographic images Dj are arranged along the depth direction of the tomographic plane in the breast M.
  • the coordinate positions of each pixel in each tomographic plane correspond to each other.
  • pixels having the same coordinate position in the tomographic plane are referred to as corresponding pixels.
  • the tomographic image Dj has the first resolution.
  • the first resolution is the resolution of the projected image Gi output by the radiation detector 15, and the in-fault plane in the three-dimensional space set when the tomographic image group SD is reconstructed from the projected image Gi by the back projection method or the like. It is determined according to the number of coordinate positions.
  • the console 2 directly transfers the generated tomographic image group SD to the image processing device 4, or transfers it to the image storage system 3.
  • the compositing unit 31 synthesizes a plurality of tomographic images Dj of the tomographic image group SD to generate a composite two-dimensional image CG1.
  • FIG. 7 is a diagram for explaining a method of generating a composite two-dimensional image CG1. As shown in FIG. 7, the compositing unit 31 synthesizes the corresponding pixels of the plurality of tomographic images Dj in the depth direction in which the tomographic planes of the tomographic images Dj are lined up (that is, the depth direction of the breast M). Generates a two-dimensional image CG1.
  • the synthetic two-dimensional image CG1 is an example of a "two-dimensional image" according to the technique of the present disclosure, like the simple two-dimensional image Gc0 described above.
  • the corresponding pixels of the tomographic image Dj of all the tomographic planes are used, and the average value of these pixels and the like are calculated. You may. It is also possible to use the corresponding pixels of some tomographic images Dj instead of all tomographic images Dj and use the average value of the pixel values of some of the pixels. For example, only the pixels of the three tomographic images D1, D2, and D3 of the three tomographic planes selected from all the tomographic images Dj may be used, and the average value thereof may be used as the pixel value.
  • the tomographic plane used for calculating the pixel value may be changed for each pixel of the composite two-dimensional image CG1. For example, for one pixel, only the pixels of the three tomographic images D1, D2, and D3 of the three fault planes are used, the average value of these is used as the pixel value, and for another pixel, the pixels of the two fault planes are used. Only the pixels of the two tomographic images D2 and D3 are used, and the average value or the like thereof is used as the pixel value.
  • the synthesis unit 31 selects a part of the tomographic image Dj in which the tomographic structure 40 exists from among the plurality of tomographic images Dj. Select. Then, the compositing unit 31 synthesizes using only the pixels of the selected tomographic image Dj.
  • the structures of interest 40A, 40B, and 40C are present only in the tomographic images D2 to D4 of the three tomographic planes.
  • the synthesis unit 31 uses only the pixels in which the interest structures 40A to 40C corresponding to the interest structure 40 exist among the three tomographic images D2 to D4, and is interested in each pixel of the composite two-dimensional image CG1. Pixels at the coordinate positions where the structure 40 exists are combined. Similarly, the portion of the breast M in which the structure of interest 40 does not exist is also synthesized using the pixels of the plurality of tomographic images Dj. It should be noted that the missing portion other than the breast M is synthesized by using, for example, all the pixels of the tomographic image Dj.
  • the compositing unit 31 corresponds to the generated synthetic two-dimensional image CG1 with the tomographic surface information DPI for each pixel indicating which tomographic image Dj was used for each pixel of the breast M of the synthetic two-dimensional image CG1. Attach and record.
  • the instruction receiving unit 32 receives various instructions input through the input device 25 by a user such as an image interpreting doctor. For example, the instruction receiving unit 32 receives an operation instruction regarding interpretation of the composite two-dimensional image CG1 and the tomographic image Dj from the user.
  • the operation instruction regarding image interpretation is an input instruction of the designated area SR (see FIG. 10) for the composite two-dimensional image CG1.
  • the instruction receiving unit 32 outputs the image information of the designated area SR to the interest structure detecting unit 33.
  • the display control unit 36 displays a screen 45 for designating the tomographic image group SD received from the console 2 or the image storage system 3 on the display 24.
  • the screen 45 is provided with an input box 46 for the file path of the tomographic image group SD, a reference button 47 for displaying an explorer, and a display button 48.
  • the image acquisition unit 30 requests the distribution of the tomographic image group SD in which the file path is input to the input box 46.
  • the image acquisition unit 30 acquires the tomographic image group SD distributed from the console 2 or the image storage system 3 in response to the distribution request.
  • the synthesis unit 31 generates a composite two-dimensional image CG1 from the tomographic image group SD.
  • the display control unit 36 switches the display from the screen 45 to the screen 49 including the composite two-dimensional image CG1. That is, the operation of the display button 48 is an example of the "first display instruction of the two-dimensional image" according to the technique of the present disclosure.
  • the user moves the mouse cursor 50 to the portion of interest of the breast M reflected in the composite two-dimensional image CG1 of the screen 49 and clicks.
  • the designated area SR including the clicked point is set on the composite two-dimensional image CG1. That is, the operation of moving the mouse cursor 50 to the portion of interest of the breast M and clicking the breast M is an example of the "input instruction of the designated area" according to the technique of the present disclosure.
  • the operation of moving the mouse cursor 50 to the portion of interest of the breast M and clicking the breast M is also an example of the "second display instruction of the high-resolution partial image" according to the technique of the present disclosure.
  • the simple two-dimensional image Gc0 may be displayed instead of the composite two-dimensional image CG1 and the input instruction of the designated area SR for the simple two-dimensional image Gc0 may be accepted.
  • the designated area SR is a square centered on the clicked point, and has a size of, for example, 500 pixels ⁇ 500 pixels.
  • the shape of the designated area SR is not limited to a rectangle, and may be any shape such as a circle.
  • the size of the designated area SR may be changed according to the size of the interest structure 40 detected by the interest structure detection unit 33.
  • the size of the designated area SR may be changed according to the type of the interest structure 40 detected by the interest structure detection unit 33. For example, if the structure of interest 40 is a mass 51 (see FIG. 11), the size of the designated area SR is 500 pixels ⁇ 500 pixels, and if the structure of interest 40 is calcification 53 (see FIG. 11), it is designated.
  • the size of the area SR is 50 pixels ⁇ 50 pixels.
  • the region surrounded by the contour of the interest structure 40 detected by the interest structure detection unit 33 may be designated as the designated region SR.
  • an area surrounded by the user freehand and having an arbitrary shape and size may be designated as a designated area SR.
  • the interest structure detection unit 33 performs a process of detecting the interest structure 40 for the designated area SR. Specifically, as shown in FIG. 11, the interest structure detection unit 33 detects the tumor 51, the spicula 52, the calcification 53, and the linear structure 54 contained in the breast M as the interest structure 40.
  • the linear structure is a mammary gland such as a leaflet or a duct.
  • the interest structure detection unit 33 outputs the information of the interest structure 40 such as the coordinates of the pixels of the detected interest structure 40 to the target area setting unit 34.
  • the interest structure detection unit 33 outputs to the target area setting unit 34 that the interest structure 40 has not been detected.
  • the structure detection unit 33 may detect all of the tumor 51, the spicula 52, the calcification 53, and the line structure 54, but it detects at least one of them. May be good.
  • the interest structure detection unit 33 detects the interest structure 40 from the designated region SR by using a known computer-aided diagnosis (CAD; Computer-Aided Diagnosis) algorithm.
  • CAD computer-aided diagnosis
  • the probability (likelihood) indicating that the pixel in the designated area SR is the interest structure 40 is derived, and the pixel whose probability is equal to or higher than the predetermined threshold value is detected as the interest structure 40.
  • the CAD algorithm is prepared for each type of interest structure 40. In the present embodiment, a CAD algorithm for detecting the mass 51, a CAD algorithm for detecting the spicula 52, a CAD algorithm for detecting the calcification 53, and an algorithm for detecting the linear structure 54 are prepared.
  • the technique for detecting the structure of interest 40 is not limited to the one using CAD.
  • the interest structure 40 is obtained from the designated area SR by filtering processing by a filter for detecting the interest structure 40, a detection model in which machine learning is performed by deep learning or the like to detect the interest structure 40, or the like. It may be something to detect.
  • the target area setting unit 34 sets a part of the tomographic image Dj as the target area OR.
  • the target region OR is a region to be subjected to a second resolution higher than the first resolution, that is, a high resolution treatment, and is a region including one or more pixels in each tomographic image Dj.
  • FIG. 12 shows a case where the interest structure detection unit 33 detects the interest structure 40 from the designated area SR.
  • the target area setting unit 34 sets the area including the structure of interest 40 in the tomographic image Dj as the target area OR. More specifically, the target area setting unit 34 receives the information of the interest structure 40 from the interest structure detection unit 33. Then, the tomographic plane information DPI of the pixel of the interest structure 40 represented by the information of the interest structure 40 is read out.
  • the target area setting unit 34 sets the same area as the designated area SR of the tomographic image Dj of the tomographic surface represented by the read tomographic surface information DPI as the target area OR.
  • FIG. 13 shows a case where the interest structure detection unit 33 does not detect the interest structure 40 from the designated area SR.
  • the target area setting unit 34 sets the area corresponding to the designated area SR in the tomographic image Dj of the preset tomographic surface as the target area OR. More specifically, the target area setting unit 34 receives from the interest structure detection unit 33 that the interest structure 40 has not been detected. The target area setting unit 34 sets the same area as the designated area SR of the tomographic image Dj of the set tomographic surface as the target area OR.
  • the set fault plane is not limited to the example central fault plane and one fault plane above and below it. It may be a fault plane at the center and a fault plane above and below the d (d is an integer of 2 or more). Further, the fault plane of the uppermost stage and the fault plane of the d + 1 plane below the fault plane may be used, or the fault plane of the lowermost stage and the fault plane of the d-1 plane above the fault plane may be used. Furthermore, all fault planes may be set as set fault planes.
  • the interest structure detection unit 33 does not detect the interest structure 40 from the designated area SR. For example, there is no interest structure 40 in the area where the user thinks that the interest structure 40 exists and clicks with the cursor 50. Alternatively, the interest structure 40 is not recognized, but the user clicks for confirmation.
  • the high resolution unit 35 performs a process of increasing the resolution of the target area OR from the first resolution to the second resolution.
  • the second resolution is higher than the first resolution, and the number of pixels is, for example, four times.
  • the high-resolution unit 35 does not perform high-resolution processing on the area of the tomographic image Dj other than the target area OR. In this way, the high-resolution unit 35 performs the high-resolution processing only on the target region OR to generate a high-resolution partial image HRP of the target region OR.
  • the high-resolution partial image HRP is an image in which the number of pixels is larger than that of the image of the original target region OR and the details such as the structure of interest 40 are expressed in detail.
  • the high-resolution unit 35 outputs the high-resolution partial image HRP to the display control unit 36.
  • FIG. 14 illustrates a case where the target region OR of the tomographic image D2 shown in FIG. 12 is subjected to high resolution processing.
  • the target region OR of the tomographic images D3 and D4 is also subjected to the processing of increasing the resolution.
  • high resolution processing is performed on each target region OR of the tomographic images DC, DC-1, and DC + 1.
  • the super-resolution method is applied as the process of increasing the resolution.
  • the super-resolution is a process in which the resolution exceeds the resolution set at the time of reconstructing the tomographic image Dj based on the projected image Gi.
  • a super-resolution method for example, the method described in Japanese Patent Application Laid-Open No. 2020-0257886 can be mentioned.
  • the super-resolution method described in JP-A-2020-205786 is a process using a trained model machine-learned so that an input image becomes a super-resolution image.
  • the trained model outputs a super-resolution image by adding a new pixel between the pixels of the input image and interpolating the pixel value of the added new pixel.
  • Such a trained model is constructed using, for example, a convolutional neural network, a recurrent neural network, a support vector machine, or the like.
  • the super-resolution method is not limited to the method described in the above-mentioned Japanese Patent Application Laid-Open No. 2020-0257886.
  • any high-order interpolation method such as nearest neighbor interpolation, bilinear interpolation, and bicubic interpolation can be used.
  • it is also possible to use a method of extracting a small region (called a patch) that repeatedly appears from an image and super-resolution the original image using the pixel values of the extracted small region. can.
  • a high-resolution partial image HRP may be generated by using the tomographic images Dj adjacent to the top and bottom.
  • the target area OR set in the tomographic image D2 and the target area OR set in the tomographic image D4 are also used for high resolution.
  • the image of the target region OR in the tomographic images D2 to D4 is regarded as a three-dimensional image, and k-neighborhood interpolation is performed using k pixels located closest to the pixel to be interpolated in the target region OR of the tomographic image D3. .. Any value such as 6 or 26 can be used as the value of k.
  • FIG. 15 illustrates a case where 4 ⁇ 4 pixels are 8 ⁇ 8 pixels.
  • MGP is an image in which the pixel value of the original pixel is simply addressed to the pixel value of the increased pixel.
  • HRP does not simply address the pixel value of the original pixel to the pixel value of the increased pixel, but interpolates the pixel value of the increased pixel with the pixel value of the surrounding pixels.
  • the pixel 61 of the target area OR corresponds to the area 62 of 2 ⁇ 2 pixels in the simple enlarged image MGP and the high resolution partial image HRP, but the pixel of the area 62 of the simple enlarged image MGP has the same pixel value as the pixel 61. Is.
  • the pixels in the region 62 of the high-resolution partial image HRP may have the same pixel value as the pixel 61 or may have a different pixel value.
  • the method for increasing the resolution is used when reconstructing the tomographic image group SD as shown in FIG.
  • a method of using the projected image Gi a well-known back projection method such as a simple back projection method is used, and an image of the target region OR selected in the tomographic image Dj is used as a high-resolution partial image HRP from the projected image Gi. It is a method of reconstruction.
  • the high resolution unit 35 further arranges the coordinate positions Ps1, Ps2, between the coordinate positions P100, P101, P102, ... ... Is added, and the pixel values of the corresponding coordinate positions in the projected images G1 to G4 are back-projected to the added coordinate positions Ps1, Ps2, .... As a result, the pixel values are also calculated for the coordinate positions Ps1, Ps2, ... Added in the fault plane Tj.
  • the high-resolution unit 35 generates a high-resolution partial image HRP having a second resolution corresponding to the target region OR.
  • the display control unit 36 determines the display order of the high-resolution partial image HRP and the tomographic image Dj according to the display conditions 66A or 66B.
  • FIG. 17 shows a case where the interest structure detection unit 33 detects the interest structure 40 from the designated area SR, as in the case of FIG. 12.
  • the display control unit 36 determines the display order according to the display condition 66A.
  • the display condition 66A is the content of "maximum area of interest structure". Therefore, the display control unit 36 displays the high-resolution partial image HRP having the largest area of the captured interest structure 40, that is, the largest number of pixels of the captured interest structure 40, among the plurality of high-resolution partial image HRPs.
  • the order is decided to be the first place.
  • the display control unit 36 determines the display order of the high-resolution partial image HRP other than the high-resolution partial image HRP having the largest number of pixels of the captured interest structure 40 in descending order of the area of the captured interest structure 40. Further, the display control unit 36 does not set the target area OR, and the display order of the other tomographic image Dj that did not generate the high-resolution partial image HRP is inferior to that of the high-resolution partial image HRP. The tomographic image Dj of the upper tomographic plane is displayed in the higher order.
  • the display control unit 36 determines the display order of the high-resolution partial image HRP (D3) to be first.
  • the subsequent display order of the high-resolution partial image HRP is, for example, the order in which the area of the structure 40 of interest is large.
  • the display order of the other tomographic images Dj that did not generate the high-resolution partial image HRP is the order after the high-resolution partial image HRP, and the order before the tomographic image Dj of the upper tomographic surface is set. Will be done.
  • the display condition 66A may be such that the display order of the high-resolution partial image HRP in which the three-dimensional center of the structure of interest 40 exists is ranked first.
  • the display condition 66A sets the display order of the high-resolution partial image HRP generated from the tomographic image Dj of the uppermost or lowermost tomographic plane among the plurality of tomographic images Dj in which the same interest structure 40 exists. , May be the content.
  • FIG. 18 shows a case where the interest structure detection unit 33 does not detect the interest structure 40 from the designated area SR, as in the case of FIG.
  • the display control unit 36 determines the display order according to the display condition 66B.
  • the display condition 66B is the content of "reference fault plane among set fault planes". Therefore, the display control unit 36 determines the display order of the high-resolution partial image HRP generated from the tomographic image Dj of the reference tomographic plane to be the first among the plurality of high-resolution partial image HRPs.
  • the display control unit 36 displays the high-resolution partial image HRP other than the high-resolution partial image HRP generated from the tomographic image Dj of the reference fault plane in the display order as the high-resolution partial image HRP generated from the tomographic image Dj of the upper fault plane. Up. Further, as in the case of FIG. 17, the display control unit 36 does not set the target area OR, and the other tomographic image Dj that does not generate the high-resolution partial image HRP is higher than the high-resolution partial image HRP. The display order is subordinated, and the display order is increased as the tomographic image Dj of the upper tomographic plane is higher.
  • the display control unit 36 determines the display order of the high-resolution partial image HRP (DC) generated from the tomographic image DC of the central tomographic plane, which is the reference tomographic plane, in the first place.
  • HRP the high-resolution partial image
  • the higher the tomographic plane the earlier the order is set.
  • the display order of the other tomographic images Dj that did not generate the high-resolution partial image HRP is the order after the high-resolution partial image HRP, and the order before the tomographic image Dj of the upper tomographic surface is set. Will be done.
  • the reference fault plane may be the uppermost fault plane or the lowest fault plane.
  • the display control unit 36 displays the screen 71 shown in FIG. 19 on the display 24 when the high-resolution partial image HRP whose display order is determined to be the first is input from the high-resolution unit 35.
  • the composite two-dimensional image CG1, the tomographic image Dj, and the high-resolution partial image HRP are displayed side by side on the screen 71.
  • the target area OR is displayed in the tomographic image Dj that generates the high-resolution partial image HRP by designating the target area OR.
  • a feed button 72A and a return button 73A for sequentially displaying the tomographic images Dj of a plurality of tomographic planes are provided.
  • a feed button 72B and a return button 73B for sequentially displaying a plurality of high-resolution partial image HRPs one by one are provided below the high-resolution partial image HRP.
  • the instruction receiving unit 32 receives a display switching instruction of the tomographic image Dj by operating the feed button 72A and the return button 73A, and a display switching instruction of the high-resolution partial image HRP by operating the feed button 72B and the return button 73B.
  • the display switching instruction of the high-resolution partial image HRP by operating the forward button 72B and the return button 73B is an example of the “second display instruction of the high-resolution partial image” according to the technique of the present disclosure.
  • FIG. 19 shows an example in which the tomographic image D3 and the high-resolution partial image HRP (D3) generated from the tomographic image D3 are displayed.
  • the tomographic image Dj may not be displayed, and only the composite two-dimensional image CG1 and the high-resolution partial image HRP may be displayed.
  • the target area OR is displayed on the composite two-dimensional image CG1.
  • the high-resolution unit 35 receives a display switching instruction of the high-resolution partial image HRP by operating the feed button 72B and the return button 73B at the instruction receiving unit 32, and the high-resolution partial image HRP. To generate.
  • FIG. 20 shows the case where the feed button 72B is operated in the examples shown in FIGS. 12 and 17.
  • the display control unit 36 first displays the high-resolution partial image HRP (D3) on the screen 71.
  • the high-resolution section 35 generates the high-resolution partial image HRP (D4)
  • the display control section 36 generates the high-resolution partial image HRP (D4).
  • the image HRP (D4) is displayed on the screen 71.
  • the high-resolution section 35 When the feed button 72B is operated while the high-resolution partial image HRP (D4) is displayed, the high-resolution section 35 generates the high-resolution partial image HRP (D2), and the display control section 36 generates the high-resolution partial image HRP (D2).
  • the image HRP (D2) is displayed on the screen 71.
  • FIG. 21 shows a case where the return button 73B is operated while the high-resolution partial image HRP (D2) is displayed.
  • the high-resolution unit 35 generates the high-resolution partial image HRP (D4)
  • the display control unit 36 displays the high-resolution partial image HRP (D4) on the screen 71.
  • the return button 73B is operated while the high-resolution partial image HRP (D4) is displayed
  • the high-resolution section 35 generates the high-resolution partial image HRP (D3)
  • the display control section 36 generates the high-resolution partial image HRP (D3).
  • the image HRP (D3) is displayed on the screen 71.
  • the CPU 21 of the image processing device 4 has an image acquisition unit 30, a composition unit 31, an instruction reception unit 32, and an interest structure detection. It functions as a unit 33, a target area setting unit 34, a high resolution unit 35, and a display control unit 36.
  • the screen 45 shown in FIG. 9 is displayed on the display 24.
  • the instruction receiving unit 32 receives the first display instruction of the composite two-dimensional image CG1 (step). YES with ST100).
  • the distribution request of the tomographic image group SD in which the file path is input to the input box 46 is transmitted from the image acquisition unit 30 to the console 2 or the image storage system 3. Then, the tomographic image group SD distributed from the console 2 or the image storage system 3 in response to the distribution request is acquired by the image acquisition unit 30 (step ST110). The tomographic image group SD is output from the image acquisition unit 30 to the composition unit 31.
  • the composite unit 31 generates a composite two-dimensional image CG1 from the tomographic image group SD (step ST120).
  • the image storage system 3 is provided with a composition unit 31, and the composition two-dimensional image CG1 delivered from the image storage system 3 may be acquired by the image acquisition unit 30.
  • the composite two-dimensional image CG1 is output from the composite unit 31 to the display control unit 36.
  • the screen 49 including the composite two-dimensional image CG1 is displayed on the display 24 under the control of the display control unit 36 (step ST130). The user interprets the composite two-dimensional image CG1 through the screen 49.
  • the input instruction of the designated area SR is received by the instruction receiving unit 32 (step). YES in ST140). As a result, the designated area SR is set on the composite two-dimensional image CG1. The information of the designated area SR is output from the instruction receiving unit 32 to the target area setting unit 34.
  • the target area OR is set in the tomographic image Dj according to the designated area SR by the target area setting unit 34 (step ST150).
  • the image of the target area OR is output from the target area setting unit 34 to the high resolution unit 35.
  • the image of the target area OR is made high resolution by the high resolution unit 35, and a high resolution partial image HRP of the target area OR is generated (step ST160).
  • the high-resolution partial image HRP is output from the high-resolution unit 35 to the display control unit 36.
  • the screen 71 shown in FIG. 19 including the composite two-dimensional image CG1, the tomographic image Dj, and the high-resolution partial image HRP is displayed on the display 24 (step ST170).
  • the user interprets the tomographic image Dj and the high-resolution partial image HRP in detail through the screen 71.
  • the CPU 21 of the image processing device 4 functions as an image acquisition unit 30, an instruction reception unit 32, a target area setting unit 34, a high resolution unit 35, and a display control unit 36.
  • the image acquisition unit 30 represents each of the plurality of tomographic planes of the breast M, and acquires a plurality of tomographic images Dj having the first resolution.
  • the instruction receiving unit 32 receives an input instruction of the designated area SR as an operation instruction regarding image interpretation from the user.
  • the target area setting unit 34 sets a part of the tomographic image Dj, which corresponds to the designated area SR, as the target area OR. do.
  • the high-resolution unit 35 generates a high-resolution partial image HRP of the target region OR by performing a process of setting the second resolution higher than the first resolution only on the target region OR.
  • the display control unit 36 displays a high-resolution partial image HRP.
  • the area where the resolution is increased is limited to the target area OR. Therefore, it is possible to shorten the time required for displaying the high-resolution tomographic image (in this case, the high-resolution partial image HRP) as compared with the case where the entire region of the tomographic image Dj is made high-resolution. Further, since it is not necessary to increase the resolution of the tomographic images Dj of all the tomographic planes in advance, there is no problem that the storage capacity of the storage 23 is compressed.
  • the instruction receiving unit 32 receives an input instruction of the designated area SR for the synthetic two-dimensional image CG1 which is an example of the two-dimensional image which is the projected image of the breast M as the operation instruction regarding the image interpretation.
  • the target area setting unit 34 sets the target area OR based on the designated area SR. Therefore, it is possible to pinpoint and increase the resolution of the part of interest to the user.
  • the interest structure detection unit 33 performs a process of detecting the interest structure 40 with respect to the designated area SR.
  • the target area setting unit 34 sets the region including the interest structure 40 in the tomographic image Dj as the target area OR. Therefore, the structure of interest 40 can be made high resolution and read in detail.
  • the region corresponding to the designated region SR in the tomographic image Dj of the preset tomographic plane is set as the target region OR. Set as. Therefore, although the structure of interest 40 is not recognized, it is possible to deal with the case where the user clicks on the breast M portion of the synthetic two-dimensional image CG1 in order to take a look for confirmation. If the interest structure 40 is not detected by the interest structure detection unit 33, "the interest structure is" without setting the target area OR, generating the high-resolution partial image HRP, and displaying the high-resolution partial image HRP. A warning message display screen such as "Cannot be found. Please specify another part.” May be displayed on the screen 49.
  • the structure of interest 40 is at least one of a mass 51, a spicula 52, a calcification 53, and a line structure 54.
  • a few percent of the mass 51 may be malignant.
  • Spicula 52 is a characteristic finding in hard cancer and invasive lobular carcinoma.
  • Calcification 53 can become cancerous.
  • the line structure 54 is prone to lesions such as mass 51, spicula 52, and calcification 53. Therefore, if at least one of the tumor 51, the spicula 52, the calcification 53, and the line structure 54 is the structure of interest 40, more efficient interpretation can be performed.
  • the high-resolution unit 35 applies the super-resolution method to the process of setting the first resolution to the second resolution. Therefore, it is possible to perform image interpretation with an image in which details are expressed in very high definition.
  • the high-resolution partial image from the user is generated.
  • a high-resolution partial image HRP is generated each time the second display instruction of the HRP (operation of the forward button 72B and the return button 73B) is received.
  • the high resolution partial image HRP can be generated in a relatively short time. Therefore, there is no possibility that a long time lag that is regarded as a problem in practical use will occur from the second display instruction of the high-resolution partial image HRP to the actual display of the high-resolution partial image HRP.
  • the display control unit 36 displays the high-resolution partial image HRP separately from the tomographic image Dj in which the target area OR is set. Therefore, the target region OR can be observed in detail with the high-resolution partial image HRP while observing the entire breast M with the tomographic image Dj.
  • the display control unit 36 displays the high-resolution partial image HRP before the tomographic image Dj in which the target area OR is not set. Therefore, the high-resolution partial image HRP having a higher priority can be read first.
  • the display control unit 36 has a plurality of display control units 36.
  • the high-resolution partial image HRPs of the above one high-resolution partial image HRP that satisfies the predetermined display conditions 66A or 66B is displayed first. Therefore, the most important high-resolution partial image HRP can be read first.
  • a plurality of radiation sources 16 may be arranged at each source position Si, and radiation may be sequentially irradiated from the plurality of radiation sources 16 to capture a projected image Gi.
  • each of the plurality of target areas OR is not received every time the second display instruction of the high-resolution partial image HRP is received by the user, but before the second display instruction of the high-resolution partial image HRP is received.
  • High resolution partial image HRP may be generated.
  • FIG. 23 shows the case where the feed button 72B is operated in the examples shown in FIGS. 12 and 17.
  • the high-resolution unit 35 generates high-resolution partial images HRP (D2), HRP (D3), and HRP (D4) in advance.
  • the display control unit 36 first displays the high-resolution partial image HRP (D3) on the screen 71.
  • the display control unit 36 displays the high-resolution partial image HRP (D4) on the screen 71.
  • the display control unit 36 displays the high-resolution partial image HRP (D2) on the screen 71.
  • FIG. 23 shows a case where it is applied to the examples shown in FIGS. 12 and 17, but it is applied to the examples shown in FIGS. 13 and 18 in advance to obtain high-resolution partial images HRP (DC) and HRP. (DC-1) and HRP (DC + 1) may be generated.
  • the display mode shown in FIGS. 24 and 25 may be adopted.
  • the display control unit 36 simply enlarges the area other than the target area OR of the tomographic image Dj in which the target area OR is set according to the second resolution, and makes the tomographic image Dj a simple enlarged tomographic image. Let it be Dj_MGP. Then, the display control unit 36 synthesizes a high-resolution partial image HRP with the simple enlarged tomographic image Dj_MGP.
  • FIG. 24 illustrates a state in which a high-resolution partial image HRP including the interest structure 40B is synthesized with the simple enlarged tomographic image D3_MGP of the tomographic image D3 in which the target region OR is set in the interest structure 40B.
  • the display control unit 36 displays the screen 81 shown in FIG. 25 on the display 24 instead of the screen 71 shown in FIG.
  • the composite two-dimensional image CG1 and the simple enlarged tomographic image Dj_MGP in which the high-resolution partial image HRP is synthesized are displayed side by side.
  • FIG. 25 shows an example in which the simple magnified tomographic image D3_MGP is displayed.
  • the high-resolution partial image HRP can be observed on the tomographic image Dj. Similar to the screen 71 shown in FIG. 19, the high-resolution partial image HRP may also be displayed side by side on the screen 81.
  • the designated area SR is designated by moving the cursor 50 to the portion of interest by the user and clicking, and then various processes are performed to generate a high-resolution partial image HRP.
  • the high-resolution partial image HRP is displayed by the screen 71 shown in FIG. 19, but is not limited to this.
  • the embodiments shown in FIGS. 26 to 28 may be adopted.
  • the screen 86 displayed on the display 24 instead of the screen 49 shown in FIG. 10 is provided with an annotation button 87 and a high resolution button 88.
  • annotation button 87 When it is desired to add annotation 89 to the part of interest of the breast M shown in the synthetic two-dimensional image CG1, the user moves the mouse cursor 50 to the part of interest and clicks the annotation as shown in FIG. 27. Select the grant button 87. As a result, the annotation 89 can be added to the place where the cursor 50 is placed.
  • the user wants to see the high-resolution partial image HRP of the part of interest
  • the user puts the mouse cursor 50 on the part of interest and clicks on the part, and then presses the high-resolution button 88. select.
  • the designated area SR is set at the position where the cursor 50 is placed, and then various processes are performed to display the high-resolution partial image HRP.
  • the high resolution button 88 is an example of a "graphical user interface" according to the technique of the present disclosure.
  • the operation of the high-resolution button 88 is an example of the "second display instruction of the high-resolution partial image" according to the technique of the present disclosure.
  • processing other than increasing the resolution can be performed on the portion of interest.
  • the process other than increasing the resolution is not limited to the addition of the annotation 89, and may be, for example, a process of applying CAD that estimates the type of lesion to a portion clicked by moving the cursor 50.
  • the order of clicking the mouse and selecting the high resolution button 88 may be reversed. That is, after selecting the high-resolution button 88, the mouse cursor 50 may be placed on the portion of interest and clicked.
  • the target area OR is set based on the designated area SR set by the user's operation, but the present invention is not limited to this.
  • the second embodiment shown in FIGS. 29 to 31 may be adopted.
  • the interest structure detection unit 33 performs a process of detecting the interest structure 40 with respect to the composite two-dimensional image CG1 when the instruction receiving unit 32 receives the first display instruction of the composite two-dimensional image CG1.
  • the first display instruction of the composite two-dimensional image CG1 is the operation of the display button 48.
  • the interest structure 40 detected by the interest structure detection unit 33 is a tumor 51, a spicula 52, a calcification 53, and a line structure 54, as in the first embodiment.
  • a process of detecting the structure of interest 40 may be performed on the simple two-dimensional image Gc0.
  • the interest structure detection unit 33 sets the detection area DR including the detected interest structure 40.
  • the detection region DR is a rectangle that surrounds the detected interest structure 40 and whose center coincides with the center of the interest structure 40.
  • the detection region DR has a size that is one size larger than that of the structure of interest 40, for example, about 20% to 30%.
  • the interest structure detection unit 33 outputs the image information of the detection area DR to the target area setting unit 34.
  • FIG. 29 illustrates a case where the interest structures 40_1 and 40_1 are detected, the detection region DR_1 is set for the interest structure 40_1, and the detection region DR_1 is set for the interest structure 40_1.
  • the detection area DR may have a predetermined size as in the designated area SR.
  • the detection region DR may be a region surrounded by the contour of the interest structure 40 detected by the interest structure detection unit 33.
  • the target area setting unit 34 sets the area including the detected interest structure 40 in the tomographic image Dj, that is, the detection area DR as the target area OR. More specifically, the target area setting unit 34 identifies the tomographic plane in which the structure of interest 40 exists by referring to the tomographic plane information DPI, and detects the tomographic image Dj of the specified tomographic plane, as in the first embodiment. The same area as the area DR is set as the target area OR. In FIG.
  • the target regions OR_1 of the interest structures 40_1A, 40_1B, 40_1C, and 40_1D corresponding to the interest structure 40_1 are set for the detection region DR_1 of the interest structure 40_1, and the target regions OR_1 of the interest structure 40_1 are set with respect to the detection region DR_1 of the interest structure 40_1.
  • the case where the target region OR_2 of the interest structures 40_2A, 40_2B, and 40_2C corresponding to the interest structure 40_2 is set is illustrated. It should be noted that a region surrounded by the contour of the structure of interest 40, which is not the same region as the detection region DR, may be set as the target region OR.
  • a high-resolution image display button 92 is provided on the screen 91 including the composite two-dimensional image CG1.
  • the screen 71 including the high-resolution partial image HRP shown in FIG. 19 or the simple enlarged tomographic image Dj_MGP in which the high-resolution partial image HRP shown in FIG. 25 is synthesized is displayed.
  • the including screen 81 is displayed.
  • the high-resolution image display button 92 is an example of the "graphical user interface" according to the technique of the present disclosure.
  • the operation of the high-resolution image display button 92 is an example of the "second display instruction of the high-resolution partial image” according to the technique of the present disclosure.
  • the high-resolution partial image HRP to be displayed first is, for example, the high-resolution partial image HRP having the largest area of the structure 40 of interest, as in the case of FIG.
  • FIG. 31 is a flowchart for explaining the operation of the second embodiment. Similar to the first embodiment, the instruction receiving unit 32 receives the first display instruction of the composite two-dimensional image CG1 (YES in step ST100), and the image acquisition unit 30 acquires the tomographic image group SD (step ST110). .. Then, the composite 2D image CG1 is generated by the composite unit 31 (step ST120), and the screen 91 including the composite 2D image CG1 is displayed on the display 24 under the control of the display control unit 36 (step ST130).
  • the interest structure detection unit 33 performs a process of detecting the structure 40 of interest for the composite 2D image CG1.
  • the target region setting unit 34 sets the target region OR corresponding to the detection region DR including the structure of interest 40 in the tomographic image Dj (step ST210).
  • the high-resolution unit 35 increases the resolution of the image of the target area OR, and generates a high-resolution partial image HRP of the target area OR (step ST160).
  • the second display instruction of the high-resolution partial image HRP is received by the instruction receiving unit 32 (YES in step ST220). Then, under the control of the display control unit 36, the high-resolution partial image HRP is displayed on the display 24 (step ST170).
  • the interest structure detection unit 33 when the first display instruction of the synthetic two-dimensional image CG1 is received, the interest structure detection unit 33 performs a process of detecting the interest structure 40 with respect to the synthetic two-dimensional image CG1. .. Then, the target area setting unit 34 sets the area including the detected interest structure 40 in the tomographic image Dj as the target area OR. Therefore, the high-resolution partial image HRP can be displayed without performing the operation of moving the mouse cursor 50 to the portion of interest and clicking as in the first embodiment. Further, if the detection accuracy of the interest structure detection unit 33 is high, the interest structure 40 that may be overlooked by the user's eyes can be completely detected, and a high-resolution partial image HRP can be generated and displayed.
  • the high-resolution partial image HRP may be displayed on the screen 91 as soon as the high-resolution partial image HRP is generated without providing the high-resolution image display button 92. Further, when the high-resolution image display button 92 is selected, a process of detecting the structure of interest 40 may be performed.
  • the user may be able to select between a mode in which the user performs an operation of moving the mouse cursor 50 to a portion of interest in the first embodiment and clicking the position, and a mode in which the user performs the operation of clicking.
  • the tomographic plane information DPI may be generated by the following method. That is, the simple two-dimensional image Gc0 and the tomographic image Dj are divided into a plurality of regions (for example, a region of 2 pixels ⁇ 2 pixels). Then, the correlation between the region of the simple two-dimensional image Gc0 and the region of each tomographic image Dj is obtained, and the tomographic plane of the tomographic image Dj having a region having a relatively large correlation is used as a pixel of the region of the simple two-dimensional image Gc0. Record as the corresponding fault plane.
  • the tomographic plane information DPI may be generated by applying the above-mentioned method for obtaining the correlation.
  • the operation of the forward button 72A and the return button 73A is exemplified, and the operation for displaying a plurality of high-resolution partial image HRPs one by one in order.
  • the operation of the forward button 72B and the return button 73B has been exemplified, but the present invention is not limited thereto.
  • the tomographic image Dj of a plurality of tomographic planes and / or a plurality of high-resolution partial images HRP may be displayed in order.
  • the tomographic image Dj obtained by tomosynthesis imaging is exemplified, but the present invention is not limited to this.
  • CT Computer Planar Tomography
  • PET Positron Emission Tomography
  • SPECT Single Photon Emission Tomography
  • MRI Magnetic Image imaging
  • MRI Magnetic Image
  • various processes such as an image acquisition unit 30, a composition unit 31, an instruction reception unit 32, an interest structure detection unit 33, a target area setting unit 34, a high resolution unit 35, and a display control unit 36 are performed.
  • various processors Processors shown below can be used.
  • the CPU 21 which is a general-purpose processor that executes software (image processing program 22) and functions as various processing units, FPGA (Field Programmable Gate Array) and the like are manufactured.
  • a processor having a circuit configuration specially designed to execute a specific process such as a programmable logic device (PLC), an ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed later. Dedicated electric circuit etc. are included.
  • PLC programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC system On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be A alone, B alone, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.

Abstract

プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得し、ユーザからの読影に関する操作指示を受け付けた場合に、断層画像の一部の領域を対象領域として設定し、第1の解像度よりも高い第2の解像度とする処理を対象領域のみに施すことにより、対象領域の高解像度部分画像を生成し、高解像度部分画像を表示する、画像処理装置。

Description

画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
 本開示の技術は、画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムに関する。
 異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影等、被写体の任意の断層面における複数の断層画像を得る技術が知られている。断層画像によれば、断層面が並ぶ深さ方向に延在する被写体の構造を断層画像毎に分離して描出することができる。このため、被写体の単純な投影像である2次元画像では描出が困難であった病変等の関心構造を描出することが可能となる。
 断層画像の詳細な読影を支援するために、例えば米国特許出願公開第2015/0201890号明細書には、全領域を高解像度化した断層画像(以下、高解像度断層画像と略す)を生成する技術が記載されている。
 例えばトモシンセシス撮影で得られた断層画像の読影に際しては、読影医は、すぐに断層画像を読影するのではなく、まずは2次元画像を読影する。そして、2次元画像で病変の箇所の大体の見当をつける。その後、見当をつけた病変が存在していそうな断層面の断層画像を探索し、探索した断層画像を詳細に読影する。こうした読影手順とするのは、最初に何の当てもなく複数の断層画像を手当たり次第に読影すると、効率が悪いためである。
 米国特許出願公開第2015/0201890号明細書に記載の技術によれば、高解像度断層画像によって病変が高精細に表現されるため、読影が捗る。しかしながら、高解像度断層画像は生成に時間が掛かる。このため、読影医が高解像度断層画像の表示を指示した際に高解像度断層画像の生成を開始する場合、指示してから実際に高解像度断層画像が表示されるまでに、実用上問題視される程の長いタイムラグが生じるおそれがあった。
 上記の表示タイムラグの問題を解決する方法としては、事前にすべての断層面の高解像度断層画像を生成してストレージに記憶しておき、表示の際にストレージから読み出す方法が考えられる。しかしながら、この方法では、比較的データ量が多い高解像度断層画像によってストレージの記憶容量が圧迫されるといった別の問題が生じる。
 本開示の技術に係る1つの実施形態は、事前にすべての断層面の断層画像を高解像度化することなく、高解像度の断層画像の表示に掛かる時間を短縮化することが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供する。
 本開示の技術に係る画像処理装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得し、ユーザからの読影に関する操作指示を受け付けた場合に、断層画像の一部の領域を対象領域として設定し、第1の解像度よりも高い第2の解像度とする処理を対象領域のみに施すことにより、対象領域の高解像度部分画像を生成し、高解像度部分画像を表示する。
 プロセッサは、操作指示として、被写体の投影像である2次元画像に対する指定領域の入力指示を受け付け、指定領域に基づいて対象領域を設定することが好ましい。
 プロセッサは、指定領域に対して関心構造を検出する処理を行い、関心構造を検出した場合、断層画像において関心構造を含む領域を、対象領域として設定することが好ましい。
 プロセッサは、指定領域に対して関心構造を検出する処理を行い、関心構造を検出しなかった場合、予め定められた設定断層面の断層画像において指定領域に対応する領域を、対象領域として設定することが好ましい。
 被写体は乳房であり、関心構造は、腫瘤、スピキュラ、石灰化、および線構造のうち少なくとも1つであることが好ましい。
 複数の断層画像は、異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影により得られたものであり、2次元画像は、放射線源を放射線検出器に正対させて放射線を照射する単純撮影により得られた単純2次元画像、および合成画像生成技術を用いて複数の断層画像から合成された疑似的な単純2次元画像である合成2次元画像のうちのいずれかであることが好ましい。
 プロセッサは、操作指示として、被写体の投影像である2次元画像の第1表示指示を受け付けた場合に、2次元画像に対して関心構造を検出する処理を行い、関心構造を検出した場合、断層画像において検出した関心構造を含む領域を、対象領域として設定することが好ましい。
 被写体は乳房であり、関心構造は、腫瘤、スピキュラ、石灰化、および線構造のうち少なくとも1つであることが好ましい。
 複数の断層画像は、異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影により得られたものであり、2次元画像は、放射線源を放射線検出器に正対させて放射線を照射する単純撮影により得られた単純2次元画像、および合成画像生成技術を用いて複数の断層画像から合成された疑似的な単純2次元画像である合成2次元画像のうちのいずれかであることが好ましい。
 プロセッサは、第1の解像度を第2の解像度とする処理に、超解像の手法を適用することが好ましい。
 プロセッサは、対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、ユーザからの高解像度部分画像の第2表示指示を受け付ける度に高解像度部分画像を生成することが好ましい。
 プロセッサは、対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、ユーザからの高解像度部分画像の第2表示指示を受け付ける前に、複数の対象領域の各々の高解像度部分画像を生成することが好ましい。
 プロセッサは、対象領域を設定した断層画像とは別に高解像度部分画像を表示することが好ましい。
 プロセッサは、対象領域を設定した断層画像の対象領域以外の領域を、第2の解像度に合わせて単純拡大した拡大画像に、高解像度部分画像を合成して表示することが好ましい。
 プロセッサは、対象領域を設定していない断層画像よりも、高解像度部分画像を先に表示することが好ましい。
 プロセッサは、対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、複数の高解像度部分画像のうち、予め定められた表示条件を満たす1つの高解像度部分画像を最初に表示することが好ましい。
 プロセッサは、操作指示を受け付けた後に、グラフィカルユーザインターフェースを通じて高解像度部分画像の第2表示指示を受け付けた場合に、高解像度部分画像を表示することが好ましい。
 本開示の技術に係る画像処理装置の作動方法は、被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、ユーザからの読影に関する操作指示を受け付けた場合に、断層画像の一部の領域を対象領域として設定すること、第1の解像度よりも高い第2の解像度とする処理を対象領域のみに施すことにより、対象領域の高解像度部分画像を生成すること、および、高解像度部分画像を表示すること、を含む。
 本開示の技術に係る画像処理装置の作動プログラムは、被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、ユーザからの読影に関する操作指示を受け付けた場合に、断層画像の一部の領域を対象領域として設定すること、第1の解像度よりも高い第2の解像度とする処理を対象領域のみに施すことにより、対象領域の高解像度部分画像を生成すること、および、高解像度部分画像を表示すること、を含む処理をコンピュータに実行させる。
 本開示の技術によれば、事前にすべての断層面の断層画像を高解像度化することなく、高解像度の断層画像の表示に掛かる時間を短縮化することが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供することができる。
本開示の画像処理装置を適用した放射線画像撮影システムの概略構成図である。 マンモグラフィ撮影装置を図1の矢印A方向から見た図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置の機能的な構成を示す図である。 投影画像の取得を説明するための図である。 断層画像群を示す図である。 合成2次元画像の成り立ちを示す図である。 合成2次元画像の成り立ちを詳細に説明するための図である。 断層画像群を指定するための画面、および合成2次元画像を含む画面を示す図である。 指定領域が設定される様子を示す図である。 関心構造の例を示す図である。 指定領域から関心構造を検出した場合の対象領域設定部の処理を示す図である。 指定領域から関心構造を検出しなかった場合の対象領域設定部の処理を示す図である。 高解像度化部の処理を示す図である。 単純拡大と高解像度化との相違を説明するための図である。 逆投影法を用いた高解像度化を示す図である。 指定領域から関心構造を検出した場合の表示条件および表示順を示す図である。 指定領域から関心構造を検出しなかった場合の表示条件および表示順を示す図である。 合成2次元画像、断層画像、および高解像度部分画像を含む画面を示す図である。 送りボタンが操作される度に、高解像度部分画像を生成して表示する態様を示す図である。 戻しボタンが操作される度に、高解像度部分画像を生成して表示する態様を示す図である。 画像処理装置の処理手順を示す図である。 事前にすべての高解像度部分画像を生成して表示する態様を示す図である。 対象領域以外の領域を単純拡大した単純拡大断層画像に、高解像度部分画像を合成する処理を示す図である。 図24で示した高解像度部分画像が合成された単純拡大断層画像を含む画面を示す図である。 アノテーション付与ボタンおよび高解像度化ボタンが設けられた画面を示す図である。 アノテーション付与ボタンを選択し、カーソルを合わせてクリックした箇所にアノテーションを付与する様子を示す図である。 高解像度化ボタンを選択し、カーソルを合わせてクリックした箇所に指定領域を設定する様子を示す図である。 第2実施形態の関心構造検出部および対象領域設定部の処理を示す図である。 合成2次元画像を含み、高解像度画像表示ボタンが設けられた第2実施形態の画面を示す図である。 第2実施形態における画像処理装置の処理手順を示す図である。
 [第1実施形態]
 以下、図面を参照して本開示の実施形態について説明する。図1は本開示の実施形態による画像処理装置4を適用した放射線画像撮影システム100の概略構成図、図2は放射線画像撮影システム100におけるマンモグラフィ撮影装置を図1の矢印A方向から見た図である。図1に示すように、本実施形態による放射線画像撮影システム100は、本開示の技術に係る「被写体」の一例である乳房Mのトモシンセシス撮影を行って乳房Mの断層画像を生成するために、異なる複数の線源位置から乳房Mを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。本実施形態による放射線画像撮影システム100は、マンモグラフィ撮影装置1、コンソール2、画像保存システム3、および画像処理装置4を備える。
 マンモグラフィ撮影装置1は、不図示の基台に対して回転軸11により連結されたアーム部12を備えている。アーム部12の一方の端部には撮影台13が、その他方の端部には撮影台13と対向するように放射線照射部14が取り付けられている。アーム部12は、撮影台13を固定して放射線照射部14が取り付けられた端部のみを回転することが可能に構成されている。
 撮影台13の内部には、フラットパネルディテクタ等の放射線検出器15が備えられている。放射線検出器15は放射線の検出面15Aを有する。また、撮影台13の内部には、放射線検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路、および電圧信号をデジタル信号に変換するAD(Analog Digital)変換部等が設けられた回路基板等も設置されている。
 放射線照射部14の内部には、放射線源16が収納されている。放射線源16は、例えばγ線、X線等の放射線を出射する。放射線源16から放射線を照射するタイミングおよび放射線源16における放射線発生条件、すなわちターゲットおよびフィルタの材質の選択、管電圧並びに照射時間等は、コンソール2により制御される。
 また、アーム部12には、撮影台13の上方に配置されて乳房Mを押さえつけて圧迫する圧迫板17、圧迫板17を支持する支持部18、および支持部18を図1および図2の上下方向に移動させる移動機構19が設けられている。なお、圧迫板17と撮影台13との間隔、すなわち圧迫厚はコンソール2に入力される。
 コンソール2は、無線通信LAN(Local Area Network)等のネットワークを介して、不図示のRIS(Radiology Information System)等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置1の制御を行う機能を有している。具体的には、コンソール2は、マンモグラフィ撮影装置1に乳房Mのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得し、複数の投影画像を再構成して複数の断層画像を生成する。一例として、本実施形態では、サーバコンピュータをコンソール2として用いている。
 画像保存システム3は、マンモグラフィ撮影装置1により撮影された放射線画像、投影画像、および断層画像等の画像データを保存するシステムである。画像保存システム3は、保存している画像から、コンソール2および画像処理装置4等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム3の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。
 次に、第1実施形態に係る画像処理装置4について説明する。まず、図3を参照して、第1実施形態に係る画像処理装置4のハードウェア構成を説明する。図3に示すように、画像処理装置4は、ワークステーション、サーバコンピュータ、およびパーソナルコンピュータ等のコンピュータであり、CPU(Central Processing Unit)21、不揮発性のストレージ23、および一時記憶領域としてのメモリ26を備える。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ24、キーボードおよびマウス等の入力デバイス25、不図示のネットワークに接続されるネットワークI/F(InterFace)27を備える。CPU21、ストレージ23、ディスプレイ24、入力デバイス25、メモリ26、およびネットワークI/F27は、バス28に接続される。CPU21は、本開示の技術に係る「プロセッサ」の一例である。また、メモリ26は、本開示の技術に係る「メモリ」の一例である。なお、メモリ26は、CPU21に内蔵されていてもよい。
 ストレージ23は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ23には、画像処理装置4にインストールされた画像処理プログラム22が記憶される。CPU21は、ストレージ23から画像処理プログラム22を読み出してからメモリ26に展開し、展開した画像処理プログラム22を実行する。画像処理プログラム22は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。
 なお、画像処理プログラム22は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置4を構成するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体から画像処理装置4を構成するコンピュータにインストールされる。
 次いで、第1実施形態による画像処理装置4の機能的な構成を説明する。図4は、第1実施形態による画像処理装置4の機能的な構成を示す図である。図4に示すように、画像処理装置4は、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36を備える。CPU21が画像処理プログラム22を実行することにより、画像処理装置4は、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36として機能する。
 画像取得部30は、コンソール2または画像保存システム3からネットワークI/F27を介して断層画像を取得する。また、画像取得部30は、コンソール2または画像保存システム3からネットワークI/F27を介して投影画像を取得する場合もある。
 ここで、図5を参照しながら、断層画像を生成するためのトモシンセシス撮影について説明する。コンソール2は、マンモグラフィ撮影装置1を制御することにより、マンモグラフィ撮影装置1にトモシンセシス撮影を行わせる。トモシンセシス撮影において、マンモグラフィ撮影装置1は、アーム部12(図1参照)を回転軸11の周りに回転させることにより放射線源16をS1、S2、・・・、Snの各線源位置に移動させる。こうして放射線源16を各線源位置に移動させることで、乳房Mに対する放射線の照射角度が変化する。そして、放射線源16の移動軌跡上の複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である乳房Mに放射線を照射する。乳房Mを透過した放射線は放射線検出器15により検出され、放射線検出器15は、検出した放射線に基づく投影画像Gi(i=1~n、nは線源位置の数であり、例えばn=15)をコンソール2に出力する。こうして、コンソール2は、複数の線源位置S1~Snに対応する複数の投影画像G1、G2、・・・、Gnを取得する。なお、各線源位置S1~Snにおいては、一例として、同一の線量の放射線が乳房Mに照射される。
 また、図5において、線源位置Scは、放射線源16から出射された放射線の光軸X0が放射線検出器15の検出面15Aと直交する線源位置である。つまり、線源位置Scは、放射線源16を放射線検出器15に正対させて放射線を照射する単純撮影の位置である。本実施形態においては、この線源位置Scにおいて、他の線源位置より高い線量の放射線を乳房Mに照射することにより、単純2次元画像Gc0を取得するようにしてもよい。単純2次元画像Gc0は、本開示の技術に係る「2次元画像」の一例である。
 コンソール2は、トモシンセシス撮影によって取得した複数の投影画像Giを再構成することにより、乳房Mの所望とする断層面を強調した断層画像を生成する。具体的には、コンソール2は、単純逆投影法あるいはフィルタ逆投影法等の周知の逆投影法等を用いて、複数の投影画像Giから、図6に示すように乳房Mの複数の断層面のそれぞれにおける複数の断層画像Dj(j=1~m、mは断層画像の枚数で例えば50)を再構成する。再構成の際、乳房Mを含む3次元空間における3次元の座標を有する画素が設定され、複数の投影画像Giの対応する画素の画素値が逆投影されて、設定された3次元の画素に対して画素値が算出される。複数の断層画像Djは、設定された3次元空間内における3次元ボリュームデータである断層画像群SDを構成する。なお、第1実施形態においては、断層画像Djの画素値は、輝度が高い(すなわち白い)ほど大きく、輝度が低い(すなわち黒い)ほど小さい値を有するものとする。
 断層画像群SDにおいて、複数の断層画像Djは、乳房Mにおける断層面の深さ方向に沿って並んでいる。複数の断層画像Djにおいて、各断層面内における各画素の座標位置は対応している。ここで、複数の断層画像Djにおいて、断層面内における座標位置が一致している画素同士を対応する画素と呼ぶ。また、断層画像Djは、第1の解像度を有している。第1の解像度は、放射線検出器15が出力する投影画像Giの解像度、および逆投影法等によって投影画像Giから断層画像群SDを再構成する際に設定される3次元空間における断層面内の座標位置の数に応じて決定される。
 コンソール2は、生成した断層画像群SDを画像処理装置4に直接転送するか、画像保存システム3に転送する。
 合成部31は、断層画像群SDの複数の断層画像Djを合成して合成2次元画像CG1を生成する。図7は合成2次元画像CG1の生成方法を説明するための図である。図7に示すように、合成部31は、複数の断層画像Djの対応する画素を、断層画像Djの断層面が並ぶ深さ方向(すなわち乳房Mの深さ方向)に合成することにより、合成2次元画像CG1を生成する。合成の手法は、複数の断層画像Djにおける対応する画素の画素値に対する加算法、平均法、最大値投影法、または最小値投影法等の周知の合成画像生成技術を用いることができる。ここで、断層画像Djは第1の解像度を有するため、合成2次元画像CG1も第1の解像度を有する。合成2次元画像CG1は、上記の単純2次元画像Gc0と同じく、本開示の技術に係る「2次元画像」の一例である。
 合成2次元画像CG1の各画素の合成において、合成に使用する断層画像Djについては、例えば、すべての断層面の断層画像Djの対応する画素を使用し、これらの画素の平均値等を算出してもよい。すべての断層画像Djではなく、一部の断層画像Djの対応する画素を使用し、一部の画素の画素値の平均値等を使用することも可能である。例えば、すべての断層画像Djの中から選択された3つの断層面の3つの断層画像D1、D2、およびD3の画素のみを使用し、これらの平均値を画素値としてもよい。また、合成2次元画像CG1の画素毎に、画素値の算出に使用する断層面を変化させてもよい。例えば、ある画素については、3つの断層面の3つの断層画像D1、D2、およびD3の画素のみを使用し、これらの平均値等を画素値とし、別の画素については、2つの断層面の2つの断層画像D2、およびD3の画素のみを使用し、これらの平均値等を画素値とする。
 図8に示すように、断層画像群SD内において、関心構造40が存在する部分については、合成部31は、複数の断層画像Djの中から、関心構造40が存在する一部の断層画像Djを選択する。そして、合成部31は、選択された断層画像Djの画素のみを用いて合成する。図8においては、複数の断層画像D1~D6のうち、3つの断層面の断層画像D2~D4においてのみ、関心構造40A、40B、および40Cが存在する。この場合、合成部31は、3つの断層画像D2~D4のうち、関心構造40に対応する関心構造40A~40Cが存在する画素のみを用いて、合成2次元画像CG1の各画素のうち、関心構造40が存在する座標位置の画素の合成を行う。関心構造40が存在しない乳房Mの部分についても同様に、複数の断層画像Djの画素を用いて合成する。なお、乳房M以外の素抜け部分については、例えばすべての断層画像Djの画素を用いて合成する。
 また、合成部31は、合成2次元画像CG1の乳房Mの各画素について、どの断層面の断層画像Djを使用したかという画素毎の断層面情報DPIを、生成した合成2次元画像CG1と対応付けて記録する。
 指示受付部32は、読影医等のユーザにより入力デバイス25を通じて入力される様々な指示を受け付ける。例えば、指示受付部32は、ユーザからの合成2次元画像CG1および断層画像Djの読影に関する操作指示を受け付ける。読影に関する操作指示は、本実施形態においては、合成2次元画像CG1に対する指定領域SR(図10参照)の入力指示である。指示受付部32は、入力指示を受け付けた場合、指定領域SRの画像情報を関心構造検出部33に出力する。
 図9に示すように、表示制御部36は、コンソール2または画像保存システム3から受け取る断層画像群SDを指定するための画面45をディスプレイ24に表示する。画面45には、断層画像群SDのファイルパスの入力ボックス46、エクスプローラを表示するための参照ボタン47、および表示ボタン48が設けられている。入力ボックス46に所望の断層画像群SDのファイルパスが入力され、表示ボタン48が選択された場合、画像取得部30は、入力ボックス46にファイルパスが入力された断層画像群SDの配信要求をコンソール2または画像保存システム3に送信する。そして、画像取得部30は、配信要求に応じてコンソール2または画像保存システム3から配信された断層画像群SDを取得する。合成部31は、断層画像群SDから合成2次元画像CG1を生成する。表示制御部36は、画面45から、合成2次元画像CG1を含む画面49に表示を切り替える。すなわち、表示ボタン48の操作は、本開示の技術に係る「2次元画像の第1表示指示」の一例である。
 図10に示すように、ユーザは、画面49の合成2次元画像CG1に写る乳房Mの関心のある箇所に、マウスのカーソル50を合わせてクリックする。これにより、クリックされた点を含む指定領域SRが合成2次元画像CG1上に設定される。つまり、乳房Mの関心のある箇所にマウスのカーソル50を合わせてクリックする操作は、本開示の技術に係る「指定領域の入力指示」の一例である。同時に、乳房Mの関心のある箇所にマウスのカーソル50を合わせてクリックする操作は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例でもある。なお、合成2次元画像CG1の代わりに単純2次元画像Gc0を表示し、単純2次元画像Gc0に対する指定領域SRの入力指示を受け付けてもよい。
 指定領域SRは、クリックされた点を中心とする正方形であり、例えば500画素×500画素のサイズを有する。なお、指定領域SRの形状は矩形に限定されるものではなく、円形等の任意の形状としてもよい。また、関心構造検出部33で検出した関心構造40の大きさに応じて、指定領域SRのサイズを変更してもよい。同様に、関心構造検出部33で検出した関心構造40の種類に応じて、指定領域SRのサイズを変更してもよい。例えば関心構造40が腫瘤51(図11参照)であった場合は、指定領域SRのサイズを500画素×500画素とし、関心構造40が石灰化53(図11参照)であった場合は、指定領域SRのサイズを50画素×50画素とする。あるいは、関心構造検出部33で検出した関心構造40の輪郭で取り囲まれる領域を、指定領域SRとしてもよい。さらには、ユーザがフリーハンドで取り囲んだ領域であって、形状およびサイズが任意の領域を、指定領域SRとしてもよい。
 関心構造検出部33は、指定領域SRに対して関心構造40を検出する処理を行う。具体的には図11に示すように、関心構造検出部33は、乳房Mに含まれる腫瘤51、スピキュラ52、石灰化53、および線構造54を、関心構造40として検出する。線構造は、例えば小葉、乳管といった乳腺である。指定領域SRから関心構造40を検出した場合、関心構造検出部33は、検出した関心構造40の画素の座標といった関心構造40の情報を対象領域設定部34に出力する。一方、指定領域SRから関心構造40を検出しなかった場合、関心構造検出部33は、関心構造40を検出しなかった旨を対象領域設定部34に出力する。なお、関心構造検出部33は、腫瘤51、スピキュラ52、石灰化53、および線構造54のすべてを検出するものであってもよいが、これらのうちの少なくとも1つを検出するものであってもよい。
 関心構造検出部33は、公知のコンピュータ支援診断(CAD;Computer-Aided Diagnosis)のアルゴリズムを用いて、指定領域SRから関心構造40を検出する。CADによるアルゴリズムにおいては、指定領域SRにおける画素が関心構造40であることを表す確率(尤度)が導出され、その確率が予め定められたしきい値以上となる画素が関心構造40として検出される。なお、CADによるアルゴリズムは関心構造40の種類毎に用意される。本実施形態においては、腫瘤51の検出用のCADアルゴリズム、スピキュラ52の検出用のCADアルゴリズム、石灰化53の検出用のCADアルゴリズム、および線構造54の検出用のアルゴリズムが用意される。
 なお、関心構造40を検出するための技術は、CADを用いるものに限定されない。CAD以外の技術としては、関心構造40を検出するためのフィルタによるフィルタリング処理、関心構造40を検出するようにディープラーニング等により機械学習がなされた検出モデル等によって、指定領域SRから関心構造40を検出するものであってもよい。
 図12および図13に示すように、対象領域設定部34は、断層画像Djの一部の領域を対象領域ORとして設定する。対象領域ORは、第1の解像度よりも高い第2の解像度とする処理、すなわち高解像度化処理を施す領域であり、各断層画像Dj内において、1つ以上の画素を含む領域である。
 図12は、関心構造検出部33が指定領域SRから関心構造40を検出した場合を示す。この場合、対象領域設定部34は、断層画像Djにおいて関心構造40を含む領域を、対象領域ORとして設定する。より詳しくは、対象領域設定部34は、関心構造検出部33から関心構造40の情報を受信する。そして、関心構造40の情報で表される関心構造40の画素の断層面情報DPIを読み出す。対象領域設定部34は、読み出した断層面情報DPIで表される断層面の断層画像Djの指定領域SRと同じ領域を、対象領域ORとして設定する。図12においては、合成2次元画像CG1の関心構造40に対応する関心構造40A~40Cが存在する、3つの断層面の3つの断層画像D2~D4に対して、対象領域ORが設定された場合を例示している。なお、指定領域SRと同じ領域ではなく、関心構造40の輪郭で取り囲まれる領域を、対象領域ORとして設定してもよい。
 一方、図13は、関心構造検出部33が指定領域SRから関心構造40を検出しなかった場合を示す。この場合、対象領域設定部34は、予め定められた設定断層面の断層画像Djにおいて指定領域SRに対応する領域を、対象領域ORとして設定する。より詳しくは、対象領域設定部34は、関心構造検出部33から関心構造40を検出しなかった旨を受信する。対象領域設定部34は、設定断層面の断層画像Djの指定領域SRと同じ領域を、対象領域ORとして設定する。図13においては、複数の断層面のうちの中心の断層面の断層画像DCと、断層画像DCの上下の断層面の断層画像DC-1およびDC+1に対して、対象領域ORが設定された場合を例示している。すなわち、これら断層画像DC、DC-1、およびDC+1は、本開示の技術に係る「設定断層面の断層画像」の一例である。なお、本例では、断層面において「上」とは頭部側、「下」とは腹部側を表す。
 設定断層面としては、例示の中心の断層面とその上下の1面ずつの断層面に限らない。中心の断層面とその上下のd(dは2以上の整数)面ずつの断層面でもよい。また、最上段の断層面とその下のd+1面の断層面でもよいし、最下段の断層面とその上のd-1面の断層面でもよい。さらには、すべての断層面を設定断層面としてもよい。
 なお、関心構造検出部33が指定領域SRから関心構造40を検出しない例としては、以下が考えられる。例えば、関心構造40があるとユーザが考えてカーソル50を合わせてクリックした領域に、実際は関心構造40がなかった場合である。あるいは、関心構造40は認められないが、ユーザが確認のために一応見ておこうとしてクリックした場合である。
 図14に示すように、高解像度化部35は、対象領域ORを第1の解像度から第2の解像度に高解像度化する処理を行う。第2の解像度は、第1の解像度よりも高い解像度であり、画素数にして例えば4倍である。高解像度化部35は、対象領域OR以外の断層画像Djの領域については、高解像度化の処理を行わない。こうして高解像度化部35は高解像度化の処理を対象領域ORのみに施すことにより、対象領域ORの高解像度部分画像HRPを生成する。高解像度部分画像HRPは、元の対象領域ORの画像よりも画素数が多く、かつ、関心構造40等の細部が精細に表現された画像である。高解像度化部35は、高解像度部分画像HRPを表示制御部36に出力する。
 図14においては、図12で示した断層画像D2の対象領域ORに対して高解像度化の処理が施された場合を例示している。なお、図示は省略したが、図12の場合は、断層画像D3およびD4の対象領域ORに対しても高解像度化の処理が施される。また、図13の場合は、断層画像DC、DC-1、およびDC+1のそれぞれの対象領域ORに対して高解像度化の処理が施される。
 高解像度化の処理としては、超解像の手法を適用する。超解像は、投影画像Giに基づいて断層画像Djの再構成時に設定される解像度を超える解像度とする処理である。超解像の手法としては、例えば、特開2020-025786号公報に記載された手法を挙げることができる。特開2020-025786号公報に記載された超解像の手法は、入力画像を超解像画像とするように機械学習された学習済みモデルを用いる処理である。学習済みモデルは、入力画像の画素の間に新たに画素を追加し、追加した新たな画素の画素値を補間することで、超解像画像を出力する。このような学習済みモデルは、例えば畳み込みニューラルネットワーク、リカレントニューラルネットワーク、およびサポートベクタマシン等のいずれかを用いて構築される。
 なお、超解像の手法は、上記の特開2020-025786号公報に記載された手法に限定されるものではない。例えば、最近傍補間、バイリニア補間、およびバイキューブリック補間のような任意の高次の補間法を用いることができる。また、<Daniel Glasner, et al.“Super-Resolution from a Single Image”、ICCV, 29 Sept.-2 Oct. 2009>に記載されているように、繰り返し出現する小領域(パッチと呼ばれる)を画像から抽出し、抽出した小領域の画素値を用いて元の画像を超解像化する手法も用いることができる。
 また、上下に隣り合う断層画像Djを用いて高解像度部分画像HRPを生成してもよい。例えば図12の断層画像D3に設定した対象領域ORについて、断層画像D2に設定した対象領域ORおよび断層画像D4に設定した対象領域ORも高解像度化に用いる。この場合、断層画像D2~D4における対象領域ORの画像を3次元画像と見なし、断層画像D3の対象領域ORの補間する画素に最も近い位置にあるk個の画素を用いたk近傍補間を行う。なお、kの値は6あるいは26等の任意の値を用いることができる。
 ここで、図15を参照して、単純拡大と高解像度化との相違について説明する。図15においては、4×4画素を8×8画素とする場合を例示している。このように画像を拡大した場合、1つの画素は2×2画素に増える。単純拡大した画像(以下、単純拡大画像と略す)MGPは、増えた画素の画素値に元の画素の画素値を単に宛がった画像である。対して高解像度部分画像HRPは、増えた画素の画素値に元の画素の画素値を単に宛がうことはせず、増えた画素の画素値を周囲の画素の画素値で補間することで、構造の輪郭をより精細に表現した画像である。例えば対象領域ORの画素61は、単純拡大画像MGPおよび高解像度部分画像HRPにおいては2×2画素の領域62が対応するが、単純拡大画像MGPの領域62の画素は、画素61と同じ画素値である。対して高解像度部分画像HRPの領域62の画素は、画素61と同じ画素値のものもあれば、異なる画素値のものもある。
 また、高解像度化の手法には、上述した断層画像Djに基づいて高解像度化する超解像の手法の他にも、図16に示すような、断層画像群SDを再構成する際に使用した投影画像Giを利用する方法がある。投影画像Giを利用する方法は、単純逆投影法等の周知の逆投影法を用いて、投影画像Giから、断層画像Dj内において選択された対象領域ORの画像を、高解像度部分画像HRPとして再構成する手法である。
 図16に示す例では、4つの投影画像G1~G4を用いた逆投影について説明する。乳房Mにおけるある断層面Tj上の座標位置P100の画素値は、投影画像G1~G4における対応する座標位置の画素値を逆投影することにより算出される。こうした逆投影が、断層面Tj内の各座標位置について行われることで、断層面Tjを表す断層画像Djが再構成される。
 高解像度化部35は、第1の解像度の断層画像Djを再構成する際に設定された断層面Tjにおいて、座標位置P100、P101、P102・・・の間に、さらに座標位置Ps1、Ps2、・・・を追加し、追加した座標位置Ps1、Ps2、・・・に対して、投影画像G1~G4における対応する座標位置の画素値を逆投影する。これにより、断層面Tj内に追加した座標位置Ps1、Ps2、・・・についても画素値が算出される。高解像度化部35は、このように投影画像Giを利用することにより、対象領域ORに対応する第2の解像度の高解像度部分画像HRPを生成する。
 図17および図18に示すように、表示制御部36は、表示条件66Aまたは66Bにしたがって、高解像度部分画像HRPおよび断層画像Djの表示順を決定する。
 図17は、図12の場合と同じく、関心構造検出部33が指定領域SRから関心構造40を検出した場合を示す。この場合、表示制御部36は、表示条件66Aにしたがって表示順を決定する。表示条件66Aは、「関心構造の面積最大」という内容である。このため、表示制御部36は、複数の高解像度部分画像HRPのうち、写っている関心構造40の面積が最大、すなわち写っている関心構造40の画素数が最も多い高解像度部分画像HRPの表示順を1位に決定する。表示制御部36は、写っている関心構造40の画素数が最も多い高解像度部分画像HRP以外の高解像度部分画像HRPについては、写っている関心構造40の面積が大きい順に表示順を決定する。また、表示制御部36は、対象領域ORを設定しておらず、高解像度部分画像HRPを生成しなかった他の断層画像Djについては、高解像度部分画像HRPよりも表示順を劣後させ、かつ上の断層面の断層画像Djほど表示順を上にする。
 図17においては、断層画像D3から生成された高解像度部分画像HRP(D3)に写る関心構造40Bの面積が最大である。次いで面積が大きいのは、断層画像D4から生成された高解像度部分画像HRP(D4)に写る関心構造40Cである。そして、面積が最も小さいのは、断層画像D2から生成された高解像度部分画像HRP(D2)に写る関心構造40Aである。このため、表示制御部36は、高解像度部分画像HRP(D3)の表示順を1位に決定する。以降の高解像度部分画像HRPの表示順は、一例として、関心構造40の面積が大きい順である。そして、高解像度部分画像HRPを生成しなかった他の断層画像Djの表示順には、高解像度部分画像HRPよりも後の順位であって、上の断層面の断層画像Djほど前の順位が設定される。なお、表示条件66Aは、関心構造40の3次元的な中心が存在する高解像度部分画像HRPの表示順を1位とする、という内容であってもよい。あるいは、表示条件66Aは、同じ関心構造40が存在する複数の断層画像Djのうち、最上段または最下段の断層面の断層画像Djから生成した高解像度部分画像HRPの表示順を1位とする、という内容であってもよい。
 一方、図18は、図13の場合と同じく、関心構造検出部33が指定領域SRから関心構造40を検出しなかった場合を示す。この場合、表示制御部36は、表示条件66Bにしたがって表示順を決定する。表示条件66Bは、「設定断層面のうちの基準断層面」という内容である。このため、表示制御部36は、複数の高解像度部分画像HRPのうち、基準断層面の断層画像Djから生成した高解像度部分画像HRPの表示順を1位に決定する。表示制御部36は、基準断層面の断層画像Djから生成した高解像度部分画像HRP以外の高解像度部分画像HRPについては、上の断層面の断層画像Djから生成した高解像度部分画像HRPほど表示順を上にする。また、表示制御部36は、図17の場合と同じく、対象領域ORを設定しておらず、高解像度部分画像HRPを生成しなかった他の断層画像Djについては、高解像度部分画像HRPよりも表示順を劣後させ、かつ上の断層面の断層画像Djほど表示順を上にする。
 図18においては、表示制御部36は、基準断層面である中心の断層面の断層画像DCから生成された高解像度部分画像HRP(DC)の表示順を1位に決定する。以降の高解像度部分画像HRPの表示順には、上の断層面ほど前の順位が設定される。また、高解像度部分画像HRPを生成しなかった他の断層画像Djの表示順には、高解像度部分画像HRPよりも後の順位であって、上の断層面の断層画像Djほど前の順位が設定される。なお、基準断層面は、最上段の断層面、または最下段の断層面であってもよい。
 表示制御部36は、表示順が1位に決定された高解像度部分画像HRPが高解像度化部35から入力された際に、図19に示す画面71をディスプレイ24に表示する。画面71には、合成2次元画像CG1、断層画像Dj、および高解像度部分画像HRPが並べて表示される。対象領域ORを指定して高解像度部分画像HRPを生成した断層画像Djには、対象領域ORが表示される。断層画像Djの下部には、複数の断層面の断層画像Djを1つずつ順に表示するための送りボタン72Aおよび戻しボタン73Aが設けられている。また、高解像度部分画像HRPの下部にも、複数の高解像度部分画像HRPを1つずつ順に表示するための送りボタン72Bおよび戻しボタン73Bが設けられている。指示受付部32は、送りボタン72Aおよび戻しボタン73Aの操作による断層画像Djの表示切替指示、および送りボタン72Bおよび戻しボタン73Bの操作による高解像度部分画像HRPの表示切替指示を受け付ける。送りボタン72Bおよび戻しボタン73Bの操作による高解像度部分画像HRPの表示切替指示は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例である。図19においては、断層画像D3、および断層画像D3から生成された高解像度部分画像HRP(D3)が表示された例を示している。なお、断層画像Djは表示せず、合成2次元画像CG1と高解像度部分画像HRPだけを表示してもよい。この場合は合成2次元画像CG1に対象領域ORが表示される。
 図20および図21に示すように、高解像度化部35は、送りボタン72Bおよび戻しボタン73Bの操作による高解像度部分画像HRPの表示切替指示を指示受付部32で受け付ける度に高解像度部分画像HRPを生成する。
 図20は、図12および図17で示した例において、送りボタン72Bが操作された場合を示す。この場合、表示制御部36は、最初に高解像度部分画像HRP(D3)を画面71に表示する。高解像度部分画像HRP(D3)が表示された状態で送りボタン72Bが操作された場合、高解像度化部35は高解像度部分画像HRP(D4)を生成し、表示制御部36は、高解像度部分画像HRP(D4)を画面71に表示する。高解像度部分画像HRP(D4)が表示された状態で送りボタン72Bが操作された場合、高解像度化部35は高解像度部分画像HRP(D2)を生成し、表示制御部36は、高解像度部分画像HRP(D2)を画面71に表示する。
 図21は、高解像度部分画像HRP(D2)が表示された状態において、戻しボタン73Bが操作された場合を示す。この場合、高解像度化部35は、高解像度部分画像HRP(D4)を生成し、表示制御部36は、高解像度部分画像HRP(D4)を画面71に表示する。高解像度部分画像HRP(D4)が表示された状態で戻しボタン73Bが操作された場合、高解像度化部35は高解像度部分画像HRP(D3)を生成し、表示制御部36は、高解像度部分画像HRP(D3)を画面71に表示する。
 次に、上記構成による作用について、図22のフローチャートを参照して説明する。まず、画像処理装置4において画像処理プログラム22が起動されると、図4で示したように、画像処理装置4のCPU21は、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36として機能される。
 表示制御部36の制御の下、図9で示した画面45がディスプレイ24に表示される。画面45において、入力ボックス46に所望の断層画像群SDのファイルパスが入力され、表示ボタン48が操作された場合、指示受付部32において合成2次元画像CG1の第1表示指示が受け付けられる(ステップST100でYES)。
 入力ボックス46にファイルパスが入力された断層画像群SDの配信要求が、画像取得部30からコンソール2または画像保存システム3に送信される。そして、配信要求に応じてコンソール2または画像保存システム3から配信された断層画像群SDが、画像取得部30により取得される(ステップST110)。断層画像群SDは、画像取得部30から合成部31に出力される。
 図7および図8で示したように、合成部31により、断層画像群SDから合成2次元画像CG1が生成される(ステップST120)。もしくは、画像保存システム3に合成部31が設けられており、画像保存システム3から配信された合成2次元画像CG1が、画像取得部30で取得されてもよい。合成2次元画像CG1は、合成部31から表示制御部36に出力される。そして、図9で示したように、表示制御部36の制御の下、合成2次元画像CG1を含む画面49がディスプレイ24に表示される(ステップST130)。ユーザは、画面49を通じて合成2次元画像CG1を読影する。
 画面49において、合成2次元画像CG1に写る乳房Mの関心のある箇所に、ユーザによりマウスのカーソル50が合わされてクリックされた場合、指定領域SRの入力指示が指示受付部32で受け付けられる(ステップST140でYES)。これにより、合成2次元画像CG1上に指定領域SRが設定される。指定領域SRの情報は、指示受付部32から対象領域設定部34に出力される。
 図12または図13で示したように、対象領域設定部34により、断層画像Djにおいて指定領域SRに応じた対象領域ORが設定される(ステップST150)。対象領域ORの画像は、対象領域設定部34から高解像度化部35に出力される。
 図14等で示したように、高解像度化部35により、対象領域ORの画像が高解像度化され、対象領域ORの高解像度部分画像HRPが生成される(ステップST160)。高解像度部分画像HRPは、高解像度化部35から表示制御部36に出力される。
 表示制御部36の制御の下、合成2次元画像CG1、断層画像Dj、および高解像度部分画像HRPを含む図19で示した画面71がディスプレイ24に表示される(ステップST170)。ユーザは、画面71を通じて、断層画像Djおよび高解像度部分画像HRPを詳細に読影する。
 以上説明したように、画像処理装置4のCPU21は、画像取得部30、指示受付部32、対象領域設定部34、高解像度化部35、および表示制御部36として機能する。画像取得部30は、乳房Mの複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像Djを取得する。指示受付部32は、ユーザからの読影に関する操作指示として、指定領域SRの入力指示を受け付ける。対象領域設定部34は、指示受付部32において指定領域SRの入力指示を受け付けた場合に、断層画像Djの一部の領域であって、指定領域SRに応じた領域を、対象領域ORとして設定する。高解像度化部35は、第1の解像度よりも高い第2の解像度とする処理を対象領域ORのみに施すことにより、対象領域ORの高解像度部分画像HRPを生成する。表示制御部36は、高解像度部分画像HRPを表示する。
 このように、高解像度化する領域は対象領域ORのみに限られる。このため、断層画像Djの全領域を高解像度化する場合と比べて、高解像度の断層画像(この場合は高解像度部分画像HRP)の表示に掛かる時間を短縮化することが可能となる。また、事前にすべての断層面の断層画像Djを高解像度化する必要がないため、ストレージ23の記憶容量が圧迫される等の問題も生じない。
 指示受付部32は、読影に関する操作指示として、乳房Mの投影像である2次元画像の一例である合成2次元画像CG1に対する指定領域SRの入力指示を受け付ける。対象領域設定部34は、指定領域SRに基づいて対象領域ORを設定する。このため、ユーザが関心のある箇所をピンポイントで高解像度化することができる。
 図12で示したように、関心構造検出部33は、指定領域SRに対して関心構造40を検出する処理を行う。関心構造40を検出した場合、対象領域設定部34は、断層画像Djにおいて関心構造40を含む領域を、対象領域ORとして設定する。このため、関心構造40を高解像度化して詳細に読影することができる。
 一方、図13で示したように、関心構造検出部33において関心構造40を検出しなかった場合、予め定められた設定断層面の断層画像Djにおいて指定領域SRに対応する領域を、対象領域ORとして設定する。このため、関心構造40は認められないが、ユーザが確認のために一応見ておこうとして、合成2次元画像CG1の乳房Mの部分をクリックした場合等にも対応することができる。なお、関心構造検出部33において関心構造40を検出しなかった場合は、対象領域ORの設定、高解像度部分画像HRPの生成、および高解像度部分画像HRPの表示を行わずに、「関心構造が見つかりません。他の部分を指定して下さい。」といった警告メッセージの表示画面を画面49上に表示する等してもよい。
 図11で示したように、関心構造40は、腫瘤51、スピキュラ52、石灰化53、および線構造54のうち少なくとも1つである。腫瘤51は数%程度が悪性の可能性がある。スピキュラ52は、硬癌や浸潤性小葉癌に特徴的な所見である。石灰化53は癌化する可能性がある。線構造54は、腫瘤51、スピキュラ52、および石灰化53といった病変が発生しやすい。このため、これら腫瘤51、スピキュラ52、石灰化53、および線構造54のうちの少なくとも1つを関心構造40とすれば、より効率的な読影を行うことができる。
 図14で示したように、高解像度化部35は、第1の解像度を第2の解像度とする処理に、超解像の手法を適用する。このため、細部が非常に高精細に表現された画像で読影を行うことができる。
 図20および図21で示したように、対象領域設定部34において対象領域ORを複数設定し、かつ高解像度化部35において高解像度部分画像HRPを複数生成する場合、ユーザからの高解像度部分画像HRPの第2表示指示(送りボタン72Bおよび戻しボタン73Bの操作)を受け付ける度に高解像度部分画像HRPを生成する。高解像度部分画像HRPは比較的短時間で生成することができる。このため、高解像度部分画像HRPの第2表示指示があってから実際に高解像度部分画像HRPが表示されるまでに、実用上問題視される程の長いタイムラグが生じるおそれはない。
 図19の画面71で示したように、表示制御部36は、対象領域ORを設定した断層画像Djとは別に高解像度部分画像HRPを表示する。このため、断層画像Djで乳房Mの全体を観察しつつ、高解像度部分画像HRPで対象領域ORを詳細に観察することができる。
 図17および図18で示したように、表示制御部36は、対象領域ORを設定していない断層画像Djよりも、高解像度部分画像HRPを先に表示する。このため、より優先順位が高い高解像度部分画像HRPを先んじて読影することができる。
 図17および図18で示したように、対象領域設定部34において対象領域ORを複数設定し、かつ高解像度化部35において高解像度部分画像HRPを複数生成する場合、表示制御部36は、複数の高解像度部分画像HRPのうち、予め定められた表示条件66Aまたは66Bを満たす1つの高解像度部分画像HRPを最初に表示する。このため、最も重要と考えられる高解像度部分画像HRPを最初に読影することができる。
 図14の説明では、図12の場合、断層画像D2、D3、およびD4のすべての対象領域ORの高解像度部分画像HRPを生成するとしたが、これに限らない。面積が最大の関心構造40Bが写る断層画像D3の対象領域ORの高解像度部分画像HRP(D3)のみを生成してもよい。同様に、図13の場合、断層画像DC、DC-1、およびDC+1のすべての対象領域ORの高解像度部分画像HRPを生成するとしたが、これに限らない。例えば中心の断層面の断層画像DCの対象領域ORの高解像度部分画像HRP(DC)のみを生成してもよい。
 複数の放射線源16を各線源位置Siに並べ、複数の放射線源16から順次放射線を照射させて投影画像Giを撮影してもよい。
 なお、図23に示すように、ユーザによる高解像度部分画像HRPの第2表示指示を受け付ける度ではなく、高解像度部分画像HRPの第2表示指示を受け付ける前に、複数の対象領域ORの各々の高解像度部分画像HRPを生成してもよい。
 図23は、図12および図17で示した例において、送りボタン72Bが操作された場合を示す。この場合、高解像度化部35は、高解像度部分画像HRP(D2)、HRP(D3)、およびHRP(D4)を事前に生成する。表示制御部36は、最初に高解像度部分画像HRP(D3)を画面71に表示する。高解像度部分画像HRP(D3)が表示された状態で送りボタン72Bが操作された場合、表示制御部36は、高解像度部分画像HRP(D4)を画面71に表示する。高解像度部分画像HRP(D4)が表示された状態で送りボタン72Bが操作された場合、表示制御部36は、高解像度部分画像HRP(D2)を画面71に表示する。
 図23で示した態様によれば、すべての高解像度部分画像HRPを先に生成しておくので、高解像度部分画像HRPの第2表示指示があってから実際に高解像度部分画像HRPが表示されるまでに、ほとんど時間が掛からない。また、断層画像Djの全領域を高解像度化した画像よりも高解像度部分画像HRPはデータ量が少ないため、ストレージ23の記憶容量が圧迫されるおそれもない。なお、図23は、図12および図17で示した例に適用した場合を示したが、図13および図18で示した例に適用して、事前に高解像度部分画像HRP(DC)、HRP(DC-1)、およびHRP(DC+1)を生成してもよい。
 図24および図25に示す表示態様を採用してもよい。
 図24に示すように、表示制御部36は、対象領域ORを設定した断層画像Djの対象領域OR以外の領域を、第2の解像度に合わせて単純拡大し、断層画像Djを単純拡大断層画像Dj_MGPとする。そして、表示制御部36は、単純拡大断層画像Dj_MGPに、高解像度部分画像HRPを合成する。図24においては、関心構造40Bに対象領域ORが設定された断層画像D3の単純拡大断層画像D3_MGPに、関心構造40Bを含む高解像度部分画像HRPを合成する様子を例示している。
 この場合、表示制御部36は、図19で示した画面71に代えて、図25に示す画面81をディスプレイ24に表示する。画面81には、合成2次元画像CG1と、高解像度部分画像HRPが合成された単純拡大断層画像Dj_MGPとが並べて表示される。図25では、単純拡大断層画像D3_MGPが表示された例を示している。
 図24および図25で示した表示態様によれば、断層画像Dj上で高解像度部分画像HRPを観察することができる。なお、図19で示した画面71と同様に、画面81において高解像度部分画像HRPも並べて表示してもよい。
 図10で示した画面49においては、ユーザが関心のある箇所にカーソル50を合わせてクリックすることで指定領域SRが指定され、その後諸々の処理が行われて高解像度部分画像HRPが生成され、図19で示した画面71によって高解像度部分画像HRPが表示されるが、これに限らない。図26~図28に示す態様を採用してもよい。
 図26において、図10で示した画面49に代えてディスプレイ24に表示される画面86には、アノテーション付与ボタン87および高解像度化ボタン88が設けられている。合成2次元画像CG1に写る乳房Mの関心のある箇所にアノテーション89を付与したい場合、ユーザは、図27に示すように、関心のある箇所にマウスのカーソル50を合わせてクリックしたうえで、アノテーション付与ボタン87を選択する。これにより、カーソル50を合わせた箇所にアノテーション89を付与することができる。
 一方、関心のある箇所の高解像度部分画像HRPを見たい場合、ユーザは、図28に示すように、関心のある箇所にマウスのカーソル50を合わせてクリックしたうえで、高解像度化ボタン88を選択する。これにより、カーソル50を合わせた箇所に指定領域SRが設定され、その後諸々の処理が行われて高解像度部分画像HRPが表示される。高解像度化ボタン88は、本開示の技術に係る「グラフィカルユーザインターフェース」の一例である。また、高解像度化ボタン88の操作は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例である。
 図26~図28で示した態様によれば、アノテーション89の付与といった高解像度化以外の処理を関心のある箇所に対して行うことができる。高解像度化以外の処理としては、アノテーション89の付与に限らず、例えばカーソル50を合わせてクリックした箇所に病変の種類を推定するCADを適用する処理等でもよい。なお、マウスのクリックと高解像度化ボタン88の選択の順序を逆にしてもよい。つまり、高解像度化ボタン88を選択したうえで、関心のある箇所にマウスのカーソル50を合わせてクリックしてもよい。
 [第2実施形態]
 上記第1実施形態では、ユーザの操作により設定された指定領域SRに基づいて対象領域ORを設定しているが、これに限らない。図29~図31に示す第2実施形態を採用してもよい。
 図29において、関心構造検出部33は、合成2次元画像CG1の第1表示指示を指示受付部32で受け付けた場合に、合成2次元画像CG1に対して関心構造40を検出する処理を行う。合成2次元画像CG1の第1表示指示は、図9で示したように、表示ボタン48の操作である。また、関心構造検出部33が検出する関心構造40は、上記第1実施形態と同じく、腫瘤51、スピキュラ52、石灰化53、および線構造54である。なお、合成2次元画像CG1に代えて、単純2次元画像Gc0に対して関心構造40を検出する処理を行ってもよい。
 関心構造検出部33は、検出した関心構造40を含む検出領域DRを設定する。検出領域DRは、検出した関心構造40を囲み、関心構造40の中心と中心が一致する矩形である。検出領域DRは、関心構造40よりも一回り、例えば2割~3割程度大きいサイズを有する。関心構造検出部33は、検出領域DRの画像情報を対象領域設定部34に出力する。図29においては、関心構造40_1および40_2が検出され、関心構造40_1に対して検出領域DR_1が設定され、関心構造40_2に対して検出領域DR_2が設定された場合を例示している。なお、検出領域DRは、指定領域SRと同様に、予め定められたサイズであってもよい。また、円形等の任意の形状であってもよいし、関心構造40の種類に応じたサイズであってもよい。また、検出領域DRは、関心構造検出部33で検出した関心構造40の輪郭で取り囲まれる領域であってもよい。
 対象領域設定部34は、断層画像Djにおいて、検出した関心構造40を含む領域、すなわち検出領域DRを、対象領域ORとして設定する。より詳しくは、対象領域設定部34は、上記第1実施形態と同様に、断層面情報DPIを参照して関心構造40が存在する断層面を特定し、特定した断層面の断層画像Djの検出領域DRと同じ領域を、対象領域ORとして設定する。図29においては、関心構造40_1の検出領域DR_1に対して、関心構造40_1に対応する関心構造40_1A、40_1B、40_1C、および40_1Dの対象領域OR_1を設定し、関心構造40_2の検出領域DR_2に対して、関心構造40_2に対応する関心構造40_2A、40_2B、および40_2Cの対象領域OR_2を設定した場合を例示している。なお、検出領域DRと同じ領域ではなく、関心構造40の輪郭で取り囲まれる領域を、対象領域ORとして設定してもよい。
 本第2実施形態では、図30に示すように、合成2次元画像CG1を含む画面91に、高解像度画像表示ボタン92が設けられる。この高解像度画像表示ボタン92が選択された場合に、図19で示した高解像度部分画像HRPを含む画面71、あるいは図25で示した高解像度部分画像HRPが合成された単純拡大断層画像Dj_MGPを含む画面81が表示される。すなわち、高解像度画像表示ボタン92は、本開示の技術に係る「グラフィカルユーザインターフェース」の一例である。また、高解像度画像表示ボタン92の操作は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例である。なお、最初に表示する高解像度部分画像HRPは、例えば図17の場合と同じく、関心構造40の面積が最大の高解像度部分画像HRPである。
 図31は、本第2実施形態の作用を説明するためのフローチャートである。上記第1実施形態と同じく、指示受付部32において合成2次元画像CG1の第1表示指示が受け付けられ(ステップST100でYES)、画像取得部30において断層画像群SDが取得される(ステップST110)。そして、合成部31により合成2次元画像CG1が生成され(ステップST120)、表示制御部36の制御の下、合成2次元画像CG1を含む画面91がディスプレイ24に表示される(ステップST130)。
 画面91において合成2次元画像CG1の読影が行われている間に、図29で示したように、関心構造検出部33により、合成2次元画像CG1に対して関心構造40を検出する処理が行われる(ステップST200)。そして、対象領域設定部34により、断層画像Djにおいて、関心構造40を含む検出領域DRに応じた対象領域ORが設定される(ステップST210)。続いて、高解像度化部35により、対象領域ORの画像が高解像度化され、対象領域ORの高解像度部分画像HRPが生成される(ステップST160)。
 画面91において、高解像度画像表示ボタン92が選択された場合、高解像度部分画像HRPの第2表示指示が指示受付部32で受け付けられる(ステップST220でYES)。そして、表示制御部36の制御の下、高解像度部分画像HRPがディスプレイ24に表示される(ステップST170)。
 このように、第2実施形態では、合成2次元画像CG1の第1表示指示を受け付けた場合に、関心構造検出部33により、合成2次元画像CG1に対して関心構造40を検出する処理を行う。そして、対象領域設定部34により、断層画像Djにおいて、検出した関心構造40を含む領域を、対象領域ORとして設定する。このため、上記第1実施形態のように関心のある箇所にマウスのカーソル50を合わせてクリックするという操作を行うことなく、高解像度部分画像HRPを表示することができる。また、関心構造検出部33の検出精度が高ければ、ユーザの目では見落とすかもしれない関心構造40を余すところなく検出して、高解像度部分画像HRPを生成、表示することができる。
 なお、高解像度画像表示ボタン92を設けることなく、高解像度部分画像HRPが生成され次第、画面91に高解像度部分画像HRPを表示してもよい。また、高解像度画像表示ボタン92が選択された場合に、関心構造40を検出する処理を行ってもよい。
 上記第1実施形態の関心のある箇所にマウスのカーソル50を合わせてクリックする操作をユーザに行わせる態様と、本第2実施形態の態様とを、ユーザが選択可能に構成してもよい。
 合成2次元画像CG1に代えて単純2次元画像Gc0を用いる場合は、断層面情報DPIを以下の方法で生成してもよい。すなわち、単純2次元画像Gc0および断層画像Djを複数の領域(例えば2画素×2画素の領域)に分割する。そして、単純2次元画像Gc0の領域と各断層画像Djの領域との相関を求め、相関が相対的に大きい領域を有する断層画像Djの断層面を、単純2次元画像Gc0の当該領域の画素に対応する断層面として記録する。なお、合成2次元画像CG1の場合においても同様に、上記の相関を求める手法を適用して断層面情報DPIを生成してもよい。
 複数の断層面の断層画像Djを1つずつ順に表示するための操作として、送りボタン72Aおよび戻しボタン73Aの操作を例示し、複数の高解像度部分画像HRPを1つずつ順に表示するための操作として、送りボタン72Bおよび戻しボタン73Bの操作を例示したが、これに限らない。マウスのスクロールボタンの操作に応じて、複数の断層面の断層画像Dj、および/または、複数の高解像度部分画像HRPを順に表示してもよい。
 上記各実施形態では、トモシンセシス撮影で得られた断層画像Djを例示したが、これに限らない。例えばCT(Computed Tomography)撮影、PET(Positron Emission Tomography)撮影、SPECT(Single Photon Emission Computed Tomography)撮影、あるいはMRI(Magnetic Resonance Imaging)撮影で得られた断層画像でもよい。
 上記各実施形態において、例えば、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(画像処理プログラム22)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU21に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
 本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。
 以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
 本明細書に記載されたすべての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (19)

  1.  プロセッサと、
     前記プロセッサに接続または内蔵されたメモリと、を備え、
     前記プロセッサは、
     被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得し、
     ユーザからの読影に関する操作指示を受け付けた場合に、前記断層画像の一部の領域を対象領域として設定し、
     前記第1の解像度よりも高い第2の解像度とする処理を前記対象領域のみに施すことにより、前記対象領域の高解像度部分画像を生成し、
     前記高解像度部分画像を表示する、
    画像処理装置。
  2.  前記プロセッサは、
     前記操作指示として、前記被写体の投影像である2次元画像に対する指定領域の入力指示を受け付け、
     前記指定領域に基づいて前記対象領域を設定する請求項1に記載の画像処理装置。
  3.  前記プロセッサは、
     前記指定領域に対して関心構造を検出する処理を行い、
     前記関心構造を検出した場合、前記断層画像において前記関心構造を含む領域を、前記対象領域として設定する請求項2に記載の画像処理装置。
  4.  前記プロセッサは、
     前記指定領域に対して関心構造を検出する処理を行い、
     前記関心構造を検出しなかった場合、予め定められた設定断層面の断層画像において前記指定領域に対応する領域を、前記対象領域として設定する請求項2または請求項3に記載の画像処理装置。
  5.  前記被写体は乳房であり、
     前記関心構造は、腫瘤、スピキュラ、石灰化、および線構造のうち少なくとも1つである請求項3または請求項4に記載の画像処理装置。
  6.  前記複数の断層画像は、異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影により得られたものであり、
     前記2次元画像は、放射線源を放射線検出器に正対させて前記放射線を照射する単純撮影により得られた単純2次元画像、および合成画像生成技術を用いて前記複数の断層画像から合成された疑似的な単純2次元画像である合成2次元画像のうちのいずれかである請求項2から請求項5のいずれか1項に記載の画像処理装置。
  7.  前記プロセッサは、
     前記操作指示として、前記被写体の投影像である2次元画像の第1表示指示を受け付けた場合に、前記2次元画像に対して関心構造を検出する処理を行い、
     前記関心構造を検出した場合、前記断層画像において検出した前記関心構造を含む領域を、前記対象領域として設定する請求項1から請求項6のいずれか1項に記載の画像処理装置。
  8.  前記被写体は乳房であり、
     前記関心構造は、腫瘤、スピキュラ、石灰化、および線構造のうち少なくとも1つである請求項7に記載の画像処理装置。
  9.  前記複数の断層画像は、異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影により得られたものであり、
     前記2次元画像は、放射線源を放射線検出器に正対させて前記放射線を照射する単純撮影により得られた単純2次元画像、および合成画像生成技術を用いて前記複数の断層画像から合成された疑似的な単純2次元画像である合成2次元画像のうちのいずれかである請求項7または請求項8に記載の画像処理装置。
  10.  前記プロセッサは、
     前記第1の解像度を前記第2の解像度とする処理に、超解像の手法を適用する請求項1から請求項9のいずれか1項に記載の画像処理装置。
  11.  前記プロセッサは、
     前記対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、ユーザからの前記高解像度部分画像の第2表示指示を受け付ける度に前記高解像度部分画像を生成する請求項1から請求項10のいずれか1項に記載の画像処理装置。
  12.  前記プロセッサは、
     前記対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、ユーザからの前記高解像度部分画像の第2表示指示を受け付ける前に、複数の前記対象領域の各々の前記高解像度部分画像を生成する請求項1から請求項10のいずれか1項に記載の画像処理装置。
  13.  前記プロセッサは、
     前記対象領域を設定した断層画像とは別に前記高解像度部分画像を表示する請求項1から請求項12のいずれか1項に記載の画像処理装置。
  14.  前記プロセッサは、
     前記対象領域を設定した断層画像の前記対象領域以外の領域を、前記第2の解像度に合わせて単純拡大した拡大画像に、前記高解像度部分画像を合成して表示する請求項1から請求項13のいずれか1項に記載の画像処理装置。
  15.  前記プロセッサは、
     前記対象領域を設定していない前記断層画像よりも、前記高解像度部分画像を先に表示する請求項1から請求項14のいずれか1項に記載の画像処理装置。
  16.  前記プロセッサは、
     前記対象領域を複数設定し、かつ前記高解像度部分画像を複数生成する場合、複数の前記高解像度部分画像のうち、予め定められた表示条件を満たす1つの前記高解像度部分画像を最初に表示する請求項1から請求項15のいずれか1項に記載の画像処理装置。
  17.  前記プロセッサは、
     前記操作指示を受け付けた後に、グラフィカルユーザインターフェースを通じて前記高解像度部分画像の第2表示指示を受け付けた場合に、前記高解像度部分画像を表示する請求項1から請求項16のいずれか1項に記載の画像処理装置。
  18.  被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、
     ユーザからの読影に関する操作指示を受け付けた場合に、前記断層画像の一部の領域を対象領域として設定すること、
     前記第1の解像度よりも高い第2の解像度とする処理を前記対象領域のみに施すことにより、前記対象領域の高解像度部分画像を生成すること、および、
     前記高解像度部分画像を表示すること、
    を含む画像処理装置の作動方法。
  19.  被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、
     ユーザからの読影に関する操作指示を受け付けた場合に、前記断層画像の一部の領域を対象領域として設定すること、
     前記第1の解像度よりも高い第2の解像度とする処理を前記対象領域のみに施すことにより、前記対象領域の高解像度部分画像を生成すること、および、
     前記高解像度部分画像を表示すること、
    を含む処理をコンピュータに実行させる画像処理装置の作動プログラム。
PCT/JP2021/023596 2020-09-29 2021-06-22 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム WO2022070532A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022553471A JP7479494B2 (ja) 2020-09-29 2021-06-22 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
EP21874836.6A EP4224414A4 (en) 2020-09-29 2021-06-22 IMAGE PROCESSING DEVICE, METHOD FOR OPERATING THE IMAGE PROCESSING DEVICE AND PROGRAM FOR OPERATING THE IMAGE PROCESSING DEVICE
US18/178,434 US20230206397A1 (en) 2020-09-29 2023-03-03 Image processing device, method for operating image processing device, and program for operating image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020163981 2020-09-29
JP2020-163981 2020-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/178,434 Continuation US20230206397A1 (en) 2020-09-29 2023-03-03 Image processing device, method for operating image processing device, and program for operating image processing device

Publications (1)

Publication Number Publication Date
WO2022070532A1 true WO2022070532A1 (ja) 2022-04-07

Family

ID=80949848

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023596 WO2022070532A1 (ja) 2020-09-29 2021-06-22 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Country Status (4)

Country Link
US (1) US20230206397A1 (ja)
EP (1) EP4224414A4 (ja)
JP (1) JP7479494B2 (ja)
WO (1) WO2022070532A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087921A (ja) * 2004-09-21 2006-04-06 General Electric Co <Ge> 対象領域情報を用いて連続的に多重解像度3次元画像を再構成する方法およびシステム
JP2009276163A (ja) * 2008-05-14 2009-11-26 Shimadzu Corp X線断層像撮影装置
JP2010011964A (ja) * 2008-07-02 2010-01-21 Toshiba Corp 医用画像処理装置および医用画像処理プログラム
JP2015006324A (ja) * 2013-05-27 2015-01-15 株式会社東芝 X線ct装置及び画像診断装置
US20150201890A1 (en) 2012-07-09 2015-07-23 The Trustees Of The University Of Pennsylvania Super-resolution tomosynthesis imaging systems and methods
JP2020025786A (ja) 2018-08-14 2020-02-20 富士フイルム株式会社 画像処理装置、方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634622B2 (en) * 2008-10-16 2014-01-21 Icad, Inc. Computer-aided detection of regions of interest in tomographic breast imagery
US10593069B2 (en) * 2013-03-15 2020-03-17 Real Time Tomography, Llc Enhancements for displaying and viewing Tomosynthesis images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087921A (ja) * 2004-09-21 2006-04-06 General Electric Co <Ge> 対象領域情報を用いて連続的に多重解像度3次元画像を再構成する方法およびシステム
JP2009276163A (ja) * 2008-05-14 2009-11-26 Shimadzu Corp X線断層像撮影装置
JP2010011964A (ja) * 2008-07-02 2010-01-21 Toshiba Corp 医用画像処理装置および医用画像処理プログラム
US20150201890A1 (en) 2012-07-09 2015-07-23 The Trustees Of The University Of Pennsylvania Super-resolution tomosynthesis imaging systems and methods
JP2015006324A (ja) * 2013-05-27 2015-01-15 株式会社東芝 X線ct装置及び画像診断装置
JP2020025786A (ja) 2018-08-14 2020-02-20 富士フイルム株式会社 画像処理装置、方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANIEL GLASNER ET AL.: "Super-Resolution from a Single Image", ICCV, vol. 29, 2 October 2009 (2009-10-02)
See also references of EP4224414A4

Also Published As

Publication number Publication date
EP4224414A4 (en) 2024-03-13
US20230206397A1 (en) 2023-06-29
JP7479494B2 (ja) 2024-05-08
EP4224414A1 (en) 2023-08-09
JPWO2022070532A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
JP6208731B2 (ja) トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法
JP7326070B2 (ja) 画像表示装置、方法およびプログラム、画像管理装置、方法およびプログラム
JP2009000167A (ja) 医用画像診断装置及び医用画像表示装置
WO2022070532A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7270781B2 (ja) 画像設定装置、画像設定装置の作動方法および画像設定プログラム
JP7203705B2 (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
WO2022070531A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7430814B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7384990B2 (ja) 画像管理装置、方法およびプログラム
US20220309671A1 (en) Image processing device, image processing method, and image processing program
US20230146430A1 (en) Image processing device, image processing method, and image processing program
JP7209599B2 (ja) 画像処理装置、方法およびプログラム
US20220392064A1 (en) Image processing device, image processing method, and image processing program
US20220309657A1 (en) Image processing device, image processing method, and image processing program
US20220398726A1 (en) Image processing device, image processing method, and image processing program
WO2022097524A1 (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
JP7270782B2 (ja) 画像設定装置、画像設定装置の作動方法および画像設定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21874836

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553471

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021874836

Country of ref document: EP

Effective date: 20230502