WO2020129979A1 - 画像処理装置、方法及びプログラム - Google Patents

画像処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2020129979A1
WO2020129979A1 PCT/JP2019/049421 JP2019049421W WO2020129979A1 WO 2020129979 A1 WO2020129979 A1 WO 2020129979A1 JP 2019049421 W JP2019049421 W JP 2019049421W WO 2020129979 A1 WO2020129979 A1 WO 2020129979A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
allocated
segmentation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/049421
Other languages
English (en)
French (fr)
Inventor
悠 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020561458A priority Critical patent/JP7204781B2/ja
Publication of WO2020129979A1 publication Critical patent/WO2020129979A1/ja
Priority to US17/349,930 priority patent/US11972570B2/en
Anticipated expiration legal-status Critical
Priority to US18/600,778 priority patent/US12299894B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present disclosure relates to an image processing device, method, and program for correcting a region of interest assigned in a segmentation image.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • Diagnosis and treatment are performed by automatically segmenting regions of interest such as organs and lesions in medical images such as CT images acquired by a CT device and MR images acquired by an MRI device, and visualizing the segmented medical images. It is used to support such as.
  • the above segmentation is performed by using an automatic organ segmentation engine that uses image processing technology, for example.
  • an automatic organ segmentation engine that uses image processing technology, for example.
  • the region of interest is automatically extracted as described above, an overextracted region and an unextracted region may occur, and segmentation is not always performed properly. If the segmentation using the automatic organ segmentation engine fails, the automatically assigned regions of interest need to be manually corrected. However, in the case of manual correction, it is necessary to select to which region of interest the region designated as the region to be corrected is to be assigned. The larger the number of regions of interest assigned by segmentation, the more burden the user has to select. growing.
  • the present disclosure makes it possible to correct the allocation of the area desired by the user while reducing the burden on the user.
  • An image processing device includes an image acquisition unit that acquires a segmentation image obtained by dividing a target image into a plurality of regions, In the segmentation image, a reception unit that receives the position information of the position specified by the user, For a position on the segmentation image indicated by the position information received by the reception unit, a priority order acquisition unit that acquires the priority order of the areas to be allocated from the plurality of areas based on the image information, Based on the priority order acquired by the priority order acquisition section, a display control section that performs control so that the area to be allocated can be selected and candidates for the area to be allocated are displayed on the display section, including.
  • the priority acquisition unit assigns the priority order based on the score of each area of the plurality of areas acquired based on the segmentation algorithm when dividing the target image into the plurality of areas. Can be obtained.
  • the score of each area is the existence probability of each pixel of the target image, and even the existence probability indicating that each pixel exists in each area of the plurality of areas. Good.
  • the display control unit can perform control of displaying the candidates of the area to be allocated on the display unit in descending order of priority based on the input information input from the input unit. ..
  • the display control unit can perform control to display the position designated by the user in a preset color for each candidate of the area to be allocated.
  • the display control unit displays the position designated by the user in association with at least one piece of information of score, color information, and name information for each candidate of the area to be assigned. Control can be performed.
  • the image processing method of the present disclosure acquires a segmentation image obtained by dividing a target image into a plurality of regions, The position information of the position specified by the user in the segmentation image is accepted, For the position on the segmentation image indicated by the received position information, the priority of the area to be allocated from a plurality of areas is acquired based on the image information, Based on the acquired priority, control is performed so that the area to be allocated can be selected and candidates for the area to be allocated are displayed on the display unit.
  • a program for causing a computer to execute the image processing method according to the present disclosure may be provided.
  • the image processing program of the present disclosure is Acquiring a segmentation image obtained by dividing the target image into a plurality of regions, In the segmentation image, accepting position information of the position specified by the user, With respect to the position on the segmentation image indicated by the received position information, acquiring the priority order of the regions to be allocated from the plurality of regions based on the image information, Based on the acquired priority order, the area to be allocated can be selected, and the control for displaying the candidates of the area to be allocated on the display unit, Causes the computer to execute.
  • FIG. 1 is a diagram for explaining an example of display of candidates for an area to be allocated (Part 1)
  • FIG. 2 is a diagram for explaining an example of display of candidates for an area to be allocated (Part 2)
  • FIG. 3 is a diagram for explaining an example of display of candidates for an area to be allocated (Part 3)
  • FIG. 4 is a diagram for explaining an example of display of candidates for an area to be allocated (Part 4)
  • FIG. 6 is a diagram for explaining another example of displaying candidates for an area to be allocated.
  • FIG. 1 is a hardware configuration diagram showing an outline of a diagnosis support system to which an image processing device according to an embodiment of the present disclosure is applied.
  • the image processing apparatus 1, the three-dimensional image capturing apparatus 2, and the image storage server 3 according to the present embodiment are connected in a communicable state via a network 4. ..
  • the three-dimensional image capturing device 2 is a device that captures a region of a subject to be diagnosed to generate a three-dimensional image representing the region, and specifically, a CT device, an MRI device, and a PET ( Positron Emission Tomography) device.
  • the three-dimensional image generated by the three-dimensional image capturing device 2 is transmitted to and stored in the image storage server 3.
  • the 3D image capturing apparatus 2 is a CT apparatus, and generates a CT image including a part of the subject to be diagnosed as a 3D image.
  • the three-dimensional image is composed of a plurality of tomographic images. Note that the three-dimensional image corresponds to the target image of the present disclosure.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to send and receive image data and the like.
  • various data including image data of a three-dimensional image generated by the three-dimensional image capturing device 2 is acquired via a network and stored in a recording medium such as a large capacity external storage device for management.
  • the storage format of the image data and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • DICOM Digital Imaging and Communication in Medicine
  • the image processing apparatus 1 is a computer in which the image processing program of this embodiment is installed.
  • the computer may be a workstation or a personal computer directly operated by a doctor who makes a diagnosis, or may be a server computer connected to the workstation or personal computer via a network.
  • the image processing program is recorded and distributed in a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage so as to be accessible from the outside, and is downloaded and installed in a computer used by a doctor upon request.
  • FIG. 2 is a diagram showing a schematic configuration of an image processing apparatus realized by installing an image processing program on a computer.
  • the image processing apparatus 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration.
  • a display unit 14 such as a liquid crystal display and an input unit 15 such as a keyboard and a mouse are connected to the image processing apparatus 1.
  • a mouse with a wheel is provided as the input unit 15.
  • the storage 13 is composed of a hard disk drive or the like, and stores various kinds of information including three-dimensional images acquired from the image storage server 3 via the network 4 and information necessary for processing.
  • the memory 12 also stores an image processing program.
  • the image processing program as a process to be executed by the CPU 11, extracts a plurality of regions of interest from the target image, generates a segmentation image by dividing the target image into a plurality of regions, and divides the target image into a plurality of regions.
  • Priority acquisition processing for acquiring the priority based on the image information
  • display control processing for performing control to display a candidate for the allocation area on the display unit so that the allocation area can be selected based on the acquired priority. Stipulate.
  • the computer functions as the segmentation processing unit 20, the image acquisition unit 21, the reception unit 22, the priority order acquisition unit 23, and the display control unit 24 by the CPU 11 executing these processes according to the program.
  • the segmentation processing unit 20 extracts a plurality of regions of interest from the three-dimensional image acquired by the image acquisition unit 21 described later, and generates a segmentation image in which the three-dimensional image is divided into a plurality of regions.
  • the segmentation processing unit 20 includes a learned model that has been machine-learned so as to extract a region of interest from a three-dimensional image.
  • the trained model is a convolutional neural network (CNN) that has undergone deep learning so that structures such as organs, bones, and cartilage to be diagnosed can be extracted as regions of interest. It is composed of a neural network such as a recurrent neural network (RNN (Recurrent Neural Network)).
  • RNN recurrent Neural Network
  • the organs to be diagnosed include the heart, liver, lungs, kidneys and brain.
  • the learned model outputs a determination result indicating whether or not each pixel of the 3D image is a region of interest.
  • the discrimination result is the existence probability that each pixel is assigned to each region of interest.
  • the “presence probability” is the probability that each pixel exists in each region of interest. Then, the segmentation processing unit 20 generates a segmentation image by assigning the region having the highest existence probability among all regions of the three-dimensional image to the region of interest. In the present embodiment, the existence probability of each pixel output by the segmentation processing unit 20 is stored in the storage 13.
  • the trained model may be, for example, a deep learning neural network, or a support vector machine (SVM (Support Vector Machine)), an AdaBoost, a random forest (RandomForest), or the like. ..
  • the segmentation processing unit 20 is not limited to one including a learning model that has been machine-learned.
  • the region of interest may be extracted by template matching or the like.
  • the image acquisition unit 21 acquires a three-dimensional image including a region of interest from the image storage server 3.
  • the region of interest is, for example, a region of a structure such as an organ, a bone, a cartilage or the like, which the user pays attention to, which is a target of diagnosis.
  • the image acquisition unit 21 may acquire the three-dimensional image from the storage 13.
  • the image acquisition unit 21 also acquires the segmentation image generated by the segmentation processing unit 20.
  • the reception unit 22 receives the position information of the position specified by the user in the segmentation image.
  • FIG. 3 is a diagram for explaining designation of a correction position in the segmentation image Dk.
  • the segmentation image Dk is one tomographic image of a plurality of tomographic images forming a three-dimensional image divided into a plurality of regions by the segmentation processing unit 20, and is displayed on the display unit 14.
  • the segmentation image Dk to be displayed may be a tomographic image of any of an axial section, a sagittal section, and a coronal section.
  • each of the regions of interest 31 to 35 is assigned by the segmentation processing unit 20.
  • the regions of interest 31 to 35 are included as masks in the segmentation image Dk.
  • the mask is represented by a different display pattern for each of the regions of interest 31 to 35, and may represent only the outline, may be hatched, or may be filled with a predetermined color. It may be the one In the following description, each of the regions of interest 31 to 35 means a masked region in the segmentation image Dk.
  • the user uses the input unit 15 to specify the position to be corrected in the assigned area.
  • the position can be specified by using the circular cursor A displayed on the display unit 14 as an example.
  • the shape of the cursor A is not limited to a circle, but may be any shape such as a rectangle, a triangle, and an arrow.
  • the size of the cursor A can be arbitrarily set in advance by the user. The size, shape, and the like of the cursor A may be set in advance depending on the site to be diagnosed.
  • the reception unit 22 receives a correction instruction from the user using the cursor A.
  • the user moves the cursor A using the mouse of the input unit 15 and moves the cursor A onto the area to be corrected.
  • the reception unit 22 receives the position information of the cursor A on the segmentation image Dk.
  • the priority order obtaining unit 23 obtains, based on the image information, the priority order of the area to be assigned to the position on the segmentation image Dk indicated by the position information received by the receiving unit 22.
  • the segmentation image Dk is provided with the names of the parts indicated by the regions of interest 31 to 35 as additional information. Further, the existence probability assigned to each region of interest for each pixel, which is output by the segmentation processing unit 20, is also attached to the storage 13 as additional information.
  • FIG. 4 is a diagram for explaining each area of the segmentation image.
  • the position on the segmentation image Dk indicated by the position information received by the reception unit 22, that is, the region inside the cursor A has a probability of being a part a indicated by the region of interest 31 of 45% and the region of interest.
  • the existence probability of the part b indicated by 32 is 40%
  • the existence probability of the part c indicated by the ROI 34 is 10%
  • the existence probability of the background indicated by the ROI 35 is 4%
  • the part indicated by the ROI 33 It is assumed that the existence probability of d is 1%.
  • the “background” is a region that does not apply to any part.
  • the segmentation processing unit 20 performs segmentation on only the parts a and b, the region that does not correspond to the parts a and b becomes the background. Since the region of interest 33 indicating the part d is the region farthest from the cursor A, the existence probability is lowest.
  • the existence probability is output for each pixel in the segmentation image Dk. Therefore, the existence probability corresponding to the area in the cursor A is obtained as a representative value of the existence probabilities in all the pixels forming the area in the cursor A.
  • the representative value the average value, median value, maximum value, minimum value or the like of the existence probabilities can be used. Further, the representative value of the existence probabilities only for the areas whose existence probabilities are equal to or greater than a predetermined threshold may be used as the existence probabilities corresponding to the areas in the cursor A.
  • the priority order obtaining unit 23 obtains the priority order in which the priority order is set high in the order of high existence probability shown in FIG.
  • the display control unit 24 controls the display unit 14 to display the three-dimensional image and the segmentation image Dk acquired by the image acquisition unit 21. Further, the display control unit 24 controls the display unit 14 to display candidates for the area to be allocated so that the area to be allocated can be selected based on the priority order acquired by the priority order acquisition unit 23. It should be noted that the display on the display unit 14 of the candidates for the area to be allocated by the display control unit 24 will be described in detail later.
  • the image processing apparatus 1 of this embodiment is configured as described above.
  • FIG. 5 is a flowchart showing the processing performed in this embodiment.
  • the image acquisition unit 21 acquires a segmentation image
  • the display control unit 24 causes the display unit 14 to display it (step ST1).
  • the reception unit 22 receives the position information of the cursor A as described above (step ST2).
  • the priority order acquiring unit 23 acquires the priority order of the candidates of the area to be allocated as described above (step ST3).
  • the display control unit 24 causes the display unit 14 to display the candidates for the area to be allocated (step ST4).
  • the existence probability of the part a is the highest, and therefore, as a result of the segmentation processing by the segmentation processing unit 20, the area inside the cursor A is the part. a, which is indicated by the display pattern of the region of interest 31.
  • the processing result of the segmentation processing by the segmentation processing unit 20 is not always accurate and may not be the actual region of interest included in the segmentation image Dk.
  • the area may be manually corrected by a filling tool or the like.
  • the part b, the part c, the background, and the part d are candidates for the area to be allocated.
  • the larger the number of these candidates the more complicated the judgment as to which area should be allocated. As a result, the burden on the user has increased.
  • the display control unit 24 controls the display unit 14 to display the candidates of the area to be allocated in descending order of priority.
  • 6 to 9 are each a diagram for explaining an example of display of candidates for the area to be allocated.
  • the priorities of the candidates of the area acquired by the priority acquisition unit 23 are, as shown in FIG. 4, part b, part c, background, and part d in descending order of priority. ..
  • the display control unit 24 causes the area inside the cursor A to be displayed in the display pattern of the region of interest 32 indicated by the “region b” having the highest priority of the candidate of the area to be assigned. Then, when the user operates the mouse wheel, as shown in FIG. 7, the region in the cursor A is displayed in the region of interest 32 indicated by “region c” in which the priority of the candidate of the region to be assigned is next to that of the region b. Display in a display pattern. When the mouse wheel is operated again by the user again, as shown in FIG. 8, the display pattern of the area 35 indicated by the “background” in which the area of the cursor A has the second highest priority of the area candidate to be allocated is the area c. To display.
  • the display control unit 24 returns to the original display state shown in FIG. Then, the above display control is repeated until the user selects a candidate for the area to be allocated.
  • the CPU 11 determines whether or not a candidate for the area to be allocated is selected (step ST5), and when it is determined that the candidate for the area to be allocated is selected by the user (step ST5; YES), the candidate selected by the user Change the area allocated to the area.
  • the instruction to select a candidate can be, for example, a right click of the mouse that is the input unit 15 or a combination of a predetermined cursor depression and a mouse click, but is not limited to these. ..
  • step ST5 when it is determined in step ST5 that the candidate for the area to be allocated has not been selected by the user (step ST5; NO), the series of processes ends.
  • the instruction not to select a candidate can be, for example, pressing the escape (Esc) button, which is the input unit 15, but is not limited to these.
  • candidates for the area to be allocated are displayed on the display unit 14 so that the area to be allocated can be selected based on the priority of the area to be allocated to the position designated by the user. For this reason, the user can easily visually recognize which area should be allocated even when there are many candidates for the area to be allocated. Therefore, while reducing the burden on the user, the area of the area desired by the user can be reduced. Assignments can be modified.
  • the priority acquisition unit 23 acquires the existence probability for each pixel, but the technique of the present disclosure is not limited to this.
  • the score indicating the probability of being each region is acquired for each region instead of the existence probability for each pixel, the score of each region is You may acquire a priority based on it. In this case, the score may be a probability.
  • the display control unit 24 displays the area inside the cursor A in the display patterns of the regions of interest 31 to 35 shown in FIGS. 4 and 6 to 9, but the technique of the present disclosure is not limited to this. It is not limited to this.
  • the display control unit 24 may display the area inside the cursor A in a predetermined color for each region of interest.
  • the display control unit 24 may display the area in the cursor A in association with at least one piece of information of score information, color information, and name information for each candidate of the area to be allocated.
  • FIG. 10 is a diagram for explaining another example of displaying the candidates of the area to be allocated.
  • the display control unit 24 assigns numbers to the areas to be assigned and displays them in descending order of priority, and when the position is designated by the user, the priority is given to the vicinity of the designated position.
  • the display patterns indicating the numbers and the areas may be displayed in a descending order from the pull-down menu in a selectable manner. In this case, only the number may be displayed by the pull-down menu, or only the display pattern may be displayed by the pull-down menu.
  • the name of the part may be displayed instead of the number. In this case, the name of the part with the higher priority is displayed at the top of the pull-down menu.
  • the segmentation processing unit 20 is provided in the image processing device 1, but the technique of the present disclosure is not limited to this.
  • the segmentation image generated by the externally provided segmentation processing unit is stored in at least one of the storage 13 and the image storage server 3, and the image acquisition unit 21 acquires the stored segmentation image. Good.
  • the existence probability assigned to each pixel output by the segmentation image and the segmentation processing unit is stored in at least one of the storage 13 and the image storage server 3.
  • the hardware of a processing unit that executes various processes such as the segmentation processing unit 20, the image acquisition unit 21, the reception unit 22, the priority order acquisition unit 23, and the display control unit 24.
  • processors processors shown below can be used.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units
  • the above-mentioned various processors include circuits after manufacturing of FPGA (Field Programmable Gate Array) etc.
  • Programmable Logic Device which is a processor whose configuration can be changed, and dedicated electrical equipment, which is a processor that has a circuit configuration specifically designed to execute specific processing such as ASIC (Application Specific Integrated Circuit) Circuits etc. are included.
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ). Also, the plurality of processing units may be configured by one processor.
  • one processor As an example of configuring a plurality of processing units by one processor, firstly, as represented by a computer such as a client and a server, one processor is configured by a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units. Secondly, as represented by system-on-chip (SoC), etc., there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units by a single IC (Integrated Circuit) chip is used. is there. In this way, the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • SoC system-on-chip
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.
  • Image Processing Device 2 3D Image Capture Device 3 Image Storage Server 4
  • Network 11 CPU 12 memory 13 storage 14 display 15 input unit 20 segmentation processing unit 21 image acquisition unit 22 reception unit 23 priority order acquisition unit 24 display control unit 31 to 35 region of interest A cursor Dk segmentation image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、前記受付部が受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、前記優先順位取得部により取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、を含む画像処理装置、が提供される。

Description

画像処理装置、方法及びプログラム
　本開示は、セグメンテーション画像において割り当てられた関心領域を修正する画像処理装置、方法及びプログラムに関するものである。
　近年、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像を用いての画像診断が可能となってきている。ＣＴ装置により取得したＣＴ画像及びＭＲＩ装置により取得したＭＲ画像等の医用画像に対して、臓器及び病変等の関心領域を自動でセグメンテーションし、セグメンテーションされた医用画像を可視化することで、診断及び治療等の支援に役立てられている。
　上記セグメンテーションは、例えば画像処理技術を用いた自動臓器セグメンテーションエンジンを利用することにより行われている。このように自動で関心領域を抽出する場合、過抽出領域及び未抽出領域が発生する可能性があり、必ずしもセグメンテーションが適切に行われるとは限らない。自動臓器セグメンテーションエンジンを使用したセグメンテーションに失敗した場合には、自動で割り当てられた関心領域を手動で修正する必要がある。しかしながら手動により修正を行う場合には、修正すべき領域として指定した領域をどの関心領域に割り当てるのか選択する必要があり、セグメンテーションにより割り当てられた関心領域の数が多いほど、ユーザによる選択の負担が大きくなる。
　そこで、特開２００５－７３８１７号公報、特表２０１２－５０５００８号公報及び特開２００３－１８０６７８号公報には、セグメンテーションされた医用画像において、セグメンテーションされた関心領域を適正範囲に調整するためのパラメータを調整することにより、関心領域を修正する技術が開示されている。
特開２００５－７３８１７号公報 特表２０１２－５０５００８号公報 特開２００３－１８０６７８号公報
　しかしながら、特開２００５－７３８１７号公報、特表２０１２－５０５００８号公報及び特開２００３－１８０６７８号公報に記載された技術においては、セグメンテーションの処理条件であるパラメータを調整しているため、例えば１つの関心領域のみ割り当てられた領域を修正したい場合に対応するのは困難である。
　本開示は、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正できるようにする。
　本開示による画像処理装置は、対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、
　セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、
　受付部が受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、
　優先順位取得部により取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、
　を含む。
　なお、本開示の画像処理装置においては、優先順位取得部は、対象画像を複数の領域に分割する際のセグメンテーションアルゴリズムに基づいて取得された複数の領域の各領域のスコアに基づいて優先順位を取得することができる。
　また、本開示の画像処理装置においては、各領域のスコアは、対象画像の各画素に対する存在確率であって、各画素が複数の領域の各領域に存在することを示す存在確率であってもよい。
　また、本開示の画像処理装置においては、表示制御部は、入力部から入力される入力情報に基づいて、優先順位の高い順に前記割り当てる領域の候補を表示部に表示する制御を行なうことができる。
　また、本開示の画像処理装置においては、表示制御部は、ユーザが指定した位置を、割り当てる領域の候補毎に予め設定された色で表示する制御を行なうことができる。
　また、本開示の画像処理装置においては、表示制御部は、ユーザが指定した位置を、割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも１つの情報に対応付けて表示する制御を行なうことができる。
　本開示の画像処理方法は、対象画像を複数の領域に分割したセグメンテーション画像を取得し、
　セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付け、
　受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得し、
　取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう。
　なお、本開示による画像処理方法をコンピュータに実行させるためのプログラムを提供してもよい。具体的には、本開示の画像処理プログラムは、
　対象画像を複数の領域に分割したセグメンテーション画像を取得することと、
　セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付けることと、
　受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得することと、
　取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なうことと、
　をコンピュータに実行させる。
　本開示によれば、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正することができる。
本開示の実施形態による画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による画像処理装置の概略構成を示す図 セグメンテーション画像において修正位置の指定を説明するための図 セグメンテーション画像の各領域を説明するための図 本実施形態において行われる処理を示すフローチャート 割り当てる領域の候補の表示の一例を説明するための図（その１） 割り当てる領域の候補の表示の一例を説明するための図（その２） 割り当てる領域の候補の表示の一例を説明するための図（その３） 割り当てる領域の候補の表示の一例を説明するための図（その４） 割り当てる領域の候補の表示の他の一例を説明するための図
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による画像処理装置１、３次元画像撮影装置２、及び画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、被検体の診断対象となる部位を含むＣＴ画像を３次元画像として生成する。なお、３次元画像は複数の断層画像からなる。なお、３次元画像が本開示の対象画像に対応する。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　画像処理装置１は、１台のコンピュータに、本実施形態の画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、コンピュータに画像処理プログラムをインストールすることにより実現される画像処理装置の概略構成を示す図である。図２に示すように、画像処理装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２及びストレージ１３を備えている。また、画像処理装置１には、液晶ディスプレイ等の表示部１４、並びにキーボード及びマウス等の入力部１５が接続されている。なお、本実施形態においては、入力部１５としてホイール付のマウスを備えている。
　ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像及び処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、画像処理プログラムが記憶されている。画像処理プログラムは、ＣＰＵ１１に実行させる処理として、対象画像から複数の関心領域を抽出し、対象画像を複数の領域に分割したセグメンテーション画像を生成するセグメンテーション処理と、対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得処理と、セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付処理と、受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得処理と、取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう表示制御処理とを規定する。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、セグメンテーション処理部２０、画像取得部２１、受付部２２、優先順位取得部２３、及び表示制御部２４として機能する。
　セグメンテーション処理部２０は、後述する画像取得部２１が取得した３次元画像から複数の関心領域を抽出し、３次元画像を複数の領域に分割したセグメンテーション画像を生成する。このために、セグメンテーション処理部２０は、３次元画像から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、骨及び軟骨等の構造物を関心領域として抽出するように、ディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、及びリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等のニューラルネットワークからなる。本実施形態においては、学習済みモデルが本開示のセグメンテーションアルゴリズムに対応する。なお、診断の対象となる臓器は、心臓、肝臓、肺、腎臓及び脳等が挙げられる。学習済みモデルは、３次元画像が入力されると３次元画像の各画素が関心領域であるか否かを表す判別結果を出力する。判別結果は、各画素が各関心領域に割り当てられる存在確率である。
　ここで、「存在確率」は、各画素が各関心領域に存在することを示す確率である。そして、セグメンテーション処理部２０は、３次元画像の全領域のうち、最も存在確率の高い領域をその関心領域に割り当てることによりセグメンテーション画像を生成する。本実施形態においては、セグメンテーション処理部２０により出力される各画素の存在確率はストレージ１３に記憶される。
　なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、アダブースト（AdaBoost）、およびランダムフォレスト（RandomForest）等からなるものであってもよい。また、セグメンテーション処理部２０は、機械学習がなされた学習モデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。
　画像取得部２１は、関心領域を含む３次元画像を画像保管サーバ３から取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、骨及び軟骨等の構造物の領域である。なお、３次元画像が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像を取得するようにしてもよい。また、画像取得部２１は、セグメンテーション処理部２０により生成されたセグメンテーション画像を取得する。
　受付部２２は、セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける。図３はセグメンテーション画像Ｄｋにおいて修正位置の指定を説明するための図である。セグメンテーション画像Ｄｋは、セグメンテーション処理部２０により複数の領域に分割された３次元画像を構成する複数の断層画像のうちの１枚の断層画像であり、表示部１４に表示される。なお、表示するセグメンテーション画像Ｄｋは、アキシャル断面、サジタル断面及びコロナル断面のいずれの断面の断層画像であってもよい。
　図３に示すように、セグメンテーション画像Ｄｋにおいては、セグメンテーション処理部２０により各関心領域３１～３５が割り当てられている。なお、各関心領域３１～３５はマスクとしてセグメンテーション画像Ｄｋに含まれる。マスクは、各関心領域３１～３５毎に異なる表示パターンで表されており、輪郭のみを表すものであってもよく、ハッチングが施されたものであってもよく、予め定められた色により塗りつぶされたものであってもよい。以降の説明において、各関心領域３１～３５は、セグメンテーション画像Ｄｋにおいて、マスクされた領域を意味するものとする。
　図３に示すセグメンテーション画像Ｄｋ上において、ユーザは入力部１５を用いて、割り当てられた領域において修正したい位置を指定する。位置の指定は、一例として表示部１４に表示された円形のカーソルＡを用いて行うことができる。なお、カーソルＡの形状は円形に限定されるものではなく、矩形、三角形及び矢印形状等、任意の形状とすることができる。また、カーソルＡの大きさは、ユーザにより予め任意に設定することができる。カーソルＡの大きさ及び形状等は、診断対象となる部位によって予め設定されていてもよい。
　受付部２２は、ユーザによるカーソルＡを用いての修正指示を受け付ける。この場合、ユーザは入力部１５のマウスを用いてカーソルＡを移動して、修正したい領域上にカーソルＡを移動させる。受付部２２はカーソルＡのセグメンテーション画像Ｄｋ上の位置情報を受け付ける。
　優先順位取得部２３は、受付部２２が受け付けた位置情報が示すセグメンテーション画像Ｄｋ上の位置に対して、割り当てる領域の優先順位を画像情報に基づいて取得する。セグメンテーション画像Ｄｋは、セグメンテーション処理部２０によりセグメンテーション処理が行われた際に、各々の関心領域３１～３５が示す部位の名称が付帯情報として付与されている。また、セグメンテーション処理部２０により出力された各画素毎の各関心領域に割り当てられる存在確率も、付帯情報として付与されて、ストレージ１３に保存されている。
　図４はセグメンテーション画像の各領域を説明するための図である。受付部２２が受け付けた位置情報が示すセグメンテーション画像Ｄｋ上の位置、すなわちカーソルＡ内の領域は、例えば図４に示すように、関心領域３１が示す部位ａである存在確率が４５％、関心領域３２が示す部位ｂである存在確率が４０％、関心領域３４が示す部位ｃである存在確率が１０％、関心領域３５が示す背景である存在確率が４％、及び、関心領域３３が示す部位ｄである存在確率が１％であるとする。ここで「背景」は、どの部位にも当てはまらない領域とする。例えば、セグメンテーション処理部２０が、部位ａ及び部位ｂのみをセグメンテーションする場合には、部位ａ及び部位ｂに当てはまらない領域が背景となる。なお、部位ｄを示す関心領域３３は、カーソルＡから最も離れた領域であるため、最も存在確率が低くなる。
　なお、セグメンテーション画像Ｄｋにおいて、存在確率は各画素毎に出力される。従って、カーソルＡ内の領域に対応する存在確率は、カーソルＡ内の領域を構成する全画素における存在確率の代表値として求められる。代表値としては、存在確率の平均値、中央値、最大値及び最小値等を用いることができる。また、存在確率が予め定められた閾値以上となる領域についてのみの存在確率の代表値をカーソルＡ内の領域に対応する存在確率としてもよい。優先順位取得部２３は、図４に示す存在確率の高い順に優先順位を高く設定した優先順位を取得する。
　表示制御部２４は、画像取得部２１により取得された３次元画像及びセグメンテーション画像Ｄｋ等を表示部１４に表示する制御を行なう。また、表示制御部２４は、優先順位取得部２３によって取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部１４に表示する制御を行なう。なお、表示制御部２４による割り当てる領域の候補の表示部１４への表示については、後で詳細に説明する。本実施形態の画像処理装置１は以上のように構成される。
　次に、本実施形態の画像処理装置１による一連の処理について説明する。図５は本実施形態において行われる処理を示すフローチャートである。図５に示すように、先ず、画像取得部２１がセグメンテーション画像を取得して、表示制御部２４が表示部１４に表示させる（ステップＳＴ１）。次いで、受付部２２が、上述したようにして、カーソルＡの位置情報を受け付ける（ステップＳＴ２）。そして、優先順位取得部２３が、上述したようにして、割り当てる領域の候補の優先順位を取得する（ステップＳＴ３）。
　次に、表示制御部２４が割り当てる領域の候補を表示部１４に表示させる（ステップＳＴ４）。図４に示すように、図３に示すカーソルＡ内の領域においては、部位ａである存在確率が最も高いので、セグメンテーション処理部２０によるセグメンテーション処理の処理結果としては、カーソルＡ内の領域は部位ａであり、関心領域３１の表示パターンで示される。
　しかしながら、セグメンテーション処理部２０によるセグメンテーション処理の処理結果は必ずしも正確ではなく、セグメンテーション画像Ｄｋに含まれる実際の関心領域とはならない場合がある。そのような場合、従来では、例えば塗り潰しツール等により手動で領域の修正を行うことがあった。例えば、図４に示す場合には、部位ｂ、部位ｃ、背景、及び部位ｄが割り当てる領域の候補となるが、この候補が多ければ多いほど、どの領域に割り当てればよいのかの判断が煩雑となり、ユーザへの負担が大きくなってしまっていた。
　そこで、本実施形態においては、表示制御部２４が割り当てる領域の候補を優先順位の高い順に表示部１４に表示させる制御を行なう。図６～図９は各々、割り当てる領域の候補の表示の一例を説明するための図である。本実施形態においては、優先順位取得部２３により取得された割り当てる領域の候補の優先順位は、図４に示すように、優先順位の高い順に、部位ｂ、部位ｃ、背景、及び部位ｄとなる。
　先ず、表示制御部２４は、図６に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が最も高い「部位ｂ」が示す関心領域３２の表示パターンで表示させる。そして、ユーザによりマウスホイールが操作されると、図７に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が部位ｂの次に高い「部位ｃ」が示す関心領域３２の表示パターンで表示させる。再度、ユーザによりマウスホイールが操作されると、図８に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が部位ｃの次に高い「背景」が示す領域３５の表示パターンで表示させる。
　そして、また再度、ユーザによりマウスホイールが操作されると、図９に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が背景の次に高い「部位ｄ」が示す領域３５の表示パターンで表示させ、次にユーザによりマウスホイールが操作されると、表示制御部２４は、図４に示す元の表示状態に戻す。そして、ユーザにより割り当てる領域の候補が選択されるまで、上記の表示制御を繰り返し行う。
　次いで、ＣＰＵ１１は、割り当てる領域の候補が選択されたか否かを判断し（ステップＳＴ５）、ユーザにより割り当てる領域の候補が選択されたと判断した場合に（ステップＳＴ５；ＹＥＳ）、ユーザにより選択された候補の領域に割り当てる領域を変更する。なお、候補を選択する指示は、例えば入力部１５であるマウスの右クリック又は予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
　一方、ステップＳＴ５にて、ユーザにより割り当てる領域の候補が選択されていないと判断した場合に（ステップＳＴ５；ＮＯ）、一連の処理を終了する。なお、候補を選択しない指示は、例えば入力部１５であるエスケープ（Ｅｓｃ）ボタンの押下等とすることができるが、これらに限定されるものではない。
　このように、本実施形態によれば、ユーザが指定した位置に対して、割り当てる領域の優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補が表示部１４に表示される。このため、ユーザは、割り当てる領域の候補が多い場合であっても、どの領域に割り当てればよいのかを容易に視認することができるので、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正することができる。
　なお、上記実施形態において、優先順位取得部２３は、各画素に対する存在確率を取得したが本開示の技術はこれに限られない。例えば、セグメンテーション処理部２０が対象画像を複数の領域に分割する際に、各画素に対する存在確率ではなく、領域毎に各領域である確率を示すスコアを取得している場合、各領域のスコアに基づいて優先順位を取得してもよい。なお、この場合スコアは確率であってもよい。
　また、上記実施形態において、表示制御部２４は、カーソルＡ内の領域を、図４、及び図６～図９に示す各関心領域３１～３５の表示パターンで表示したが、本開示の技術はこれに限られない。例えば、表示制御部２４は、カーソルＡ内の領域を、各関心領域毎に予め定められた色で表示させてもよい。また、表示制御部２４は、割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも１つの情報に対応付けてカーソルＡ内の領域を表示させてもよい。
　図１０は割り当てる領域の候補の表示の他の一例を説明するための図である。表示制御部２４は、例えば図１０に示すように、割り当てる領域毎に優先順位の高い順に番号を付与して表示させ、ユーザにより位置が指定された場合に、指定された位置の近傍に優先順位の高い順に、上記番号及び領域を示す表示パターンをプルダウンメニューにより、選択可能に表示させてもよい。なお、この場合、番号のみをプルダウンメニューにより表示させてもよいし、表示パターンのみをプルダウンメニューにより表示させてもよい。なお、番号に換えて、部位の名称を表示させてもよい。この場合、優先順位の高い部位の名称をプルダウンメニューの上位に表示する。
　なお、上記実施形態においては、セグメンテーション処理部２０は、画像処理装置１に設けられているが、本開示の技術はこれに限られない。例えば、外部に設けられたセグメンテーション処理部によって生成されたセグメンテーション画像を、ストレージ１３及び画像保管サーバ３の少なくとも一方に保存しておき、画像取得部２１が保存されたセグメンテーション画像を取得するようにしてもよい。この場合、セグメンテーション画像及びセグメンテーション処理部により出力される各画素に割り当てられる存在確率がストレージ１３及び画像保管サーバ３の少なくとも一方に保存される。
　また、上記実施形態において、例えば、セグメンテーション処理部２０、画像取得部２１、受付部２２、優先順位取得部２３、及び表示制御部２４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　画像処理装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力部
　　　２０　　セグメンテーション処理部
　　　２１　　画像取得部
　　　２２　　受付部
　　　２３　　優先順位取得部
　　　２４　　表示制御部
　　　３１～３５　　関心領域
　　　Ａ　　カーソル
　　　Ｄｋ　　セグメンテーション画像
　２０１８年１２月１８日に出願された日本国特許出願２０１８－２３６６６２号の開示は、その全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (8)

  1. 　対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、
    　前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、
    　前記受付部が受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、
    　前記優先順位取得部により取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、
    　を含む画像処理装置。
  2. 　前記優先順位取得部は、前記対象画像を複数の領域に分割する際のセグメンテーションアルゴリズムに基づいて取得された前記複数の領域の各領域のスコアに基づいて優先順位を取得する請求項１に記載の画像処理装置。
  3. 　前記各領域のスコアは、前記対象画像の各画素に対する存在確率であって、前記各画素が前記複数の領域の各領域に存在することを示す存在確率である請求項２に記載の画像処理装置。
  4. 　前記表示制御部は、入力部から入力される入力情報に基づいて、優先順位の高い順に前記割り当てる領域の候補を前記表示部に表示する制御を行なう請求項１から３の何れか１項に記載の画像処理装置。
  5. 　前記表示制御部は、ユーザが指定した位置を、前記割り当てる領域の候補毎に予め設定された色で表示する制御を行なう請求項１から４の何れか１項に記載の画像処理装置。
  6. 　前記表示制御部は、ユーザが指定した位置を、前記割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも１つの情報に対応付けて表示する制御を行なう請求項１から５の何れか１項に記載の画像処理装置。
  7. 　対象画像を複数の領域に分割したセグメンテーション画像を取得し、
    　前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付け、
    　受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得し、
    　取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう画像処理方法。
  8. 　対象画像を複数の領域に分割したセグメンテーション画像を取得することと、
    　前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付けることと、
    　受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得することと、
    　取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なうことと、
    　をコンピュータに実行させる画像処理プログラム。
PCT/JP2019/049421 2018-12-18 2019-12-17 画像処理装置、方法及びプログラム Ceased WO2020129979A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020561458A JP7204781B2 (ja) 2018-12-18 2019-12-17 画像処理装置、方法及びプログラム
US17/349,930 US11972570B2 (en) 2018-12-18 2021-06-17 Image processing apparatus, image processing method, and image processing program
US18/600,778 US12299894B2 (en) 2018-12-18 2024-03-11 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-236662 2018-12-18
JP2018236662 2018-12-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/349,930 Continuation US11972570B2 (en) 2018-12-18 2021-06-17 Image processing apparatus, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2020129979A1 true WO2020129979A1 (ja) 2020-06-25

Family

ID=71101803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049421 Ceased WO2020129979A1 (ja) 2018-12-18 2019-12-17 画像処理装置、方法及びプログラム

Country Status (3)

Country Link
US (2) US11972570B2 (ja)
JP (1) JP7204781B2 (ja)
WO (1) WO2020129979A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023538771A (ja) * 2020-08-25 2023-09-11 バイオセンス・ウエブスター・（イスラエル）・リミテッド 後鼻神経アブレーションのための器具及び方法
WO2025041680A1 (ja) * 2023-08-23 2025-02-27 富士フイルム株式会社 画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014100569A (ja) * 2012-11-16 2014-06-05 Samsung Electronics Co Ltd 診断装置及び診断方法
JP2015102944A (ja) * 2013-11-22 2015-06-04 コニカミノルタ株式会社 医用情報処理装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5431161A (en) * 1993-04-15 1995-07-11 Adac Laboratories Method and apparatus for information acquistion, processing, and display within a medical camera system
US7923542B2 (en) * 2000-04-28 2011-04-12 Sangamo Biosciences, Inc. Libraries of regulatory sequences, methods of making and using same
AU2001255870B2 (en) * 2000-04-28 2006-07-13 Sangamo Biosciences, Inc. Databases of regulatory sequences; methods of making and using same
EP1362329B1 (en) * 2001-02-13 2019-03-27 Koninklijke Philips N.V. Processing of images in a direction of succession
US6993174B2 (en) 2001-09-07 2006-01-31 Siemens Corporate Research, Inc Real time interactive segmentation of pulmonary nodules with control parameters
AU2002366041A1 (en) * 2001-11-23 2003-06-10 Infinitt Co., Ltd. Medical image segmentation apparatus and method thereof
JP2005073817A (ja) 2003-08-29 2005-03-24 Hitachi Medical Corp 医用画像表示装置
US7987111B1 (en) * 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US8126238B2 (en) 2006-11-22 2012-02-28 General Electric Company Method and system for automatically identifying and displaying vessel plaque views
US11197651B2 (en) * 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US8355552B2 (en) * 2007-06-20 2013-01-15 The Trustees Of Columbia University In The City Of New York Automated determination of lymph nodes in scanned images
WO2009111580A2 (en) 2008-03-04 2009-09-11 Tomotherapy Incorporated Method and system for improved image segmentation
CN102187368B (zh) * 2008-10-14 2015-07-15 皇家飞利浦电子股份有限公司 肿瘤分割结果的单击校正
US8744168B2 (en) * 2009-08-24 2014-06-03 Samsung Electronics Co., Ltd. Target analysis apparatus, method and computer-readable medium
JP5558793B2 (ja) 2009-11-30 2014-07-23 株式会社日立メディコ 画像処理方法、画像処理装置及びプログラム
JP6364837B2 (ja) * 2014-03-14 2018-08-01 オムロン株式会社 画像処理装置および領域分割方法
US11547499B2 (en) * 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
JP6559934B2 (ja) * 2014-08-01 2019-08-14 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置
RU2015125820A (ru) * 2015-06-30 2017-01-10 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер обработки пользовательского запроса на предоставление рекомендованной области интереса
US10636184B2 (en) * 2015-10-14 2020-04-28 Fovia, Inc. Methods and systems for interactive 3D segmentation
US9801601B2 (en) * 2015-12-29 2017-10-31 Laboratoires Bodycad Inc. Method and system for performing multi-bone segmentation in imaging data
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
CA3056694C (en) * 2017-05-18 2022-01-18 Brainlab Ag Determining a clinical target volume
EP3673814B1 (en) * 2017-08-23 2022-11-16 FUJIFILM Corporation Acoustic wave diagnostic apparatus and method for controlling acoustic wave diagnostic apparatus
EP3781704A4 (en) * 2018-04-18 2021-12-15 Altius Institute For Biomedical Sciences METHODS FOR EVALUATING THE SPECIFICITY OF CELLULAR ENGINEERING TOOLS
JP2021166317A (ja) * 2018-06-28 2021-10-14 ソニーグループ株式会社 画像処理装置および方法
US10848664B2 (en) * 2018-07-26 2020-11-24 Sony Corporation Image capture device and method for image score-based video quality enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014100569A (ja) * 2012-11-16 2014-06-05 Samsung Electronics Co Ltd 診断装置及び診断方法
JP2015102944A (ja) * 2013-11-22 2015-06-04 コニカミノルタ株式会社 医用情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023538771A (ja) * 2020-08-25 2023-09-11 バイオセンス・ウエブスター・（イスラエル）・リミテッド 後鼻神経アブレーションのための器具及び方法
WO2025041680A1 (ja) * 2023-08-23 2025-02-27 富士フイルム株式会社 画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム

Also Published As

Publication number Publication date
US12299894B2 (en) 2025-05-13
JP7204781B2 (ja) 2023-01-16
US20210312631A1 (en) 2021-10-07
JPWO2020129979A1 (ja) 2021-10-21
US20240212160A1 (en) 2024-06-27
US11972570B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
US11715279B2 (en) Weighted image generation apparatus, method, and program, determiner learning apparatus, method, and program, region extraction apparatus, method, and program, and determiner
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
EP2810217B1 (en) Graph cuts-based interactive segmentation of teeth in 3-d ct volumetric data
Wang et al. Automated segmentation of CBCT image using spiral CT atlases and convex optimization
US20180064409A1 (en) Simultaneously displaying medical images
US12299894B2 (en) Image processing apparatus, image processing method, and image processing program
US20190236783A1 (en) Image processing apparatus, image processing method, and program
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101885562B1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
JP7299314B2 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US12089976B2 (en) Region correction apparatus, region correction method, and region correction program
US20220108451A1 (en) Learning device, method, and program, medical image processing apparatus, method, and program, and discriminator
US12505544B2 (en) Image processing apparatus, image processing method, and image processing program
US12518393B2 (en) Region correction device, method, and program
JP2023114463A (ja) 表示装置、方法およびプログラム
CN107799166B (zh) 医学成像系统
EP3905192A1 (en) Region identification device, method, and program
US20240331335A1 (en) Image processing apparatus, image processing method, and image processing program
US20260011103A1 (en) Image processing apparatus, method, and program
JP2023177185A (ja) 医用画像処理装置、方法、プログラム及び医用システム
JP2024140470A (ja) 画像処理装置、画像処理方法、画像処理プログラム、学習装置、学習方法、及び学習プログラム
JP2025145447A (ja) 画像処理装置、方法およびプログラム
JP2023119391A (ja) 画像処理装置および学習装置
WO2022054541A1 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19900724

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020561458

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19900724

Country of ref document: EP

Kind code of ref document: A1