WO2020174770A1 - 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 - Google Patents

領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 Download PDF

Info

Publication number
WO2020174770A1
WO2020174770A1 PCT/JP2019/044390 JP2019044390W WO2020174770A1 WO 2020174770 A1 WO2020174770 A1 WO 2020174770A1 JP 2019044390 W JP2019044390 W JP 2019044390W WO 2020174770 A1 WO2020174770 A1 WO 2020174770A1
Authority
WO
WIPO (PCT)
Prior art keywords
candidate
object candidate
subclass
input image
area
Prior art date
Application number
PCT/JP2019/044390
Other languages
English (en)
French (fr)
Inventor
晶路 一ノ瀬
嘉郎 北村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP19917216.4A priority Critical patent/EP3933764A4/en
Priority to JP2021501571A priority patent/JP7130107B2/ja
Publication of WO2020174770A1 publication Critical patent/WO2020174770A1/ja
Priority to US17/407,179 priority patent/US20210383164A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Definitions

  • the present disclosure relates to a region specifying device, a method and program, a learning device, a method and program, and a discriminator that specify a region of an object included in an image.
  • Faster-RCNN takes a convolutional layer that extracts a feature amount from an input image to generate a feature map, RPN (Region Proposal Networks) that identifies a candidate region of an object, and a feature map and an object candidate region, and inputs the object It consists of a category network and a classification network that outputs the results of regression.
  • RPN Region Proposal Networks
  • a rectangular area called an anchor having a plurality of types of aspect ratios and sizes is defined in advance.
  • RPN a plurality of types of anchors are applied to each pixel position of the feature map generated from the input image, and the anchor having the highest overlapping rate with the object candidate included in the input image is selected.
  • RPN using the selected anchor, a process of regressing (that is, deforming and moving) the anchor so as to match the rectangle (correct box) surrounding the object candidate is performed for all pixels of the feature map, The position and size of the anchor regressed so as to match the correct answer box are output from the RPN as an object candidate region in the input image. Then, in the classification network, the object candidate areas in the input image are classified based on the object candidate areas and the feature map.
  • the Faster-RCNN identifies the lung cancer candidate regions in the input image in the RPN and classifies the lung cancer candidate regions in the categories of malignant lesion and benign lesion and non-lesional region in the classification network.
  • an example of a lung cancer candidate area is a lung nodule area.
  • the pulmonary nodules include pulmonary nodules having different properties such as ground glass nodules and solid lung nodules. Therefore, the RPN is trained so as to identify the lung nodule region of all the characteristics.
  • the Faster-RCNN is constructed so as to identify the face candidate regions of the person in the input image in the RPN and classify the face candidate regions into the face and the non-face regions in the classification network.
  • the characteristics of a person such as the skin color and hair color of the person, differ depending on the race. Therefore, the RPN is learned so as to be able to specify the face candidate regions of persons of all races.
  • the Faster-RCNN is appropriately learned. By doing so, the object can be detected from the image.
  • the anchor defined in the RPN needs to perform learning so that the subclass objects of all properties can be specified. If learning is performed in this way, the configuration of the RPN becomes complicated, and the learning load becomes heavy. Further, the processing load is large even when the object is specified. Therefore, learning cannot be performed efficiently or an object cannot be efficiently identified.
  • the present invention has been made in view of the above circumstances, and an object thereof is to enable an object to be specified more efficiently when the object to be specified includes a plurality of subclass objects having different properties.
  • a region specifying device is a region specifying device which specifies a region of an object including a plurality of subclass objects having different properties, which is included in an input image, A first discriminator that identifies object candidates included in the input image, The first classifier has a component configured to predict at least one of movement and deformation of a plurality of anchors according to the property of the subclass object, and to specify an object candidate region surrounding the object candidate.
  • Property indicates at least one of property and state that defines the appearance of the subclass object included in the input image.
  • the property and state are defined by at least one of the shape of the subclass object, the signal value, and the structure included in the subclass object. Therefore, if at least one of the shape, the signal value, the included structure, and the like is different, the properties are different.
  • the first discriminator determines the shape and size of the correct answer box including the object candidate from a plurality of anchors having various shapes and sizes according to the property of the subclass object.
  • An anchor may be selected based on the degree of similarity between the two, and at least one of movement and deformation of the selected anchor may be predicted to specify an object candidate region surrounding the object candidate.
  • the first classifier may select the anchor based on the similarity in shape and size with the correct answer box including the object candidate.
  • the area specifying device may further include a display control unit that displays the subclass of the specified object candidate area on the display unit.
  • the display control unit may display the input image in which the object candidate area is specified on the display unit.
  • the area specifying device further includes a convolution unit that generates a convolution feature map from the input image,
  • the first discriminator may identify the object candidate region based on the convolutional feature map.
  • the area specifying device may further include a second classifier that specifies a category of object candidates included in the object candidate area.
  • the area identifying device may further include a second classifier that identifies a category of an object candidate based on the convolutional feature map and the object candidate area.
  • the second classifier may correct the object candidate area.
  • the second classifier may also identify the contour of the object candidate in the object candidate area.
  • a learning device is a learning device that learns a classifier that identifies an object candidate that is a candidate for an object that includes a plurality of subclass objects that have different properties and that are included in an input image.
  • By performing using a plurality of teacher images at least one of the movement and deformation of the plurality of anchors according to the property of the subclass object is predicted, so as to identify the object candidate region surrounding the object candidate in the input image,
  • a learning unit for learning the discriminator is provided.
  • a discriminator is a discriminator that identifies an object candidate that is a candidate for an object including a plurality of subclass objects having different properties, which is included in an input image, A process of applying an anchor according to a property to a teacher image including a subclass object of which the property is known, predicting at least one of movement and deformation of the applied anchor, and specifying an object candidate region that surrounds the subclass object as an object candidate. , Predicting at least one of the movement and deformation of multiple anchors according to the property of the subclass object by using multiple teacher images, and learning to identify the object candidate region surrounding the object candidate in the input image It will be done.
  • a region specifying method is a region specifying method for specifying a region of an object including a plurality of subclass objects having different properties, which is included in an input image,
  • the first classifier having a component configured to predict at least one of movement and deformation of a plurality of anchors according to the property of the subclass object and identify an object candidate region surrounding the object candidate is the input image.
  • a learning method is a learning method for learning a discriminator that identifies an object candidate that is a candidate for an object that includes a plurality of subclass objects having different properties and that is included in an input image.
  • By performing using a plurality of teacher images at least one of the movement and deformation of the plurality of anchors according to the property of the subclass object is predicted, so as to identify the object candidate region surrounding the object candidate in the input image, Learn the classifier.
  • the area specifying method and the learning method according to the present disclosure may be provided as a program for causing a computer to execute.
  • Another area identifying device is a memory that stores a command for causing a computer to execute a process of identifying an area of an object including a plurality of subclass objects having different properties, which is included in an input image,
  • a processor configured to execute the stored instructions, the processor Functioning as a first discriminator having a component configured to predict at least one of movement and deformation of a plurality of anchors according to the property of the subclass object and identify an object candidate region surrounding the object candidate , Executing a process of identifying an object candidate included in the input image.
  • Another learning device stores an instruction for causing a computer to perform a process of learning a discriminator that identifies an object candidate that is a candidate for an object that includes a plurality of subclass objects having different properties included in an input image.
  • Memory and A processor configured to execute the stored instructions, the processor A process of applying an anchor according to a property to a teacher image including a subclass object of which the property is known, predicting at least one of movement and deformation of the applied anchor, and specifying an object candidate region that surrounds the subclass object as an object candidate.
  • learning of a discriminator can be efficiently performed. Further, the object candidate area can be efficiently specified in the input image.
  • a hardware configuration diagram showing an outline of a diagnosis support system to which an area identification device according to an embodiment of the present disclosure is applied The figure which shows the schematic structure of the area
  • Schematic block diagram showing the configuration of the object identification unit Diagram showing the structure of RPN Diagram for explaining anchor selection Diagram for explaining anchor selection Diagram for explaining anchor selection Diagram for explaining the difference between the correct answer box and the anchor The figure for demonstrating the learning of a 1st discriminator.
  • FIG. 1 is a hardware configuration diagram showing an outline of a diagnosis support system to which an area identification device according to an embodiment of the present disclosure is applied.
  • the area specifying device 1 the three-dimensional image capturing device 2, and the image storage server 3 according to the present embodiment are connected in a communicable state via a network 4. ..
  • the three-dimensional image capturing device 2 is a device that captures a region of a subject to be diagnosed to generate a three-dimensional image representing the region, and specifically, a CT device, an MRI device, and a PET ( Positron Emission Tomography) device.
  • the three-dimensional image generated by the three-dimensional image capturing device 2 is transmitted to the image storage server 3 and stored therein.
  • the three-dimensional image capturing device 2 is, for example, a CT device, and generates a CT image including a part of the subject to be diagnosed as a three-dimensional image.
  • the three-dimensional image is composed of a plurality of tomographic images.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to send and receive image data and the like.
  • various data including image data of a three-dimensional image generated by the three-dimensional image capturing apparatus 2 is acquired via a network and stored in a recording medium such as a large capacity external storage device for management.
  • the storage format of the image data and communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • DICOM Digital Imaging and Communication in Medicine
  • the area specifying device 1 includes the learning device of the present embodiment, and the area specifying program and the learning program of the present embodiment are installed in one computer.
  • the computer may be a workstation or a personal computer directly operated by a doctor who makes a diagnosis, or a server computer connected to the workstation or a personal computer via a network.
  • the area specifying program is recorded and distributed in a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage in a state accessible from the outside, and is downloaded and installed in a computer used by a doctor upon request.
  • FIG. 2 is a diagram showing a schematic configuration of an area identifying device realized by installing an area identifying program and a learning program in a computer.
  • the area specifying device 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration.
  • a display unit 14 such as a liquid crystal display and an input unit 15 such as a keyboard and a mouse are connected to the area specifying device 1.
  • the storage 13 is composed of a hard disk drive or the like, and stores various information including an input image acquired from the image storage server 3 via the network 4 and information necessary for processing.
  • the memory 12 also stores an area identification program and a learning program.
  • the area specifying program as processing to be executed by the CPU 11, is an image acquisition processing for acquiring an input image S0 which is a target for specifying an object area, an object specifying processing for specifying an object included in the input image S0, and an object candidate area described later. Defines the display control process for displaying the specified input image S0. Further, the learning program defines a process for learning the first discriminator described later.
  • the input image may be a three-dimensional image or a two-dimensional image. In the present embodiment, for the sake of explanation, for example, a tomographic image representing one tomographic plane of a three-dimensional image acquired by a CT apparatus is used as an input image, but the present invention is not limited to this.
  • the computer functions as the image acquisition unit 21, the object identification unit 22, the learning unit 23, and the display control unit 24 by the CPU 11 executing these processes according to the program.
  • the image acquisition unit 21 includes an interface for acquiring the input image S0 from the image storage server 3. When the input image S0 is already stored in the storage 13, the image acquisition unit 21 may acquire the input image S0 from the storage 13.
  • the object identifying unit 22 identifies an object included in the input image S0.
  • the object identifying unit 22 is composed of Faster-RCNN.
  • FIG. 3 is a schematic block diagram showing the configuration of the object identifying unit 22.
  • the object specifying unit 22, namely, the Faster-RCNN specifies a convolutional neural network 30 that generates a convolutional feature map M0 from the input image S0, and a first object candidate region P0 included in the convolutional feature map M0.
  • Discriminator 40 and the second discriminator 50 that identifies the category of the object candidate included in the object candidate region P0 based on the object candidate region P0.
  • the convolutional neural network 30 corresponds to the convolution unit of the present disclosure.
  • the first discriminator 40 identifies the candidate region of lung cancer in the input image S0 as the object candidate region P0
  • the second discriminator 50 identifies the candidate region of lung cancer as a malignant lesion, It should be classified into benign lesions and non-lesion areas according to symptoms.
  • a lung cancer candidate area is a lung nodule area.
  • Pulmonary nodules include pulmonary nodules with different properties, such as ground glass nodules and solid lung nodules.
  • lung nodules include frosted glass nodules and solid lung nodules.
  • the object to be specified in the input image S0 includes a plurality of subclass objects having different properties.
  • the frosted glass nodule has a pale white color and the boundary is not so clear.
  • solid lung nodules have a white color and are clearly demarcated. Therefore, the frosted glass nodule and the solid nodule have different properties due to different shapes and signal values.
  • the convolutional neural network 30 has a plurality of layers such as a convolutional layer, a pooling layer, and a deconvolutional layer.
  • the convolutional neural network 30 outputs a convolutional feature map M0 in which the features of the input image S0 are mapped.
  • the convolutional neural network 30 in this embodiment has a convolutional layer and a pooling layer.
  • the convolution feature map M0 is smaller than the size of the input image S0.
  • the size of the convolutional feature map M0 is 1/4 and 1/16 of the input image S0.
  • the size of the convolutional feature map M0 is the same as that of the input image S0.
  • a known model such as the model of Zeiler and Fergus or the model of Simonyan and Zisserman described in the above-mentioned document of Shaoqing et al. can be used.
  • the first discriminator 40 has a translation-invariant Region Proposal Network (object region proposal network, hereinafter referred to as RPN 41).
  • RPN 41 corresponds to the constituent elements of the present disclosure.
  • the RPN 41 specifies an object candidate area included in the convolutional feature map M0 input from the convolutional neural network 30.
  • FIG. 4 is a diagram showing the configuration of the RPN. As shown in FIG. 4, the RPN 41 convolves the convolutional feature map M0 with the sliding window 42. The sliding window 42 extracts a signal value in an area of n ⁇ n (for example, 3 ⁇ 3) pixels centered on each pixel on the convolution feature map M0.
  • n ⁇ n for example, 3 ⁇ 3
  • the RPN 41 extracts the signal value of the region of n ⁇ n pixels in the convolution feature map M0 while sequentially moving the sliding window 42 on the convolution feature map M0 in units of a predetermined pixel.
  • the center pixel position of the sliding window 42 in the convolution feature map M0 is the target pixel position for object candidate detection.
  • a plurality of anchors 43 that are set at the center position of the sliding window 42 set on the convolutional feature map M0, that is, at the target pixel position in the convolutional feature map M0 are defined in advance.
  • the anchor 43 is a rectangular area having various sizes and various aspect ratios.
  • the anchor 43 is defined according to the property of the subclass object included in the object to be specified. Specifically, a plurality of ground glass anchors 43A for lung nodules and solid anchors 43B for lung nodules are respectively defined.
  • frosted glass nodule there are three kinds of aspect ratios of 1:1, 2:1 and 1:2 in length and width and three kinds of sizes of 128 pixels, 256 pixels and 512 pixels in area. It is assumed that there are a total of nine types of anchors 43A defined.
  • anchors 43A there are three types of aspect ratios of 1:1, 2:1 and 1:2 in length and width, and three types of sizes of 128 pixels, 256 pixels and 512 pixels, totaling 9
  • the type of anchor 43B is defined.
  • the aspect ratios and areas of the anchors 43A and 43B are not limited to these values.
  • less than nine types or more than nine types of anchors 43 may be defined for each of the anchors 43A and 43B.
  • the number of anchors included in each of the anchors 43A and 43B may not be the same.
  • the number of pixels of the anchor is the number of pixels of the input image S0, and the size of the anchor is also changed according to the size of the size of the convolutional feature map M0.
  • the size of the convolutional feature map M0 with respect to the input image S0 and the sizes of the anchors 43A and 43B are examples for description, and various values other than those described above can actually be taken.
  • the RPN 41 also includes an intermediate layer 44, a classification layer 45, and a regression layer 46.
  • the intermediate layer 44 convolves the signal values of n ⁇ n pixels in the sliding window 42 and derives a representative value of the signal values.
  • the representative value of the signal values can be, for example, an average value, a maximum value, an intermediate value, or the like, but is not limited to this.
  • the classification layer 45 determines the presence or absence of an object candidate for the target pixel position of the convolutional feature map M0 based on the representative value of the sliding window 42 derived by the intermediate layer 44, and on the input image S0 corresponding to the target pixel position. The presence/absence of an object candidate at the corresponding pixel position is determined.
  • FIG. 5 is a diagram schematically showing the processing performed by the classification layer 45.
  • the classification layer 45 compares the representative value derived at the target pixel position with a predetermined threshold value and determines whether the target pixel position is in the object candidate region or the background region.
  • FIG. 5 it is assumed that an object candidate exists at a pixel position with a diagonal line in the convolution feature map M0.
  • the classification layer 45 sets the anchor 43 for the target pixel position in the convolutional feature map M0. For this reason, the classification layer 45 refers to the corresponding pixel position of the input image S0 and the pixel value of the corresponding pixel position corresponding to the target pixel position in the convolutional feature map M0 determined to be in the object candidate region. For example, regarding the target pixel position Gt shown in FIG. 5, a plurality of corresponding pixel positions corresponding to the target pixel position Gt in the input image S0 and the pixel values of the corresponding pixel positions are referred to. In addition, you may refer to the representative value of the pixel value of a some corresponding pixel position.
  • An area of the input image S0 composed of a plurality of corresponding pixel positions is referred to as a corresponding pixel area Rt.
  • the classification layer 45 determines the presence/absence of an object candidate for each corresponding pixel position in the corresponding pixel area Rt of the input image S0. In the corresponding pixel region Rt, a signal value is different between the object candidate and the background in which the object candidate does not exist. Therefore, the classification layer 45 compares the signal value of each corresponding pixel position in the corresponding pixel area Rt with a predetermined threshold value, and determines whether each corresponding pixel position in the corresponding pixel area Rt is in the object candidate area. Determine if it is in the background area.
  • the correct answer box 71 is a region including pixels including the object candidate in the corresponding pixel region Rt.
  • the classification layer 45 selects an anchor.
  • the anchor is selected from the plurality of anchors 43 based on the signal value in the correct answer box including the object candidate and the similarity in shape and size with the correct answer box.
  • the signal value at the target pixel position in the convolution feature map M0 or the representative value of the signal values may be used.
  • the pixel position where the object candidate exists in the corresponding pixel region Rt that is, the correct box 71 is composed of two horizontally arranged pixels with diagonal lines.
  • the signal value of the correct answer box 71 represents the property of frosted glass nodule.
  • the classification layer 45 selects the ground glass anchor 43A for lung nodules from the two types of anchors 43A and 43B. Further, the classification layer 45 selects an anchor having the most similar size and aspect ratio to the correct answer box 71 from the plurality of anchors 43A (43A-1, 43A-2%) For ground nodule in a ground glass shape.
  • the RPN 41 has three types of anchors 43A-1, 43A-2, 43A-1, 43A-2, which have aspect ratios of 1:1, 2:1 and 1:2, respectively, for frosted glass lung nodules. 43A-3 is defined, and three types of anchors 43B-1, 43B-2, 43B-3 having aspect ratios of 1:1, 2:1 and 1:2 are defined for solid lung nodules.
  • the ground glass anchor 43A for lung nodule is selected, and further, the anchor 43A-3 having an aspect ratio of 1:2, which is most similar in size and aspect ratio to the correct answer box 71, is selected.
  • the sizes of the anchors 43A-1, 43A-2, 43A-3 and the anchors 43B-1, 43B-2, 43B-3 are 1 ⁇ 1 ⁇ horizontal. There are 1 pixel, 2 ⁇ 0.5 pixels, and 0.5 ⁇ 2 pixels.
  • the classification layer 45 in the convolutional feature map M0, is an object candidate channel having a corresponding pixel position of 1 and other pixel positions of 0, and the corresponding pixel position of 0 and other pixel positions of 1.
  • a background channel having a value of is generated as a result of specifying the object candidate region.
  • the pixel position where the object candidate exists in the corresponding pixel region Rt that is, the signal value of the correct answer box 72 represents a solid property and is composed of two pixels arranged vertically. ..
  • the anchors 43A and 43B similar to those shown in FIG. 5 are defined in the RPN 41, the anchor 43B for the solid lung nodule is selected, and further, the anchors 43B-1, 43B-2, 43B.
  • An anchor 43B-2 having an aspect ratio of 2:1 is selected from -3.
  • the sizes of the anchors included in the anchors 43A and 43B are 1 ⁇ 1 pixel in the vertical and horizontal directions, 2 ⁇ 0.5 pixels, and 0.5 ⁇ 2 pixels, respectively. Has become.
  • the pixel position where the object candidate exists in the corresponding pixel area Rt that is, the signal value of the correct answer box 73 represents a ground glass-like property and is composed of one pixel.
  • three types of anchors 43A-4, 43A-1, 43A-5 having different aspect ratios and having an aspect ratio of 1:1 are defined for the ground glass nodule.
  • 3 types of anchors 43B-4, 43B-1, 43B-5, each having an aspect ratio of 1:1 and different sizes, are defined for solid lung nodules.
  • the ground glass anchor 43A for lung nodule is selected, and further, the intermediate size anchor 43A-1 is selected from the anchors 43A-4, 43A-1, 43A-5.
  • the sizes of the anchors included in the anchors 43A and 43B are 0.5 ⁇ 0.5 pixels, 1 ⁇ 1 pixel, and 1.5 ⁇ 1 pixels, respectively. It has 5 pixels.
  • the regression layer 46 predicts at least one of movement and deformation of the selected anchor, and specifies an object candidate region surrounding the object candidate in the input image S0. That is, when the object candidate is included in the target pixel position in the convolution feature map M0, the difference between the anchor 43 selected by the classification layer 45 and the correct answer box which is the area where the object candidate exists is calculated, and the object in the input image S0 is calculated. Identify the candidate area.
  • the difference is the amount of movement and the amount of deformation of the selected anchor 43 in order to match the selected anchor 43 with the correct answer box.
  • the movement amount is a movement amount on the coordinates of the input image S0.
  • the deformation amount is each enlargement ratio in the XY directions, and when it is three-dimensional, each deformation amount is each enlargement ratio in the XYZ directions. Since the deformation is synonymous with enlarging or reducing the anchor, the deformation amount is synonymous with the enlargement ratio.
  • Fig. 8 is a diagram for explaining the difference between the correct answer box and the anchor. It is assumed that the input image S0 includes the correct answer box 74 as shown in FIG. 8 and the anchor 43 is set at the position shown in FIG.
  • the regression layer 46 derives a movement amount ⁇ x in the x direction, a movement amount ⁇ y in the y direction, an enlargement ratio ⁇ w in the x direction, and an enlargement ratio ⁇ h in the y direction for matching the anchor 43 with the correct answer box 74.
  • the anchor 43 is deformed by the derived movement amount and enlargement ratio, the region matching the correct answer box 74 is specified.
  • the regression layer 46 identifies the object candidate region P0 in the input image S0 based on the derived difference. That is, the regression layer 46 identifies the object candidate included in the input image S0, that is, the area that matches the correct box as the object candidate area P0.
  • the first discriminator 40 is assumed to be translation-invariant, but translation-invariance specifies the object candidate region regardless of the position on the input image (convolution feature map M0 here). It means that the judgment criteria for doing so do not change. For example, it means that the anchor selection method, the movement method, and the deformation method are the same regardless of the size and position of the object included in the input image.
  • the learning of the first discriminator 40 is performed by the learning unit 23 as follows. That is, a teacher convolutional feature map is generated for various teacher input images whose properties, sizes, and aspect ratios of objects are known, and a teacher rectangular area circumscribing the object to be identified is cut out from the teacher convolutional feature map. Then, from the plurality of anchors 43, anchors having the most similar properties, sizes, and aspect ratios of the objects included in the teacher rectangular area (referred to as the input teacher rectangular area) of the input image corresponding to the pixel position including the center coordinate of the rectangular area are selected. select.
  • FIG. 9 is a diagram for explaining learning of the first discriminator.
  • the teacher input image S1 includes a frosted glass lesion 60 of a lung nodule.
  • the signal value of the pixel position (2, 2) corresponding to the lesion 60 included in the teacher input image S1 represents the property of the lung nodule of ground glass. It has become.
  • the pixel position has the origin at the upper left corner of the teacher convolution feature map M1.
  • the RPN 41 defines ground glass anchors 43A-1 and 43A-5 for lung nodules and solid anchors 43B-1 and 43B-5 for lung nodules.
  • the classification layer 45 in the first discriminator 40 determines whether the target pixel position in the convolutional feature map M0 is in the object candidate region or the background region when specifying the object candidate region included in the input image S0. .. At this time, the classification layer 45 generates a channel of the object candidate area and a channel of the background area from the convolutional feature map M0.
  • the value of the pixel position of the object candidate area is 1, and the value of the pixel position of the other areas is 0.
  • the value of the pixel position in the background area is 1, and the value of the pixel position in the other areas is 0.
  • the classification layer 45 is learned so that the pixel position corresponding to the lesion 60 in the teacher convolutional feature map M1 is specified as the object candidate region and the other pixel positions are specified as the background. That is, since the signal value at the pixel position (2, 2) of the teacher convolutional feature map M1 shown in FIG. 9 represents the property of frosted glass nodule, the learning unit 23 first sets the pixel position (2, 2).
  • the classification layer 45 is learned so that the ground glass anchor 43A for pulmonary nodule is applied.
  • the size and shape of the ground glass nodule in the teacher input image S1 corresponding to the target pixel position is similar to that of the anchor 43A-1. Therefore, for the teacher input image S1 as shown in FIG. 9, the learning unit 23 selects the ground glass anchor 43A-1 for lung nodule and selects the pixel position (2) in the channel fg of the object candidate region. , 2) is 1 and the values of the other pixel positions are 0, and the value of the pixel position (2, 2) is 0 and the values of the other pixel positions are 1 in the channel bg of the background area. Then, the classification layer 45 is learned.
  • the classification layer 45 is learned so that the value of becomes 1.
  • the classification layer 45 is learned such that the anchor 43A is applied to the ground glass nodule and the anchor 43B is applied to the solid lung nodule.
  • the learning unit 23 calculates the difference between the set anchor 43A-1 and the correct answer box surrounding the lesion 60 in the teacher input image S1.
  • FIG. 10 is a partially enlarged view of the teacher input image S1 for explaining the difference calculation.
  • the difference is the deformation amount and movement amount of the anchor 43A-1 for matching the anchor selected as described above with the correct answer box 76.
  • the input image is two-dimensional, the movement amount ⁇ x in the x direction, the movement amount ⁇ y in the y direction, and the enlargement ratio ⁇ w in the x direction for matching the center of the anchor 43A-1 with the center of the correct answer box 76.
  • the enlargement ratio ⁇ h in the y direction is the deformation amount and movement amount of the anchor 43A-1 for matching the anchor selected as described above with the correct answer box 76.
  • the learning unit 23 learns the regression layer 46 so that the difference between the anchor 43A-1 and the correct answer box 76 becomes the calculated difference.
  • the regression layer 46 may be learned using the stochastic gradient descent method or the error back propagation method.
  • the second classifier 50 specifies the category of the object candidate based on the convolutional feature map M0 and the object candidate region P0 specified by the first classifier 40.
  • the second discriminator 50 is the same as that described in the above-mentioned document of Shaoqing et al. and US Pat. No. 9,858,496.
  • the second discriminator 50 is made up of a neural network having a pooling layer and one or more fully connected layers, and identifies the category of object candidates as follows. First, the second classifier 50 cuts out the object candidate region P0 specified by the first classifier 40 from the convolutional feature map M0, and if necessary, cuts out the object candidate region P0 to a predetermined size. Resize. Then, the second discriminator 50 identifies the symptom category of the cut-out object candidate region P0.
  • the second discriminator 50 outputs a score representing the probability of having a specific symptom for the cut-out object candidate region P0, and the symptom category of the object candidate region P0 is the one with the larger score.
  • the candidate region of the lung nodule is output with a score indicating the probability of being a malignant lesion or a benign lesion. Then, the characteristic of the region of the lung nodule is specified as the symptom with the larger score.
  • the second classifier 50 identifies the category of the object candidate region P0 as the non-lesion region.
  • the learning of the second discriminator 50 is performed by inputting an image including a pulmonary nodule whose symptom category is known to be either a malignant lesion or a benign lesion as a teacher image and inputting the teacher image. It is performed so that the score of the category of the symptom of pulmonary nodule included in the acquired teacher image becomes 100%.
  • learning may be performed using the stochastic gradient descent method or the error back propagation method.
  • the second discriminator 50 may specify the position and size of a rectangle circumscribing the object. In this case, processing is performed to correct the position and size of the object candidate area P0 in the convolution feature map M0 so that the clipped object candidate area P0 circumscribes the object more accurately.
  • the second discriminator 50 may also discriminate the contour of the object included in the object candidate region P0.
  • the second classifier 50 performs learning so as to identify the contour of the object included in the object candidate region P0 specified by the first classifier 40.
  • the display control unit 24 causes the display unit 14 to display the property of the object candidate area specified by the first classifier 40 and the anchor selected by the first classifier 40. Further, the size and shape of the anchor selected by the first discriminator 40 are displayed on the display unit 14. Further, the result of category identification by the second discriminator 50 is displayed on the display unit 14.
  • FIG. 11 is a diagram showing a result screen on the display unit 14. As shown in FIG. 11, the input image S0 is displayed on the result screen 61. Further, the result screen 61 includes an anchor display area 62 for displaying the property, type and size of the used anchor in the lower right corner. In FIG.
  • the anchor display area 62 information indicating that an anchor having a 1:1 aspect ratio and an area of 128 pixels has been selected for the frosted glass nodule is displayed in the anchor display area 62. Further, on the result screen 61, a rectangle 63 surrounding the object candidate specified in the input image S0 is displayed. Further, the result screen 61 includes a category display area 64 for displaying the category of the symptoms of the rectangle 63 in the lower left corner. In FIG. 11, in the category display area 64, “benign” is displayed as the symptom category of the identified object.
  • FIG. 12 is a flowchart showing the learning process according to this embodiment.
  • the learning unit 23 acquires the teacher input image S1 (step ST1). Then, the learning unit 23 selects, for the teacher input image S1, an anchor according to the property of the object included in the teacher input image S1 (step ST2). Further, the learning unit 23 derives the difference between the anchor and the lesion included in the teacher input image S1, that is, the correct answer box (step ST3). Then, when the teacher input image S1 is input, the learning unit 23 applies the selected anchor, predicts at least one of the movement and deformation of the applied anchor, and sets the correct box included in the teacher input image S1 as an object.
  • the RPN 41 of the first discriminator 40 is learned so as to surround it as a candidate (step ST4). Then, when the learning process is repeated a predetermined number of times (step ST5, YES), the learning process ends.
  • An object candidate area may be specified using the learned first classifier, and learning may be performed until the accuracy rate exceeds a predetermined threshold value (for example, 99%).
  • FIG. 13 is a flowchart showing the area specifying processing according to this embodiment.
  • the image acquisition unit 21 acquires the input image S0 (step ST11).
  • the convolutional neural network 30 of the object identifying unit 22 generates a convolutional feature map M0 from the input image S0 (step ST12).
  • the first discriminator 40 selects the anchor 43 (step ST13), and specifies the object candidate region P0 in the input image S0 based on the selected anchor 43 (step ST14).
  • the second discriminator 50 identifies the category of cases in the object candidate region P0 (step ST15).
  • the display control unit 24 displays the result screen 61 including the selected anchor and the category of the specified object on the display unit 14 (step ST16), and ends the process.
  • an object candidate region including a plurality of subclass objects having different properties included in the input image S0 for example, a candidate region for a pulmonary nodule including a ground glass nodule and a solid lung nodule is specified.
  • an anchor is selected according to the property of the subclass object. Therefore, learning is performed so as to specify the subclass object as the object candidate area by using the anchor according to the property, and thus the configuration of the first classifier 40 can be simplified. Therefore, according to the present embodiment, the learning of the first discriminator 4 can be efficiently performed. Further, the object candidate region P0 can be efficiently specified in the input image S0.
  • the anchor is selected based on the size of the overlap between the anchor and the correct answer box. For example, in the case of the correct answer box 73 as shown in FIG. 7, based on the overlapping size of the anchor and the correct answer box when the anchor is located at the center of the corresponding pixel area Rt, the largest square shown in FIG. Anchor 43A-5 is selected. On the other hand, in the present embodiment, the anchor is selected based on the similarity in shape and size with the correct answer box. Therefore, as described above, the anchor 43A-1 is selected in this embodiment.
  • the object candidate region P0 is specified based on the anchor. Therefore, in the case of the correct answer box 73 as shown in FIG. 7, the anchor 43A-1 is better than the anchor 43A-5. It is possible to reduce the amount of calculation for processing at least one of movement and deformation of the anchor to match the correct answer box 73. Therefore, according to the present embodiment, the object included in the input image S0 can be specified quickly and efficiently.
  • the anchor is selected based on the similarity of the shape and size to the correct answer box in addition to the property, but the invention is not limited to this.
  • the anchor may be selected based on the size of the overlap between the anchor and the correct answer box in addition to the property.
  • the correct answer box 73 having a signal indicating a glassy property as shown in FIG. 7, it is based on the size of the overlap between the anchor and the correct answer box when the anchor is located at the center of the corresponding pixel region Rt.
  • the largest square anchor 43A-5 shown in FIG. 7 will be selected.
  • the identification of the object candidate area using the selected anchor is performed in the same manner as in the above embodiment.
  • the learning of the first discriminator 40 by the learning unit 23 is performed so as to select the anchor that has the largest overlap with the correct answer box.
  • a plurality of anchors are defined for each of the ground glass anchor for lung nodule and the anchor for solid lung nodule, but the present invention is not limited to this. Only one anchor may be defined for each of the subclass objects, that is, one anchor for each of the ground glass nodule and one for the solid lung nodule.
  • the first discriminator 40 and the second discriminator 50 are made up of neural networks, but the present invention is not limited to this.
  • it may be a support vector machine (SVM (Support Vector Machine)) and a decision tree.
  • SVM Support Vector Machine
  • the object specifying unit 22 is provided with the convolutional neural network 30, the convolutional neural network 30 generates the convolutional feature map M0, and the object candidate region P0 is specified in the generated convolutional feature map M0.
  • the object specifying unit 22 may not include the convolutional neural network 30, and the first discriminator 40 may specify the object candidate region P0 in the input image S0.
  • the second classifier 50 may specify the object category based on the convolutional feature map M0.
  • the second classifier 50 cuts out the object candidate region P0 from the input image S0 and specifies the object category. Good.
  • the convolutional neural network 30 has the convolutional layer and the pooling layer, but the invention is not limited to this.
  • the convolutional neural network 30 may have no pooling layer or may further have a deconvolution layer.
  • the size of the convolutional feature map M0 is the same as that of the input image S0.
  • the convolution feature map M0 is input to the second discriminator 50 and the category of the object is specified based on the convolution feature map M0, but the invention is not limited to this.
  • the input image S0 may be input to the second classifier 50, and the category of the object may be specified based on the input image S0.
  • a pulmonary nodule including a ground glass nodule and a solid lung nodule as a subclass object is used, but is not limited to this. is not.
  • a Faster-RCNN that identifies a person included in an image
  • the white race, the black race, and the yellow race have different properties, that is, skin.
  • the Faster-RCNN so as to prepare an anchor according to the race and learn the RPN 41, select the anchor according to the race, and specify the candidate region for the person. Is.
  • dangerous materials include people, cars, bicycles, etc. that have different properties, that is, shape and shape. Included as subclass objects with different structures. Even in such a case, Faster should be prepared so that anchors corresponding to the types of dangerous goods are prepared and RPN41 is learned, and anchors corresponding to the types of dangerous goods are selected to specify the dangerous goods candidate area. -It is possible to build an RCNN.
  • the hardware structure of the processing unit (Processing Unit) that executes various processes is as follows.
  • Various processors shown in can be used.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units
  • the above-mentioned various processors include circuits after manufacturing the FPGA (Field Programmable Gate Array) and the like.
  • Programmable Logic Device (PLD) which is a processor whose configuration can be changed, and dedicated electrical equipment, which is a processor that has a circuit configuration specifically designed to execute specific processing such as ASIC (Application Specific Integrated Circuit) Circuits etc. are included.
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ). Also, the plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by computers such as clients and servers. There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • there is a form of using a processor that realizes the function of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip. is there.
  • the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

領域特定装置は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する。領域特定装置は、入力画像に含まれる物体候補を特定する第１の識別器を備える。第１の識別器は、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する。

Description

領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器
　本開示は、画像に含まれる物体の領域を特定する領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器に関するものである。
　近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像を用いての画像診断が可能となってきている。このような３次元画像に含まれる臓器および病変等の領域を自動で抽出することも行われている。このように画像から領域を抽出する手法として、ディープラーニング等の機械学習により学習がなされた識別器を用いる手法が提案されている。とくに、ディープラーニングで用いられる畳み込みニューラルネットワーク（ＣＮＮ（Convolution Neural Network））としてＦａｓｔｅｒ－ＲＣＮＮ（Regions with CNN features）が知られている（「Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015」および米国特許第９８５８４９６号明細書参照）。
　Ｆａｓｔｅｒ－ＲＣＮＮは、入力画像から特徴量を抽出して特徴マップを生成する畳み込み層と、物体の候補領域を特定するＲＰＮ（Region Proposal Networks）と、特徴マップおよび物体候補領域を入力として、物体のカテゴリの分類および回帰の結果を出力する分類ネットワークとから構成される。Ｆａｓｔｅｒ－ＲＣＮＮのＲＰＮにおいては、複数種類のアスペクト比およびサイズを有するアンカーと呼ばれる矩形領域が予め定義される。ＲＰＮにおいては、複数種類のアンカーを入力画像から生成された特徴マップの各画素位置に適用し、入力画像に含まれる物体候補との重なり率が最も大きいアンカーが選択される。そして、ＲＰＮにおいては、選択されたアンカーを用いて、物体候補を囲む矩形（正解ボックス）と一致するようにアンカーを回帰させる（すなわち変形および移動させる）処理を、特徴マップの全画素において行い、正解ボックスと一致するように回帰されたアンカーの位置およびサイズが、入力画像における物体候補領域としてＲＰＮから出力される。そして、分類ネットワークにおいて、物体候補領域および特徴マップに基づいて、入力画像における物体候補領域の分類が行われる。
　また、ＣＮＮを用いて画像に含まれる人物を効率よく特定するために、複数種類のアンカーから人物が立っている状態のアスペクト比に近い縦長の１：２のアスペクト比を有するアンカーを用いる手法が提案されている（特開２０１７－１９１５０１号公報参照）。
　一方、胸部の入力画像に含まれる肺癌を特定するために、Ｆａｓｔｅｒ－ＲＣＮＮを用いることが考えられる。この場合、ＲＰＮにおいて、入力画像における肺癌の候補領域を特定し、分類ネットワークにおいて、肺癌の候補領域を悪性病変および良性病変のカテゴリ、並びに病変でない領域のカテゴリに分類するように、Ｆａｓｔｅｒ－ＲＣＮＮが構築される。ここで、肺癌の候補領域としては、肺結節の領域が挙げられる。また、肺結節には、すりガラス状の肺結節および充実状の肺結節のように性状が異なる肺結節がある。このため、ＲＰＮは、すべての性状の肺結節の領域を特定できるように学習が行われる。
　また、入力画像に含まれる人物の顔を特定するためにも、Ｆａｓｔｅｒ－ＲＣＮＮを用いることが考えられる。この場合、ＲＰＮにおいて、入力画像における人物の顔候補領域を特定し、分類ネットワークにおいて、顔候補領域を顔と顔でない領域に分類するように、Ｆａｓｔｅｒ－ＲＣＮＮが構築される。ここで、人物の肌の色および髪の毛の色等、人物の性状は人種によって異なる。このため、ＲＰＮは、すべての人種の人物の顔候補の領域を特定できるように学習が行われる。
　上述した肺癌および人物の顔のように、画像に含まれる特定すべき物体が、性状が異なる複数の物体（以下、サブクラス物体とする）を含む場合であっても、Ｆａｓｔｅｒ－ＲＣＮＮを適切に学習することにより、画像から物体を検出できる。しかしながら、特定すべき物体が、性状が異なる複数のサブクラス物体を含む場合、ＲＰＮに定義されたアンカーが、すべての性状のサブクラス物体を特定できるように学習を行う必要がある。このように学習を行うと、ＲＰＮの構成が複雑となるため、学習の負担が大きいものとなる。また、物体の特定時においても処理の負担が大きい。このため、学習を効率よく行ったり、効率よく物体を特定したりすることができない。
　本発明は上記事情に鑑みなされたものであり、特定すべき物体が、性状が異なる複数のサブクラス物体を含む場合に、より効率よく物体を特定できるようにすることを目的とする。
　本開示による領域特定装置は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定装置であって、
　入力画像に含まれる物体候補を特定する第１の識別器を備え、
　第１の識別器は、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する。
　「性状」とは、入力画像上に含まれるサブクラス物体の外観を規定する、性質および状態の少なくとも一方を表す。性質および状態は、サブクラス物体の形状、信号値、およびサブクラス物体に含まれる構造等の少なくとも１つにより定義される。このため、形状、信号値、および含まれる構造等の少なくとも１つが異なれば、性状が異なるものとなる。
　なお、本開示による領域特定装置においては、第１の識別器は、サブクラス物体の性状に応じて、各種形状および各種大きさを有する複数のアンカーから、物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択し、選択されたアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するものであってもよい。
　また、本開示による領域特定装置においては、第１の識別器は、物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択するものであってもよい。
　また、本開示による領域特定装置においては、特定された物体候補領域のサブクラスを表示部に表示する表示制御部をさらに備えるものであってもよい。
　また、本開示による領域特定装置においては、表示制御部は、物体候補領域が特定された入力画像を表示部に表示するものであってもよい。
　また、本開示による領域特定装置においては、入力画像から畳み込み特徴マップを生成する畳み込み部をさらに備え、
　第１の識別器は、畳み込み特徴マップに基づいて物体候補領域を特定するものであってもよい。
　また、本開示による領域特定装置においては、物体候補領域に含まれる物体候補のカテゴリを特定する第２の識別器をさらに備えるものであってもよい。
　また、本開示による領域特定装置においては、畳み込み特徴マップおよび物体候補領域に基づいて、物体候補のカテゴリを特定する第２の識別器をさらに備えるものであってもよい。
　この場合、第２の識別器は、物体候補領域を修正するものであってもよい。
　また、第２の識別器は、物体候補領域内における物体候補の輪郭を識別するものであってもよい。
　本開示による学習装置は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習装置であって、
　性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する学習部を備える。
　本開示による識別器は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器であって、
　性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように学習されてなる。
　本開示による領域特定方法は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定方法であって、
　サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第１の識別器が、入力画像に含まれる物体候補を特定する。
　本開示による学習方法は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習方法であって、
　性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する。
　なお、本開示による領域特定方法および学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の領域特定装置は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する処理をコンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第１の識別器として機能して、入力画像に含まれる物体候補を特定する処理を実行する。
　本開示による他の学習装置は、入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する処理をコンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する処理を実行する。
　本開示によれば、識別器の学習を効率よく行うことができる。また、入力画像において物体候補領域を効率よく特定することができる。
本開示の実施形態による領域特定装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による領域特定装置の概略構成を示す図 物体特定部の構成を示す概略ブロック図 ＲＰＮの構成を示す図 アンカーの選択を説明するための図 アンカーの選択を説明するための図 アンカーの選択を説明するための図 アンカーの正解ボックスとの差分を説明するための図 第１の識別器の学習を説明するための図 差分の算出を説明するための、教師入力画像の部分拡大図 結果画面を示す図 本実施形態による学習処理を示すフローチャート 本実施形態による領域特定処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による領域特定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による領域特定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２は例えばＣＴ装置であり、被検体の診断対象となる部位を含むＣＴ画像を３次元画像として生成する。なお、３次元画像は複数の断層画像からなる。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　領域特定装置１は、本実施形態の学習装置を内包するものであり、１台のコンピュータに、本実施形態の領域特定プログラムおよび学習プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。領域特定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、コンピュータに領域特定プログラムおよび学習プログラムをインストールすることにより実現される領域特定装置の概略構成を示す図である。図２に示すように、領域特定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、領域特定装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
　ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した入力画像および処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、領域特定プログラムおよび学習プログラムが記憶されている。領域特定プログラムは、ＣＰＵ１１に実行させる処理として、物体領域を特定する対象となる入力画像Ｓ０を取得する画像取得処理、入力画像Ｓ０に含まれる物体を特定する物体特定処理、および後述する物体候補領域が特定された入力画像Ｓ０を表示する表示制御処理を規定する。また、学習プログラムは、後述する第１の識別器を学習する処理を規定する。なお、入力画像は３次元の画像であってもよく、２次元の画像であってもよい。本実施形態においては、説明のために例えばＣＴ装置により取得された３次元画像の１つの断層面を表す断層画像が入力画像として用いられるものとするが、これに限定されるものではない。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、物体特定部２２、学習部２３および表示制御部２４として機能する。
　画像取得部２１は、入力画像Ｓ０を画像保管サーバ３から取得するインターフェース等からなる。なお、入力画像Ｓ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から入力画像Ｓ０を取得するようにしてもよい。
　物体特定部２２は、入力画像Ｓ０に含まれる物体を特定する。本実施形態においては、物体特定部２２はＦａｓｔｅｒ－ＲＣＮＮからなる。図３は物体特定部２２の構成を示す概略ブロック図である。図３に示すように、物体特定部２２、すなわちＦａｓｔｅｒ－ＲＣＮＮは、入力画像Ｓ０から畳み込み特徴マップＭ０を生成する畳み込みニューラルネットワーク３０、畳み込み特徴マップＭ０に含まれる物体候補領域Ｐ０を特定する第１の識別器４０、および物体候補領域Ｐ０に基づいて物体候補領域Ｐ０に含まれる物体候補のカテゴリを特定する第２の識別器５０を有する。なお、畳み込みニューラルネットワーク３０が本開示の畳み込み部に対応する。
　ここで、本実施形態においては、第１の識別器４０により、入力画像Ｓ０における肺癌の候補領域を物体候補領域Ｐ０として特定し、第２の識別器５０により、肺癌の候補領域を悪性病変、良性病変および病変でない領域の症状別のカテゴリに分類するものとする。ここで、肺癌の候補領域としては、肺結節の領域が挙げられる。肺結節には、すりガラス状の肺結節および充実状の肺結節のように性状が異なる肺結節がある。したがって、肺結節は、すりガラス状の肺結節および充実状の肺結節を含む。このように、本実施形態においては、入力画像Ｓ０において特定すべき物体は、性状が異なる複数のサブクラス物体を含むものとする。
　ここで、すりガラス状の肺結節は、淡い白色を有し、境界がそれほど明確でない。一方、充実性の肺結節は、白色を有し、境界が明確である。このため、すりガラス状の肺結節と充実状の肺結節とでは、形状および信号値が異なることにより、性状が異なるものとなっている。
　畳み込みニューラルネットワーク３０は、畳み込み層(Convolutional Layer)、プーリング層(Pooling Layer)および逆畳み込み層(Deconvolutional Layer)等の複数の層を有する。畳み込みニューラルネットワーク３０は、入力画像Ｓ０が入力されると、入力画像Ｓ０の特徴がマッピングされた畳み込み特徴マップＭ０を出力する。本実施形態における畳み込みニューラルネットワーク３０は、畳み込み層およびプーリング層を有するものとする。この場合、畳み込み特徴マップＭ０は、入力画像Ｓ０のサイズよりも小さいものとなる。例えば、畳み込みニューラルネットワーク３０に含まれるプーリング層が１つおよび２つのそれぞれ場合において、畳み込み特徴マップＭ０のサイズは、入力画像Ｓ０に対してそれぞれ１／４，１／１６となる。なお、畳み込みニューラルネットワーク３０がプーリング層を有さない場合、または逆畳み込み層を有する場合、畳み込み特徴マップＭ０のサイズは入力画像Ｓ０と同一となる。ここで、畳み込みニューラルネットワークとしては、上述したShaoqingらの文献に記載された、ZeilerとFergusのモデルまたはSimonyanとZissermanのモデル等、公知のモデルを用いることができる。
　第１の識別器４０は、並進不変なRegion Proposal Network（物体領域提案ネットワーク、以下、ＲＰＮ４１とする）を有する。なお、ＲＰＮ４１が本開示の構成要素に対応する。ＲＰＮ４１は、畳み込みニューラルネットワーク３０から入力された畳み込み特徴マップＭ０に含まれる物体候補領域を特定する。図４はＲＰＮの構成を示す図である。図４に示すように、ＲＰＮ４１はスライディングウィンドウ４２により畳み込み特徴マップＭ０をコンボリューションする。スライディングウィンドウ４２は、畳み込み特徴マップＭ０上の各画素を中心とするｎ×ｎ（例えば３×３）画素の領域内の信号値を抽出する。そして、ＲＰＮ４１は、畳み込み特徴マップＭ０上においてスライディングウィンドウ４２を、予め定められた画素単位で順次移動しつつ、畳み込み特徴マップＭ０におけるｎ×ｎ画素の領域の信号値を抽出する。なお、本実施形態においては、畳み込み特徴マップＭ０におけるスライディングウィンドウ４２の中心画素位置が、物体候補検出の対象画素位置となる。
　ここで、ＲＰＮ４１においては、畳み込み特徴マップＭ０上において設定されたスライディングウィンドウ４２の中心位置、すなわち畳み込み特徴マップＭ０における対象画素位置に設定される複数のアンカー４３が予め定義されている。アンカー４３は各種サイズおよび各種アスペクト比を有する矩形の領域である。本実施形態においては、特定すべき物体に含まれるサブクラス物体の性状に応じてアンカー４３が定義されている。具体的には、すりガラス状の肺結節用のアンカー４３Ａおよび充実状の肺結節用のアンカー４３Ｂがそれぞれ複数定義されている。
　本実施形態においては、すりガラス状の肺結節用として、縦横１：１、２：１および１：２の３種類のアスペクト比、並びに面積として１２８画素、２５６画素および５１２画素の３種類のサイズを有する、合計９種類のアンカー４３Ａが定義されているものとする。また、充実状の肺結節用として、縦横１：１、２：１および１：２の３種類のアスペクト比、並びに面積として１２８画素、２５６画素および５１２画素の３種類のサイズを有する、合計９種類のアンカー４３Ｂが定義されているものとする。なお、アンカー４３Ａ，４３Ｂのアスペクト比および面積はこれらの値に限定されるものではない。また、アンカー４３Ａ，４３Ｂのそれぞれに対して、９種類よりも少ないまたは９種類よりも多いアンカー４３を定義しておいてもよい。また、アンカー４３Ａ，４３Ｂのそれぞれに含まれるアンカーの数は同一でなくてもよい。なお、アンカーの画素数は、入力画像Ｓ０に対する画素数であり、畳み込み特徴マップＭ０のサイズのサイズに応じて、アンカーのサイズも変更される。なお、本実施形態においては、畳み込み特徴マップＭ０の入力画像Ｓ０に対するサイズおよびアンカー４３Ａ，４３Ｂのサイズは説明のための例であり、実際には上述したもの以外の種々の値を取り得る。
　また、ＲＰＮ４１は、中間層４４、分類層４５および回帰層４６を備える。中間層４４は、スライディングウィンドウ４２内のｎ×ｎ画素の信号値を畳み込んで信号値の代表値を導出する。信号値の代表値は、例えば平均値、最大値および中間値等とすることができるが、これに限定されるものではない。
　分類層４５は、中間層４４が導出したスライディングウィンドウ４２の代表値に基づいて、畳み込み特徴マップＭ０の対象画素位置についての物体候補の有無の判定、および対象画素位置に対応する入力画像Ｓ０上の対応画素位置における物体候補の有無の判定を行う。図５は分類層４５が行う処理を模式的に示す図である。畳み込み特徴マップＭ０においては、物体候補と物体候補が存在しない背景とにおいて信号値に差異が生じる。このため、分類層４５は、対象画素位置において導出された上記代表値を予め定められたしきい値と比較し、対象画素位置が物体候補領域にあるか背景領域にあるかを判定する。ここで、図５においては、畳み込み特徴マップＭ０において斜線を付与した画素位置に物体候補が存在するものとする。
　対象画素位置が物体候補領域にあると判定された場合、分類層４５は畳み込み特徴マップＭ０における対象画素位置に対してアンカー４３を設定する。このために、分類層４５は、物体候補領域にあると判定された畳み込み特徴マップＭ０における対象画素位置に対応する、入力画像Ｓ０の対応画素位置および対応画素位置の画素値を参照する。例えば、図５に示す対象画素位置Ｇｔについて、入力画像Ｓ０における対象画素位置Ｇｔに対応する複数の対応画素位置および対応画素位置の画素値を参照する。なお、複数の対応画素位置の画素値の代表値を参照してもよい。ここで、本実施形態において、畳み込み特徴マップＭ０が入力画像Ｓ０の１／１６のサイズであるとすると、入力画像Ｓ０における対象画素位置Ｇｔに対応する対応画素位置は４×４＝１６画素からなる。なお、複数の対応画素位置からなる入力画像Ｓ０の領域を対応画素領域Ｒｔと称する。
　分類層４５は、入力画像Ｓ０の対応画素領域Ｒｔにおける各対応画素位置について、物体候補の有無の判定を行う。対応画素領域Ｒｔにおいては、物体候補と物体候補が存在しない背景とにおいて信号値に差異が生じる。このため、分類層４５は、対応画素領域Ｒｔ内の各対応画素位置の信号値を予め定められたしきい値と比較し、対応画素領域Ｒｔ内の各対応画素位置が物体候補領域にあるか背景領域にあるかを判定する。ここで、図５においては、対応画素領域Ｒｔにおいて斜線を付与した対応画素位置に物体候補が存在するものとする。なお、対応画素領域Ｒｔにおいて物体候補を含む画素からなる領域が正解ボックス７１となる。
　続いて、分類層４５はアンカーを選択する。具体的には、複数のアンカー４３から、物体候補を含む正解ボックス内の信号値、並びに正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択する。なお、正解ボックス内の信号値に代えて、畳み込み特徴マップＭ０における対象画素位置の信号値または信号値の代表値を用いてもよい。ここで、図５に示すように対応画素領域Ｒｔ内において物体候補が存在する画素位置、すなわち正解ボックス７１が、斜線が付与された横に並ぶ２つの画素からなるものとする。また、正解ボックス７１の信号値が、すりガラス状の肺結節の性状を表すものであるとする。この場合、分類層４５は、２種類のアンカー４３Ａ，４３Ｂから、すりガラス状の肺結節用のアンカー４３Ａを選択する。また、分類層４５は、正解ボックス７１とサイズおよびアスペクト比が最も類似するアンカーを、すりガラス状の肺結節用の複数のアンカー４３Ａ（４３Ａ－１，４３Ａ－２．．．）から選択する。例えば、図５に示すように、ＲＰＮ４１が、すりガラス状の肺結節用として、それぞれアスペクト比が縦横１：１、２：１および１：２である３種類のアンカー４３Ａ－１，４３Ａ－２，４３Ａ－３が定義され、充実状の肺結節用として、それぞれアスペクト比が縦横１：１、２：１および１：２である３種類のアンカー４３Ｂ－１，４３Ｂ－２，４３Ｂ－３が定義されているものとする。この場合、すりガラス状の肺結節用のアンカー４３Ａが選択され、さらに正解ボックス７１とサイズおよびアスペクト比が最も類似するアスペクト比が１：２のアンカー４３Ａ－３が選択される。なお、図５においては、説明を容易なものとするために、アンカー４３Ａ－１，４３Ａ－２，４３Ａ－３およびアンカー４３Ｂ－１，４３Ｂ－２，４３Ｂ－３のサイズは、それぞれ縦横１×１画素、２×０．５画素、０．５×２画素となっている。
　この際、分類層４５は、畳み込み特徴マップＭ０において、対応画素位置が１、それ以外の画素位置が０の値を有する物体候補のチャンネル、および対応画素位置が０、それ以外の画素位置が１の値を有する背景のチャンネルを、物体候補の領域の特定結果として生成する。
　一方、図６に示すように対応画素領域Ｒｔ内において物体候補が存在する画素位置、すなわち正解ボックス７２の信号値が、充実状の性状を表し、かつ縦に並ぶ２つの画素からなるものとする。この場合において、ＲＰＮ４１が図５に示すものと同様のアンカー４３Ａ，４３Ｂが定義されている場合、充実状の肺結節用のアンカー４３Ｂが選択され、さらに、アンカー４３Ｂ－１，４３Ｂ－２，４３Ｂ－３から、アスペクト比が２：１のアンカー４３Ｂ－２が選択される。なお、図６においても、説明を容易なものとするために、アンカー４３Ａ，４３Ｂに含まれる各アンカーのサイズは、それぞれ縦横１×１画素、２×０．５画素、０．５×２画素となっている。
　また、図７に示すように対応画素領域Ｒｔ内において物体候補が存在する画素位置、すなわち正解ボックス７３の信号値が、すりガラス状の性状を表し、かつ１つの画素からなるものとする。この場合において、図７に示すように、すりガラス状の肺結節用として、それぞれアスペクト比が１：１であり、サイズが異なる３種類のアンカー４３Ａ－４，４３Ａ－１，４３Ａ－５が定義され、充実状の肺結節用として、それぞれアスペクト比が１：１であり、サイズが異なる３種類のアンカー４３Ｂ－４，４３Ｂ－１，４３Ｂ－５が定義されているものとする。この場合、すりガラス状の肺結節用のアンカー４３Ａが選択され、さらに、アンカー４３Ａ－４，４３Ａ－１，４３Ａ－５から中間のサイズのアンカー４３Ａ－１が選択される。なお、図７においては、説明を容易なものとするために、アンカー４３Ａ，４３Ｂに含まれる各アンカーのサイズは、それぞれ０．５×０．５画素、１×１画素、１．５×１．５画素となっている。
　回帰層４６は、選択されたアンカーの移動および変形の少なくとも一方を予測して、入力画像Ｓ０において、物体候補を囲む物体候補領域を特定する。すなわち、畳み込み特徴マップＭ０における対象画素位置に物体候補が含まれる場合に、分類層４５が選択したアンカー４３と物体候補が存在する領域である正解ボックスとの差分を算出し、入力画像Ｓ０における物体候補領域を特定する。ここで、差分とは、選択されたアンカー４３を正解ボックスに一致させるための、選択されたアンカー４３の移動量および変形量である。移動量は入力画像Ｓ０の座標上における移動量であり、入力画像Ｓ０が２次元の場合はＸＹ方向のそれぞれの移動量、３次元の場合はＸＹＺ方向のそれぞれの移動量である。変形量は、入力画像Ｓ０が２次元の場合はＸＹ方向のそれぞれの拡大率であり、３次元の場合はＸＹＺ方向のそれぞれの拡大率である。変形はアンカーを拡大または縮小することと同義であるため、変形量は拡大率と同義である。
　図８はアンカーの正解ボックスとの差分を説明するための図である。図８に示すように入力画像Ｓ０が正解ボックス７４を含み、アンカー４３が図８に示す位置に設定されたものとする。回帰層４６は、アンカー４３を正解ボックス７４に一致させるためのｘ方向の移動量Δｘ、ｙ方向の移動量Δｙ、ｘ方向の拡大率Δｗおよびｙ方向の拡大率Δｈを導出する。アンカー４３を導出された移動量および拡大率により変形させると、正解ボックス７４に一致する領域が特定される。
　回帰層４６は導出された差分に基づいて、入力画像Ｓ０における物体候補領域Ｐ０を特定する。すなわち、回帰層４６は、入力画像Ｓ０に含まれる物体候補すなわち正解ボックスと一致する領域を物体候補領域Ｐ０として特定する。
　ここで、第１の識別器４０は、並進不変であるとしたが、並進不変であるとは、入力される画像（ここでは畳み込み特徴マップＭ０）上の位置に拘わらず、物体候補領域を特定するための判断基準が変わらないことを意味する。例えば、アンカーの選択の仕方、移動および変形の仕方が、入力される画像に含まれる物体の大きさおよび位置に拘わらず同一であることを意味する。
　なお、本実施形態において、第１の識別器４０、すなわちＲＰＮ４１の学習は、学習部２３が、以下のようにして行う。すなわち、物体の性状、サイズおよびアスペクト比が既知の各種教師入力画像についての教師畳み込み特徴マップを生成し、教師畳み込み特徴マップから識別すべき物体に外接する教師矩形領域を切り出す。そして、矩形領域の中心座標を含む画素位置に対応する入力画像の教師矩形領域（入力教師矩形領域とする）に含まれる物体の性状、サイズおよびアスペクト比が最も類似するアンカーを複数のアンカー４３から選択する。
　図９は第１の識別器の学習を説明するための図である。図９に示すように、教師入力画像Ｓ１にすりガラス状の肺結節の病変６０が含まれているものとする。教師入力画像Ｓ１から生成された教師畳み込み特徴マップＭ１においては、教師入力画像Ｓ１に含まれる病変６０に対応する画素位置（２，２）の信号値が、すりガラスの肺結節の性状を表すものとなっているとする。なお、画素位置は教師畳み込み特徴マップＭ１の左上隅を原点とする。また、ＲＰＮ４１には、すりガラス状の肺結節用のアンカー４３Ａ－１，４３Ａ－５、および充実状の肺結節用のアンカー４３Ｂ－１，４３Ｂ－５が定義されているものとする。
　第１の識別器４０における分類層４５は、入力画像Ｓ０に含まれる物体候補領域を特定する際に、畳み込み特徴マップＭ０における対象画素位置が物体候補領域にあるか背景領域にあるかを判定する。この際、分類層４５は、畳み込み特徴マップＭ０から物体候補領域のチャンネルおよび背景領域のチャンネルを生成する。ここで、物体候補領域のチャンネルにおいては、物体候補領域の画素位置の値が１となり、それ以外の領域の画素位置の値が０となる。また、背景領域のチャンネルにおいては、背景領域の画素位置の値が１となり、それ以外の領域の画素位置の値が０となる。
　学習部２３は、教師畳み込み特徴マップＭ１に対して、すりガラス状の肺結節用のアンカー４３Ａ－１および４３Ａ－５のうち、教師入力画像Ｓ１に含まれる病変とサイズおよび形状が類似するアンカー４３Ａ－１を適用したときに、教師畳み込み特徴マップＭ１における病変６０に対応する画素位置を物体候補領域に特定し、それ以外の画素位置を背景に特定するように、分類層４５を学習する。すなわち、図９に示す教師畳み込み特徴マップＭ１の画素位置（２，２）の信号値は、すりガラス状の肺結節の性状を表すため、学習部２３は、まず、画素位置（２，２）に対してはすりガラス状の肺結節用のアンカー４３Ａを適用するように、分類層４５を学習する。また、対象画素位置に対応する教師入力画像Ｓ１のすりガラス状の肺結節のサイズおよび形状は、アンカー４３Ａ－１と類似する。このため、学習部２３は、図９に示すような教師入力画像Ｓ１に対しては、すりガラス状の肺結節用のアンカー４３Ａ－１を選択し、物体候補領域のチャンネルｆｇにおいて、画素位置（２，２）の値が１かつそれ以外の画素位置の値が０となり、背景領域のチャンネルｂｇにおいて、画素位置（２，２）の値が０かつそれ以外の画素位置の値が１となるように、分類層４５を学習する。この場合、アンカー４３Ａ－５、アンカー４３Ｂ－１およびアンカー４３Ｂ－５を適用した場合は、物体候補領域のチャンネルｆｇのすべての画素位置の値が０となり、背景領域のチャンネルｂｇのすべての画素位置の値が１となるように、分類層４５を学習する。
　これにより、すりガラス状の肺結節に対しては、アンカー４３Ａが適用され、充実状の肺結節に対しては、アンカー４３Ｂが適用されるように、分類層４５が学習される。
　次いで、学習部２３は、教師入力画像Ｓ１において、設定したアンカー４３Ａ－１と病変６０を囲む正解ボックスとの差分を算出する。図１０は差分の算出を説明するための、教師入力画像Ｓ１の部分拡大図である。ここで、差分とは、上述したように選択されたアンカーを正解ボックス７６と一致させるためのアンカー４３Ａ－１の変形量および移動量である。例えば、入力画像が２次元である場合、アンカー４３Ａ－１の中心と正解ボックス７６の中心とを一致させるための、ｘ方向の移動量Δｘ、ｙ方向の移動量Δｙ、ｘ方向の拡大率Δｗおよびｙ方向の拡大率Δｈである。
　学習部２３は、アンカー４３Ａ－１と正解ボックス７６との差分が算出された差分となるように、回帰層４６を学習する。この際、確率的勾配降下法または誤差逆伝播法を用いて、回帰層４６を学習させればよい。
　第２の識別器５０は、畳み込み特徴マップＭ０および第１の識別器４０が特定した物体候補領域Ｐ０に基づいて、物体候補のカテゴリを特定する。なお、第２の識別器５０は、上述したShaoqingらの文献および米国特許第９８５８４９６号明細書に記載されたものと同一である。例えば、第２の識別器５０は、プーリング層および１以上の全結合層を有するニューラルネットワークからなり、以下のようにして物体候補のカテゴリを特定する。まず、第２の識別器５０は、第１の識別器４０が特定した物体候補領域Ｐ０を畳み込み特徴マップＭ０から切り出し、必要であれば切り出した物体候補領域Ｐ０を、予め定められた大きさにリサイズする。そして、第２の識別器５０は、切り出した物体候補領域Ｐ０の症状のカテゴリを特定する。
　具体的には、第２の識別器５０は、切り出した物体候補領域Ｐ０について、特定の症状であることの確率を表すスコアを出力し、物体候補領域Ｐ０の症状のカテゴリを、スコアが大きい方の症状に特定する。例えば、本実施形態においては、第１の識別器４０により、肺結節の候補領域が特定されているため、肺結節の候補領域について、悪性病変および良性病変であることの確率を表すスコアを出力し、肺結節の領域の特徴を、スコアが大きい方の症状に特定する。一方、悪性病変のスコアおよび良性病変のスコアが、ともにしきい値以上とならない場合、第２の識別器５０は、物体候補領域Ｐ０のカテゴリを病変でない領域に特定する。
　なお、第２の識別器５０の学習は、症状のカテゴリが悪性病変および良性病変のいずれかであることが既知の肺結節を含む画像を教師画像とし、教師画像が入力された場合に、入力された教師画像に含まれる肺結節の症状のカテゴリのスコアが１００％となるように行われる。この際、第１の識別器４０と同様に、確率的勾配降下法または誤差逆伝播法を用いて、学習を行えばよい。
　また、第２の識別器５０は、物体に外接する矩形の位置およびサイズを特定するものであってもよい。この場合、切り出した物体候補領域Ｐ０が、より正確に物体に外接するように、畳み込み特徴マップＭ０における物体候補領域Ｐ０の位置およびサイズを修正する処理を行うものとなる。
　また、第２の識別器５０は、物体候補領域Ｐ０に含まれる物体の輪郭を識別するものであってもよい。この場合、第２の識別器５０は、第１の識別器４０が特定した物体候補領域Ｐ０に含まれる物体の輪郭を識別するように、学習が行われる。
　表示制御部２４は、第１の識別器４０が特定した物体候補領域、および第１の識別器４０が選択したアンカーについての性状を表示部１４に表示する。また、第１の識別器４０が選択したアンカーのサイズおよび形状を表示部１４に表示する。また、第２の識別器５０によるカテゴリの特定結果を表示部１４に表示する。図１１は、表示部１４における結果画面を示す図である。図１１に示すように、結果画面６１には入力画像Ｓ０が表示される。また、結果画面６１は、その右下隅に、使用したアンカーの性状、種類およびサイズを表示するアンカー表示領域６２を含む。図１１においては、すりガラス状の肺結節用であり、アスペクト比が１：１で面積が１２８画素のアンカーが選択されたことを示す情報がアンカー表示領域６２に表示されている。また、結果画面６１においては、入力画像Ｓ０において特定された物体候補を囲む矩形６３が表示されている。また、結果画面６１は、その左下隅に、矩形６３の症状のカテゴリを表示するカテゴリ表示領域６４を含む。図１１においては、カテゴリ表示領域６４には、特定された物体の症状のカテゴリとして、「良性」が表示されている。
　次いで、本実施形態において行われる処理について説明する。図１２は本実施形態による学習処理を示すフローチャートである。まず、学習部２３は教師入力画像Ｓ１を取得する（ステップＳＴ１）。そして、学習部２３は、教師入力画像Ｓ１に対して、教師入力画像Ｓ１に含まれる物体の性状に応じたアンカーを選択する（ステップＳＴ２）。さらに、学習部２３は、アンカーと教師入力画像Ｓ１に含まれる病変、すなわち正解ボックスとの差分を導出する（ステップＳＴ３）。そして、学習部２３は、教師入力画像Ｓ１が入力されると、選択したアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、教師入力画像Ｓ１に含まれる正解ボックスを物体候補として囲むように第１の識別器４０のＲＰＮ４１を学習する（ステップＳＴ４）。そして、学習の処理を予め定められた回数繰り返すと（ステップＳＴ５，ＹＥＳ）、学習の処理を終了する。
　なお、学習は、予め定められた回数に限定されるものではない。学習された第１の識別器を用いて物体候補領域を特定させ、正解率が予め定められたしきい値（例えば９９％）を超えるまで学習を行うようにしてもよい。
　図１３は本実施形態による領域特定処理を示すフローチャートである。まず、画像取得部２１が、入力画像Ｓ０を取得する（ステップＳＴ１１）。次いで、物体特定部２２の畳み込みニューラルネットワーク３０が、入力画像Ｓ０から畳み込み特徴マップＭ０を生成する（ステップＳＴ１２）。そして、第１の識別器４０がアンカー４３を選択し（ステップＳＴ１３）、選択したアンカー４３に基づいて、入力画像Ｓ０における物体候補領域Ｐ０を特定する（ステップＳＴ１４）。そして、第２の識別器５０が、物体候補領域Ｐ０における症例のカテゴリを特定する（ステップＳＴ１５）。さらに、表示制御部２４が、選択されたアンカーおよび特定された物体のカテゴリを含む結果画面６１を表示部１４に表示し（ステップＳＴ１６）、処理を終了する。
　ここで、上述したShaoqingらの文献および米国特許第９８５８４９６号明細書に記載された手法においては、入力画像Ｓ０に含まれる物体が、性状が異なる複数のサブクラスの物体を含む場合であっても、ＲＰＮにおけるアンカーがすべての性状のサブクラスの物体を検出できるように学習を行う必要がある。このため、ＲＰＮの構成が複雑となることから、学習の負担が大きいものとなる。また、物体の検出時においても処理の負担が大きい。したがって、上述したShaoqingらの文献および米国特許第９８５８４９６号明細書に記載された手法では、学習を効率よく行ったり、効率よく物体を検出したりすることができない。
　本実施形態によれば、入力画像Ｓ０に含まれる、性状が異なる複数のサブクラス物体を含む物体候補領域、例えば、すりガラス状の肺結節および充実状の肺結節を含む肺結節の候補領域を特定するに際して、サブクラス物体の性状に応じたアンカーを選択するようにした。このため、性状に応じたアンカーを用いてサブクラス物体を物体候補領域として特定するように学習が行われることから、第１の識別器４０の構成を簡易なものとすることができる。したがって、本実施形態によれば、第１の識別器４の学習を効率よく行うことができる。また、入力画像Ｓ０において物体候補領域Ｐ０を効率よく特定することができる。
　また、上述したShaoqingらの文献および米国特許第９８５８４９６号明細書に記載された手法においては、アンカーと正解ボックスとの重なりの大きさに基づいて、アンカーが選択される。例えば、図７に示すような正解ボックス７３の場合、アンカーを対応画素領域Ｒｔの中央に位置させた場合のアンカーと正解ボックスとの重なりの大きさに基づくと、図７に示す最も大きい正方形のアンカー４３Ａ－５が選択される。これに対して、本実施形態は、正解ボックスとの形状および大きさの類似度に基づいてアンカーが選択される。このため、上述したように、本実施形態においては、アンカー４３Ａ－１が選択される。
　このように、本実施形態においては、アンカーに基づいて物体候補領域Ｐ０を特定しているため、図７に示すような正解ボックス７３の場合、アンカー４３Ａ－５よりもアンカー４３Ａ－１の方が、正解ボックス７３に一致させるためのアンカーの移動および変形の少なくとも一方の処理のための演算量を低減することができる。したがって、本実施形態によれば、入力画像Ｓ０に含まれる物体を高速かつ効率よく特定することができる。
　なお、上記実施形態においては、性状に加えて、正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択しているが、これに限定されるものではない。例えば、米国特許第９８５８４９６号明細書に記載されたように、性状に加えて、アンカーと正解ボックスとの重なりの大きさに基づいて、アンカーを選択するようにしてもよい。例えば、図７に示すようなガラス状の性状を表す信号を有する正解ボックス７３の場合、アンカーを対応画素領域Ｒｔの中央に位置させた場合のアンカーと正解ボックスとの重なりの大きさに基づくと、図７に示す最も大きい正方形のアンカー４３Ａ－５が選択されることとなる。この場合、選択されたアンカーを用いての物体候補領域の特定は、上記実施形態と同様に行われる。また、学習部２３による第１の識別器４０の学習は、正解ボックスとの重なりが最も大きいアンカーを選択するように行われる。
　また、上記実施形態においては、すりガラス状の肺結節用のアンカーおよび充実状の肺結節用のアンカーのそれぞれに複数のアンカーを定義しているが，これに限定されるものではない。サブクラス物体のそれぞれに１つのアンカーのみ、すなわちすりガラス状の肺結節用および充実状の肺結節用のそれぞれに１つのアンカーのみを定義するようにしてもよい。
　また、上記実施形態においては、第１の識別器４０および第２の識別器５０をニューラルネットワークからなるものとしているが、これに限定されるものではない。例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、および決定木であってもよい。
　また、上記実施形態においては、物体特定部２２を畳み込みニューラルネットワーク３０を備えるものとし、畳み込みニューラルネットワーク３０において畳み込み特徴マップＭ０を生成し、生成された畳み込み特徴マップＭ０において、物体候補領域Ｐ０を特定しているが、これに限定されるものではない。物体特定部２２を畳み込みニューラルネットワーク３０を備えないものとし、第１の識別器４０において、入力画像Ｓ０において物体候補領域Ｐ０を特定するものであってもよい。この場合、第２の識別器５０は、畳み込み特徴マップＭ０に基づいて物体のカテゴリを特定するものとしてもよいが、入力画像Ｓ０から物体候補領域Ｐ０を切り出して、物体のカテゴリを特定するものとしてもよい。
　また、上記実施形態においては、畳み込みニューラルネットワーク３０を畳み込み層およびプーリング層を有するものとしているが、これに限定されるものではない。畳み込みニューラルネットワーク３０を、プーリング層を有さないもの、または逆畳み込み層をさらに有するものとしてもよい。畳み込みニューラルネットワーク３０がプーリング層を有さない場合、または逆畳み込み層を有する場合、畳み込み特徴マップＭ０のサイズは入力画像Ｓ０と同一となる。
　また、上記実施形態においては、第２の識別器５０に畳み込み特徴マップＭ０を入力し、畳み込み特徴マップＭ０に基づいて物体のカテゴリを特定しているが、これに限定されるものではない。第２の識別器５０に入力画像Ｓ０を入力し、入力画像Ｓ０に基づいて物体のカテゴリを特定するようにしてもよい。
　また、上記実施形態においては、性状が異なる複数のサブクラス物体を含む物体として、すりガラス状の肺結節および充実状の肺結節をサブクラス物体として含む肺結節を用いているが、これに限定されるものではない。例えば、画像に含まれる人物を特定するＦａｓｔｅｒ－ＲＣＮＮを構築する場合において、人物を特定すべき物体とした場合には、白色人種、黒色人種および黄色人種が、性状が異なる、すなわち肌の色（画像における信号値）が異なるサブクラス物体として含まれる。このような場合においても、人種に応じたアンカーを用意してＲＰＮ４１の学習を行い、人種に応じたアンカーを選択して人物候補領域を特定するようにＦａｓｔｅｒ－ＲＣＮＮを構築することが可能である。
　また、自動運転技術における運転中に車両の前に出現する危険物を特定するＦａｓｔｅｒ－ＲＣＮＮを構築する場合において、危険物には、人、車および自転車等が、性状が異なる、すなわち形状および含まれる構造が異なるサブクラス物体として含まれる。このような場合においても、危険物の種類に応じたアンカーを用意してＲＰＮ４１の学習を行い、危険物の種類に応じたに応じたアンカーを選択して危険物候補領域を特定するようにＦａｓｔｅｒ－ＲＣＮＮを構築することが可能である。
　また、上記実施形態において、例えば、画像取得部２１、物体特定部２２、学習部２３および表示制御部２４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　領域特定装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　メモリ
　　　１３　　ストレージ
　　　１４　　表示部
　　　１５　　入力部
　　　２１　　画像取得部
　　　２２　　物体特定部
　　　２３　　表示制御部
　　　３０　　畳み込みニューラルネットワーク
　　　４０　　第１の識別器
　　　４１　　ＲＰＮ
　　　４２　　スライディングウィンドウ
　　　４２Ａ　　中心画素
　　　４３　　アンカー
　　　４３Ａ，４３Ａ－１，４３Ａ－２，４３Ａ－３，４３Ａ－４，４３Ａ－５　すりガラス状の肺結節用のアンカー
　　　４３Ｂ，４３Ｂ－１，４３Ｂ－２，４３Ｂ－３，４３Ｂ－４，４３Ｂ－５　充実状の肺結節用のアンカー
　　　４４　　中間層
　　　４５　　分類層
　　　４６　　回帰層
　　　５０　　第２の識別器
　　　６０　　病変
　　　６１　　結果画面
　　　６２　　アンカー表示領域
　　　６３　　矩形
　　　６４　　カテゴリ表示領域
　　　７１，７２，７３，７４，７５．７６　　正解ボックス
　　　Ｇｔ　　対象画素位置
　　　Ｒｔ　　対応画素領域
　　　Ｍ０　　畳み込み特徴マップ
　　　Ｍ１　　教師畳み込み特徴マップ
　　　Ｓ０　　入力画像
　　　Ｓ１　　教師入力画像
　　　Ｐ０　　物体候補領域
 

Claims (16)

  1. 　入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定装置であって、
    　前記入力画像に含まれる物体候補を特定する第１の識別器を備え、
    　前記第１の識別器は、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記物体候補を囲む物体候補領域を特定するように構成された構成要素を有する領域特定装置。
  2. 　前記第１の識別器は、前記サブクラス物体の性状に応じて、各種形状および各種大きさを有する複数のアンカーから、前記物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択し、選択されたアンカーの移動および変形の少なくとも一方を予測して、前記物体候補を囲む物体候補領域を特定する請求項１に記載の領域特定装置。
  3. 　前記第１の識別器は、前記物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択する請求項２に記載の領域特定装置。
  4. 　前記特定された物体候補領域のサブクラスを表示部に表示する表示制御部をさらに備えた請求項１から３のいずれか１項に記載の領域特定装置。
  5. 　前記表示制御部は、前記物体候補領域が特定された前記入力画像を前記表示部に表示する請求項４に記載の領域特定装置。
  6. 　前記入力画像から畳み込み特徴マップを生成する畳み込み部をさらに備え、
    　前記第１の識別器は、前記畳み込み特徴マップに基づいて前記物体候補領域を特定する請求項１から５のいずれか１項に記載の領域特定装置。
  7. 　前記物体候補領域に含まれる前記物体候補のカテゴリを特定する第２の識別器をさらに備えた請求項１から６のいずれか１項に記載の領域特定装置。
  8. 　前記畳み込み特徴マップおよび前記物体候補領域に基づいて、前記物体候補のカテゴリを特定する第２の識別器をさらに備えた請求項６に記載の領域特定装置。
  9. 　前記第２の識別器は、前記物体候補領域を修正する請求項７または８に記載の領域特定装置。
  10. 　前記第２の識別器は、前記物体候補領域内における前記物体候補の輪郭を識別する請求項７から９のいずれか１項に記載の領域特定装置。
  11. 　入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習装置であって、
    　性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する学習部を備えた学習装置。
  12. 　入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器であって、
    　性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように学習されてなる識別器。
  13. 　入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定方法であって、
    　前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第１の識別器が、前記入力画像に含まれる前記物体候補を特定する領域特定方法。
  14. 　入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習方法であって、
    　性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する学習方法。
  15. 　入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定方法をコンピュータに実行させる領域特定プログラムであって、
    　前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第１の識別器が、前記入力画像に含まれる前記物体候補を特定する手順をコンピュータに実行させる領域特定プログラム。
  16. 　入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習方法をコンピュータに実行させる学習プログラムであって、
    　性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する手順をコンピュータに実行させる学習プログラム。
     
PCT/JP2019/044390 2019-02-28 2019-11-12 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 WO2020174770A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19917216.4A EP3933764A4 (en) 2019-02-28 2019-11-12 AREA DETERMINATION DEVICE, METHOD, PROGRAM, LEARNING DEVICE, METHOD, PROGRAM AND IDENTIFICATION DEVICE
JP2021501571A JP7130107B2 (ja) 2019-02-28 2019-11-12 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器
US17/407,179 US20210383164A1 (en) 2019-02-28 2021-08-19 Region specification apparatus, region specification method, region specification program, learning apparatus, learning method, learning program, and discriminator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-036241 2019-02-28
JP2019036241 2019-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/407,179 Continuation US20210383164A1 (en) 2019-02-28 2021-08-19 Region specification apparatus, region specification method, region specification program, learning apparatus, learning method, learning program, and discriminator

Publications (1)

Publication Number Publication Date
WO2020174770A1 true WO2020174770A1 (ja) 2020-09-03

Family

ID=72238298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044390 WO2020174770A1 (ja) 2019-02-28 2019-11-12 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器

Country Status (4)

Country Link
US (1) US20210383164A1 (ja)
EP (1) EP3933764A4 (ja)
JP (1) JP7130107B2 (ja)
WO (1) WO2020174770A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057446A1 (ja) * 2022-09-14 2024-03-21 日本電気株式会社 映像処理システム、映像処理装置および映像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191501A (ja) 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9858496B2 (en) 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US20190050994A1 (en) * 2017-08-10 2019-02-14 Fujitsu Limited Control method, non-transitory computer-readable storage medium, and control apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027972B (zh) * 2015-07-30 2022-03-15 北京市商汤科技开发有限公司 用于对象跟踪的系统和方法
RU2698997C1 (ru) * 2016-09-06 2019-09-02 Электа, Инк. Нейронная сеть для генерации синтетических медицинских изображений
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN108694401B (zh) * 2018-05-09 2021-01-12 北京旷视科技有限公司 目标检测方法、装置及系统
US10699162B2 (en) * 2018-07-30 2020-06-30 Mackay Memorial Hospital Method and system for sorting and identifying medication via its label and/or package
US11188766B2 (en) * 2019-02-05 2021-11-30 Honda Motor Co., Ltd. System and method for providing context aware road-user importance estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858496B2 (en) 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
JP2017191501A (ja) 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20190050994A1 (en) * 2017-08-10 2019-02-14 Fujitsu Limited Control method, non-transitory computer-readable storage medium, and control apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HIROSHI FUKUI, TAKAYOSHI YAMASHITA, YUJI YAMAUCHI, HIRONOBU FUJIYOSHI: "Research Trends in Pedestrian Detection Using Deep Learning", IEICE TECHNICAL REPORT. PRMU, vol. 116, no. 366 (PRMU2016-121), 8 December 2016 (2016-12-08), JP, pages 37 - 46, XP009515067, ISSN: 0913-5685 *
REN, SHAOQING ET AL.: "Faster R-CNN: Towards real-time object detection with region proposal networks", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 2015
REN, SHAOQING ET AL.: "Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 39, no. 6, 1 June 2017 (2017-06-01), pages 1137 - 1149, XP055705510, DOI: 10.1109/TPAMI.2016.2577031 *
See also references of EP3933764A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057446A1 (ja) * 2022-09-14 2024-03-21 日本電気株式会社 映像処理システム、映像処理装置および映像処理方法

Also Published As

Publication number Publication date
US20210383164A1 (en) 2021-12-09
EP3933764A4 (en) 2022-04-27
JPWO2020174770A1 (ja) 2021-12-23
EP3933764A1 (en) 2022-01-05
JP7130107B2 (ja) 2022-09-02

Similar Documents

Publication Publication Date Title
US11810296B2 (en) Interpretation and quantification of emergency features on head computed tomography
US20230106440A1 (en) Content based image retrieval for lesion analysis
US20200085382A1 (en) Automated lesion detection, segmentation, and longitudinal identification
El-Baz et al. Automatic detection of 2D and 3D lung nodules in chest spiral CT scans
US10734107B2 (en) Image search device, image search method, and image search program
US9569844B2 (en) Method for determining at least one applicable path of movement for an object in tissue
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
Shariaty et al. Texture appearance model, a new model-based segmentation paradigm, application on the segmentation of lung nodule in the CT scan of the chest
Dogra et al. Glioma classification of MR brain tumor employing machine learning
WO2020174770A1 (ja) 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器
US20210319210A1 (en) Region specification apparatus, region specification method, and region specification program
TWI733627B (zh) 基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法及電腦程式產品
US11551354B2 (en) Interlobar membrane display apparatus, method, and program
US20240105315A1 (en) Medical image diagnostic system, medical image diagnostic system evaluation method, and program
US20220108451A1 (en) Learning device, method, and program, medical image processing apparatus, method, and program, and discriminator
US20230334670A1 (en) Medical image-processing apparatus, change-degree calculation method, and non-volatile computer-readable medium
WO2021085057A1 (ja) 物体検出装置、物体検出方法およびプログラム
US20230238118A1 (en) Information processing apparatus, information processing system, information processing method, and program
Militzer et al. Learning a prior model for automatic liver lesion segmentation in follow-up CT images
JP2023173115A (ja) 画像認識プログラム、画像認識方法および画像認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917216

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501571

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019917216

Country of ref document: EP

Effective date: 20210928