WO2019069629A1 - 画像処理装置及び学習済みモデル - Google Patents

画像処理装置及び学習済みモデル Download PDF

Info

Publication number
WO2019069629A1
WO2019069629A1 PCT/JP2018/033399 JP2018033399W WO2019069629A1 WO 2019069629 A1 WO2019069629 A1 WO 2019069629A1 JP 2018033399 W JP2018033399 W JP 2018033399W WO 2019069629 A1 WO2019069629 A1 WO 2019069629A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
correct
image processing
image
processing apparatus
Prior art date
Application number
PCT/JP2018/033399
Other languages
English (en)
French (fr)
Inventor
松本　剛
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019546593A priority Critical patent/JP6821048B2/ja
Publication of WO2019069629A1 publication Critical patent/WO2019069629A1/ja
Priority to US16/819,158 priority patent/US11574189B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an image processing apparatus for creating a correct image group used for machine learning, and a learned model generated by performing machine learning using the correct image group created by the image processing apparatus.
  • image diagnosis is performed in which a doctor interprets an image obtained by an imaging apparatus such as an X-ray CT apparatus or an MRI to make a diagnosis.
  • an imaging apparatus such as an X-ray CT apparatus or an MRI
  • a diagnosis support apparatus has been proposed which supports the detection of a lesion area in an image (see, for example, Patent Document 1).
  • JP 2017-74363 A Japanese Patent Application Laid-Open No. 8-36643 JP-A-4-125779
  • the correct image used for machine learning is generally created manually.
  • an operation such as mask processing is performed by specifying a lesion area for each frame included in a plurality of image frame groups. For this reason, when the number of frames included in the frame group is a huge number, a large amount of labor is required to perform the above-described work for creating a correct image.
  • the present invention has been made in view of the above-described circumstances, and it is an object of the present invention to provide an image processing apparatus and a learned model that can efficiently create a correct image group used for machine learning from a plurality of image frame groups. .
  • An image processing apparatus is An image processing apparatus that creates a correct image group to be used for machine learning from a plurality of image frame groups, and A reference frame selection unit that selects a specific reference frame from the group of frames; A reference correct frame acquisition unit that acquires a reference correct frame representing a focused area in the selected reference frame; A complementary correct frame generation unit that generates a complementary correct frame corresponding to a frame other than the reference frame included in the frame group based on at least one reference correct frame acquired by the reference correct frame acquisition unit; Equipped with
  • the learned model according to one aspect of the present invention is generated by performing machine learning using the correct image group generated by the image processing apparatus.
  • an image processing apparatus capable of efficiently creating a correct image group to be used for machine learning from a frame group of a plurality of images.
  • FIG. 1 It is a block diagram which illustrates the composition of the image processing device of one embodiment concerning the present invention. It is a flow chart which illustrates an embodiment of a correct picture creation method concerning the present invention.
  • A is an explanatory view about a display mode of a frame group which constitutes a moving image
  • (b) is an explanatory view about a display mode of a candidate of a reference frame
  • (c) is an enlarged view of an arbitrary candidate frame
  • FIG. 1 is a block diagram illustrating the configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 1 shown in FIG. 1 includes an original frame storage unit 11, a reference frame selection unit 12, a reference correct frame acquisition unit 13, a complementary correct frame creation unit 14, a correct frame storage unit 15, and correct frame acquisition It has a unit 16, an image display unit 17, and an operation unit 18.
  • the hardware structure of the image processing apparatus 1 is realized by a processor that executes various programs by executing as a program, a random access memory (RAM), and a read only memory (ROM).
  • the processor is a programmable logic device (a processor that can change the circuit configuration after manufacturing a central processing unit (CPU) or a field programmable gate array (FPGA)), which is a general-purpose processor that executes programs and performs various processes.
  • the processor includes a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed to execute specific processing such as a programmable logic device (PLD) or an application specific integrated circuit (ASIC). More specifically, the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • the processor that configures the evaluation system may be configured of one of various processors, or a combination of two or more processors of the same or different types (for example, a combination of multiple FPGAs or a combination of CPU and FPGA May be configured.
  • the original frame storage unit 11 stores data of a frame group FG that constitutes a moving image obtained by photographing with an endoscope apparatus or the like.
  • the frame group FG is not limited to a moving image, and may be a frame group of a plurality of images having a time-series relationship, or may be a frame group of a plurality of images merely forming an aggregate.
  • the reference frame selection unit 12 selects one or more specific reference frames fs satisfying a predetermined condition from the frame group FG stored in the original frame storage unit 11.
  • the reference frame selection unit 12 may present a plurality of frames satisfying the predetermined condition as candidates, and select a frame specified by the operation unit 18 as the reference frame fs.
  • the predetermined condition which is a reference when selecting the reference frame fs, is that the image of the frame is less blurred or blurred, and the value indicating the degree of blurring or blurring is equal to or less than the threshold value.
  • the degree of blurring or blurring can be quantified, for example, by image analysis or frequency analysis of edge strength or contrast of an image when a single frame is used. When a plurality of frames are used, the degree of blurring or blurring can be quantified by analyzing the velocity vector such as the amount of deviation or the direction.
  • the degree of blurring can be calculated for each frame from data at the time of imaging detected by a gyroscope or an acceleration sensor mounted on an endoscope apparatus or the like.
  • the degree of blurring can be calculated for each frame from data such as the depth of focus in an endoscope apparatus or the like.
  • a reference frame selection unit by embedding values of the calculated degree of blur and blur in reference to the information of each frame as a reference information or associating the values with identification information (ID) of each frame 12, when selecting the reference frame fs, can refer to values indicating the degree of blurring and blurring.
  • a frame whose value indicating each degree of blurring and blurring is equal to or less than the threshold and a frame whose value is larger than the threshold may be stored in different folders in the original frame storage unit 11.
  • the reference frame selection unit 12 may select the reference frame fs from the folder in which the frames equal to or smaller than the threshold are stored.
  • an image in which washing water is entirely applied, an image in which residual liquid remains, and an image in which a treatment tool is in a frame are also predetermined. It may be determined that the condition is not satisfied. Therefore, a frame that does not satisfy the predetermined condition may be specified by detecting the presence of an object that blocks the observation target based on image features such as color, edge strength, or contour shape. In this case, the frame is stored in a different folder as a frame not selected as the reference frame fs by specifying the frame based on the acquisition time of the frame not satisfying the predetermined condition or the examination information linked to the acquisition time of the frame You may sort out in advance.
  • the reference correct frame acquisition unit 13 acquires a reference correct frame Fr representing a region of interest r in the reference frame fs.
  • the reference correct frame Fr may be created by the reference correct frame acquiring unit 13 performing identification of the attention area r and image processing of the attention area r based on the operation input from the operation unit 18, or the reference frame fs.
  • the data from the image processing apparatus 1 of this embodiment is output to a system different from the image processing apparatus 1, and the data obtained by the specification of the attention area r and the image processing of the attention area r performed by the other system is You may acquire from said another system.
  • the attention area r is, for example, an area including a lesion site in an image captured by the endoscope apparatus.
  • the image processing performed on the attention area r is, for example, mask processing (filling processing).
  • the complementary correct frame generation unit 14 generates a complementary correct frame Fc corresponding to a frame other than the reference frame fs included in the frame group FG based on at least one reference correct frame Fr acquired by the reference correct frame acquisition unit 13. .
  • the complementary correct frame creating unit 14 may create the complementary correct frame Fc from a frame other than the reference frame fs based on the reference correct frame Fr.
  • the reference frame selection unit 12 selects a plurality of reference frames fs and the reference answer frame acquisition unit 13 acquires a plurality of reference answer frames Fr based on each reference frame fs
  • An image obtained by performing morphing processing based on the image of the region of interest r in the reference correct frame Fr in a sheet is added to an intermediate frame constituting a moving image between the two reference correct frames Fr, and a complementary correct answer is obtained. Create a frame Fc.
  • the image obtained by the morphing process is given to the area corresponding to the attention area r in each image of the intermediate frame. For this reason, even if the coordinate position of each attention area r in the two reference correct answer frames Fr is different, an image is given to an appropriate coordinate position in the intermediate frame.
  • the complementary correct frame generation unit 14 when the reference frame selection unit 12 selects one reference frame fs, the complementary correct frame generation unit 14 generates a shape model and a shape change from the one reference correct frame Fr acquired by the reference correct frame acquisition unit 13. An image is created based on at least one of the models, and is added to a frame after the reference correct frame Fr to create a complementary correct frame Fc.
  • the shape model is a model for approximating a lesion area or the like in a frame with an ellipse or the like.
  • the shape change model is a model that changes the shape of an ellipse or the like that approximates a lesion area or the like in a frame with a time function based on the active contour model.
  • Each model is obtained by approximating or defining in advance a shape such as a lesion area to be remembered by machine learning as a function.
  • the shape of the lesion area or the like is not limited to an ellipse, but may be approximated by a polygon or a circle that can be expressed in two dimensions, or a combination thereof.
  • an arbitrary number and control position of N control points are set for the closed region consisting of N vertices (control points) and N-1 sides.
  • the rules may be determined statistically by machine learning or may be approximated or defined by a person empirically without machine learning.
  • the correct frame storage unit 15 has data of a correct frame group GC which is a correct image group composed of the reference correct frame Fr acquired by the reference correct frame acquiring unit 13 and the complementary correct frame Fc generated by the complementary correct frame generating unit 14.
  • the correct frames constituting the correct frame group GC are not limited to frames, but may be coordinate information or the like that can be converted into the correct frames, for example, representing the region of interest r.
  • the correct frame acquisition unit 16 acquires data of all or part of frames from the correct frame group GC stored in the correct frame storage unit 15 in accordance with an instruction from the operation unit 18.
  • the data of the frame acquired by the correct frame acquisition unit 16 is sent to the machine learning device 19 or the image display unit 17 according to the instruction content from the operation unit 18.
  • the image display unit 17 displays an image of a frame group FG that constitutes a moving image, an image of a reference correct frame Fr, or an image of a correct frame group GC. Further, the image display unit 17 displays an operation menu, a button icon, and the like which are referred to when the user of the image processing apparatus 1 operates the operation unit 18.
  • the operation unit 18 is means for the user of the image processing apparatus 1 to perform various operations. Specifically, the operation unit 18 is a track pad, a touch panel, a mouse or the like.
  • the processing executed by the flowchart shown in FIG. 2 is an original frame storage step S1, a reference frame selection step S2, a reference correct frame acquisition step S3, a complementary correct frame generation step S4, and a correct frame storage step S5.
  • the original frame storage step S ⁇ b> 1 data of the frame group FG constituting the moving image obtained by photographing with the endoscope apparatus or the like is stored in the original frame storage unit 11.
  • the frame group FG stored in the original frame storage unit 11 is displayed on the image display unit 17 as shown in FIG. 3 (a).
  • the images G of the respective frames f constituting the frame group FG are displayed side by side along the time axis t.
  • the reference frame selection unit 12 selects, from the frame group FG stored in the original frame storage unit 11, one or more specific reference frames fs that satisfy a predetermined condition.
  • a candidate for the reference frame fs hereinafter referred to as “candidate frame” fsc is selected by the reference frame selection unit 12 and presented on the image display unit 17 as shown in FIG. 3 (b).
  • the plurality of candidate frames fsc are presented in the mode indicated by the arrow A, but may be presented in the mode of displaying frame numbers.
  • the reference frame selection step S2 includes a display step S21 for individually enlarging and displaying the candidate frames fsc, and a determination step S22 for determining whether the candidate frames fsc displayed by enlargement are a clear image without blurring or blurring. .
  • the display step S21 the user of the image processing apparatus 1 causes the image display unit 17 to magnify and display an arbitrary candidate frame fsc, as shown in FIG. 3C.
  • judgment step S22 the user of the image processing apparatus 1 judges whether or not particularly the lesion site LA of the enlarged and displayed candidate frame fsc is clearly shown without blurring or blurring.
  • the process proceeds to the reference correct frame acquisition step S3.
  • the reference correct frame acquisition unit 13 acquires a reference correct frame Fr representing a region of interest r in the reference frame fs.
  • the reference correct frame acquisition step S3 has a focused area mask step S31 and a reference correct frame number determination step S32.
  • the user of the image processing apparatus 1 operates the operation unit 18 while viewing the image G of the reference frame fs displayed on the image display unit 17 as shown in FIG.
  • An attention area r including a lesion site LA in G is specified, and image processing (mask processing) of the attention area r is performed.
  • the reference correct frame acquiring unit 13 acquires the reference correct frame Fr by creating the reference correct frame Fr from the reference frame fs.
  • step S32 it is determined whether or not two or more reference correct frames Fr are acquired, and if it is not determined that two or more reference correct frames Fr are acquired (No in step S32) reference frame selection Returning to step S2, if it is determined that two or more reference correct frames Fr have been acquired (Yes in step S32), the process proceeds to a complementary correct frame creating step S4.
  • the complementary correct frame generation unit 14 performs a morphing process on the basis of the image of the region of interest r of the two base correct frames Fr obtained in the base correct frame acquisition step S3.
  • An image obtained by the morphing process is added to an intermediate frame constituting a moving image between the reference correct frame Fr to create a complementary correct frame Fc.
  • the two frames f 0, f n is selected in the reference frame fs 2 sheets of standard accuracy frame Fr at both ends of the frame group FG consisting of a plurality of frames f 0 ⁇ f n is created ing.
  • Data of the frame group FG including the base correct frame Fr (f 0 , f n ) is input to the complementary correct frame creating unit 14.
  • the complementary correct frame generation unit 14 performs morphing processing based on the images of the attention areas r 0 and r n of the two reference correct frames Fr (f 0 , f n ), thereby obtaining two reference correct frames Fr
  • the image obtained by the morphing process is added to the intermediate frames f 1 to f n-1 constituting the moving image between f 0 and f n ) to create a complementary correct frame Fc.
  • the complementary correct frame creation unit 14 corrects the reference correct frame Fr obtained in the reference correct frame acquisition step S3 and the complementary correct frame Fc generated in the complementary correct frame generation step S4 as a correct frame storage unit Save to 15.
  • the correct frame storage unit 15 stores a correct frame group GC that is a correct image group configured from the reference correct frame Fr and the complementary correct frame Fc.
  • All or part of the data of the correct frame group GC stored in the correct frame storage unit 15 is read by the correct frame acquisition unit 16 and sent to the machine learning device 19 or the image display unit 17.
  • the data sent to the machine learning device 19 is used as learning data for machine learning by the machine learning device 19, and the machine learning device 19 generates a learned model by performing the machine learning.
  • the learned model thus generated has a configuration of a convolutional neural network, and is used in an evaluation system of a lesion location included in an image acquired by the endoscopic device.
  • the machine learning device 19 includes a processor that performs machine learning, a random access memory (RAM), and a read only memory (ROM).
  • the evaluation system also includes a processor that executes a learned model as a program to perform various processes, a RAM, and a ROM.
  • the processor is a programmable logic device (a processor that can change the circuit configuration after manufacturing a central processing unit (CPU) or a field programmable gate array (FPGA)), which is a general-purpose processor that executes programs and performs various processes.
  • the processor includes a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed to execute specific processing such as a programmable logic device (PLD) or an application specific integrated circuit (ASIC).
  • PLD programmable logic device
  • ASIC application specific integrated circuit
  • the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • the processor that configures the evaluation system may be configured of one of various processors, or a combination of two or more processors of the same or different types (for example, a combination of multiple FPGAs or a combination of CPU and FPGA May be configured.
  • At least one frame clearly showing the lesion site LA is selected from the frame group FG that constitutes the moving image obtained by imaging with the endoscope apparatus etc. in 5 instances, two frames f 0 and frame f n) to select, to identify the individual regions of interest r acquires the standard accuracy frame Fr by performing image processing on the basis of the standard accuracy frame Fr
  • a correct frame group GC that is a correct image group composed of the reference correct frame Fr and the complementary correct frame Fc is created.
  • a learned model can be generated by using all or part of the data of the created correct frame group GC as learning data for machine learning, and the learned model is included in the image acquired by the endoscope apparatus It is used for the evaluation system of the lesion site.
  • a learned model means a function expressed as a combination of a structure of a neural network and a parameter (so-called "weight") which is a strength of connection between neurons constituting the neural network.
  • weight a parameter which is a strength of connection between neurons constituting the neural network.
  • a program for performing arithmetic processing based on the function is meant.
  • the present invention is not limited to the above embodiment, and appropriate modifications, improvements, and the like can be made.
  • the candidate frame fsc satisfying the predetermined condition is presented in the reference frame selection step S2, and the candidate frame fsc selected by the user of the image processing apparatus 1 from the candidate frames fsc using the operation unit 18 Is selected as the reference frame fs as the reference frame selection unit 12, but the reference frame selection unit 12 selects one or a plurality of frames satisfying the predetermined condition as the reference frame fs without presenting the candidate frames fsc. It is good.
  • the user of the image processing apparatus 1 operates the operation unit 18 while viewing the image of the reference frame fs displayed on the image display unit 17 in the reference correct frame acquisition step S3.
  • the reference correct frame Fr is obtained by specifying the attention area including the lesion area in the inside and performing the image processing (mask processing) of the attention area
  • the data of the reference frame fs is different from that of the image processing apparatus 1
  • the data may be output to the system, and data on which the identification of the attention area and the image processing of the attention area have been performed by the other system may be input to the image processing apparatus 1 and acquired as the reference correct frame Fr.
  • the morphing process is performed as the frame interpolation method of the intermediate frame constituting the moving image between the two reference correct frames Fr in the complementary correct frame generation step S4. It may be adopted.
  • the reference correct frame Fr is only one
  • an image is created from the reference correct frame Fr based on at least one of the shape model and the shape change model, and is added to the frame after the reference correct frame Fr. Then, a complemented correct frame Fc may be created.
  • the image processing apparatus disclosed in the present specification is: An image processing apparatus that creates a correct image group to be used for machine learning from a plurality of image frame groups, and A reference frame selection unit that selects a specific reference frame from the group of frames; A reference correct frame acquisition unit that acquires a reference correct frame representing a focused area in the selected reference frame; A complementary correct frame generation unit that generates a complementary correct frame corresponding to a frame other than the reference frame included in the frame group based on at least one reference correct frame acquired by the reference correct frame acquisition unit; Equipped with
  • the reference frame selection unit selects the reference frame based on a result of analysis of an image of a frame included in the frame group.
  • the frame group includes a plurality of time series frames.
  • the reference frame selection unit selects the reference frame based on the degree of blurring or blurring of the image of each frame constituting the frame group.
  • the reference frame selection unit performs image analysis or frequency analysis of a single frame to digitize the degree of the blurring or blurring.
  • the reference frame selection unit analyzes velocity vectors of displacement amounts or directions of a plurality of frames, and digitizes the degree of the blurring or blurring.
  • the reference frame selection unit selects the reference frame based on the result of detection of the image feature of each frame constituting the frame group.
  • the reference frame selection unit selects the reference frame based on data detected by a gyroscope or an acceleration sensor when capturing each frame of the frame group.
  • the image processing apparatus further includes an operation unit for performing an operation of specifying an arbitrary frame from the group of frames or performing an image process of the specified frame.
  • the reference correct frame acquisition unit creates the reference correct frame by specifying the attention area and performing image processing on the attention area based on the operation input from the operation unit.
  • the complementary correct frame generation unit is configured to perform an image obtained by performing morphing processing on the basis of the image of the attention area in the two reference correct frames acquired by the reference correct frame acquisition unit between the two correct reference frames.
  • the above-mentioned complementary correct frame is created by adding it to the intermediate frame that constitutes the moving image.
  • the learning model disclosed in the present specification is generated by performing machine learning using the correct image group generated by the image processing apparatus.
  • the learned model has a configuration of a convolutional neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

機械学習に用いる正解画像群を動画から効率良く作成可能な画像処理装置を提供すること。画像処理装置（１）は、複数の画像のフレーム群（ＦＧ）から特定の基準フレーム（ｆｓ）を選択する基準フレーム選択部（１２）と、選択された基準フレーム（ｆｓ）内の注目領域（ｒ）を表す基準正解フレーム（Ｆｒ）を取得する基準正解フレーム取得部（１３）と、基準正解フレーム取得部（１３）が取得した少なくとも１つの基準正解フレーム（Ｆｒ）に基づいて、フレーム群（ＦＧ）に含まれる基準フレーム（ｆｓ）以外のフレームに対応する補完正解フレーム（Ｆｃ）を作成する補完正解フレーム作成部（１４）とを備える。

Description

画像処理装置及び学習済みモデル
　本発明は、機械学習に用いる正解画像群を作成する画像処理装置、及び当該画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成した学習済みモデルに関する。
　医療の分野では、Ｘ線ＣＴ装置やＭＲＩ等の撮影装置により得られた画像を医師が読影して診断を行う画像診断が行われている。このような画像診断を支援するために、画像中の病変領域の発見を支援する診断支援装置が提案されている（例えば、特許文献１参照）。
　この種の診断支援装置において、ニューラルネットワーク回路からなる推論部によって正確な支援情報を生成できるようにするためには、多数の正解画像（教師データ）を用いて推論部に病変領域の特徴を機械学習させる必要がある（例えば、特許文献２、３参照）。
特開２０１７－７４３６３号公報 特開平８－３６６４３号公報 特開平４－１２５７７９号公報
　機械学習に使用される正解画像は、人手によって作成されるのが一般的である。正解画像を作成するためには、複数の画像のフレーム群に含まれる１フレームごとに病変領域を指定してマスク処理等の作業を行う。このため、フレーム群に含まれるフレーム数が膨大な数である場合、正解画像を作成するための上記作業を行うためには多大な労力が必要である。
　本発明は、上述した事情に鑑みなされたものであり、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置及び学習済みモデルを提供することを目的とする。
　本発明の一態様の画像処理装置は、
　機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
　上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
　選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
　上記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。
　本発明の一態様の学習済みモデルは、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成したものである。
　本発明によれば、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置を提供できる。
　また、本発明によれば、複数の画像のフレーム群から作成された正解画像群を用いて機械学習して学習用モデルを生成できる。
本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。 本発明に係る正解画像作成方法の実施形態を例示するフローチャートである。 （ａ）は動画を構成するフレーム群の表示態様についての説明図であり、（ｂ）は基準フレームの候補の表示態様についての説明図であり、（ｃ）は任意の候補フレームを拡大表示した状態を示す説明図である。 基準正解フレームの作成についての説明図である。 元のフレーム群から正解画像群を作成する説明図である。
　以下、本発明の実施形態について、図面を参照して詳細に説明する。
　図１は、本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。図１に示す画像処理装置１は、元フレーム記憶部１１と、基準フレーム選択部１２と、基準正解フレーム取得部１３と、補完正解フレーム作成部１４と、正解フレーム記憶部１５と、正解フレーム取得部１６と、画像表示部１７と、操作部１８とを有する。
　なお、画像処理装置１のハードウェア的な構造は、プログラムとして実行して各種処理を行うプロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）とによって実現される。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　元フレーム記憶部１１は、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群ＦＧのデータを記憶する。なお、フレーム群ＦＧは、動画に限らず、時系列の関係を有する複数の画像のフレーム群であっても、単に集合体を成す複数の画像のフレーム群であっても良い。
　基準フレーム選択部１２は、元フレーム記憶部１１が記憶するフレーム群ＦＧから、所定の条件を満たす１又は複数の特定の基準フレームｆｓを選択する。なお、基準フレーム選択部１２は、上記所定の条件を満たす複数のフレームを候補として提示し、操作部１８から指定されたフレームを基準フレームｆｓとして選択しても良い。
　基準フレームｆｓを選択する際の基準である所定の条件とは、フレームの画像にブレやボケが少ないことであり、ボケ又はブレの度合いを示す値がしきい値以下であることである。ブレ又はボケの度合いは、単一のフレームを用いる場合は、例えば画像のエッジ強度又はコントラスト等を画像解析したり周波数解析したりすることにより数値化できる。また、複数のフレームを用いる場合は、ずれ量や方向等の速度ベクトルを解析することにより、ブレ又はボケの度合いを数値化できる。
　なお、ブレに関しては、内視鏡装置等に搭載されたジャイロスコープ又は加速度センサが検出した撮像時のデータから、フレーム毎にブレの度合いを算出できる。また、ボケに関しては、内視鏡装置等におけるフォーカス深度等のデータから、フレーム毎にボケの度合いを算出できる。当該算出したブレ及びボケの各度合いを示す値を、各フレームの画像に参照情報として埋め込んでおいたり、各フレームの識別情報（ＩＤ）と紐付けて管理したりすることにより、基準フレーム選択部１２は、基準フレームｆｓを選択する際に、ブレ及びボケの各度合いを示す値を参照できる。また、ブレ及びボケの各度合いを示す値がしきい値以下のフレームと上記しきい値より大きなフレームとが、元フレーム記憶部１１において異なるフォルダに格納されていても良い。この場合、基準フレーム選択部１２は、上記しきい値以下のフレームが格納されたフォルダの中から基準フレームｆｓを選択すれば良い。
　なお、ブレやボケだけでなく、内視鏡装置による撮像画像の場合には、洗浄水が全体にかかった画像、残渣残液が存在する画像、処置具がフレームインしている画像も所定の条件を満たさないと判断しても良い。したがって、これら観察対象を遮る物の存在を、色、エッジ強さ、又は輪郭形状等の画像特徴で検出することにより、所定の条件を満たさないフレームを特定しても良い。この場合、所定の条件を満たさないフレームの取得時間又はフレームの取得時間に紐付いた検査情報に基づいてフレームを特定することで、当該フレームを基準フレームｆｓに選択されないフレームとして異なるフォルダに格納する等の選別を予め行っておいても良い。
　基準正解フレーム取得部１３は、基準フレームｆｓ内の注目領域ｒを表す基準正解フレームＦｒを取得する。基準正解フレームＦｒは、操作部１８からの操作入力に基づいて、基準正解フレーム取得部１３が注目領域ｒの特定と注目領域ｒの画像処理を行うことによって作成しても良いし、基準フレームｆｓのデータを本実施形態の画像処理装置１とは別のシステムに出力し、当該別のシステムで注目領域ｒの特定と注目領域ｒの画像処理が行われたデータを基準正解フレーム取得部１３が上記別のシステムから取得しても良い。なお、注目領域ｒは、例えば、内視鏡装置によって撮像された画像中の病変箇所を含む領域である。また、注目領域ｒに行われる画像処理は、例えば、マスク処理（塗りつぶし処理）である。
　補完正解フレーム作成部１４は、基準正解フレーム取得部１３が取得した少なくとも１つの基準正解フレームＦｒに基づいて、フレーム群ＦＧに含まれる基準フレームｆｓ以外のフレームに対応する補完正解フレームＦｃを作成する。なお、補完正解フレーム作成部１４は、基準正解フレームＦｒに基づいて、基準フレームｆｓ以外のフレームから補完正解フレームＦｃを作成しても良い。
　補完正解フレーム作成部１４は、基準フレーム選択部１２が複数枚の基準フレームｆｓを選択し、基準正解フレーム取得部１３が各基準フレームｆｓに基づく複数枚の基準正解フレームＦｒを取得した場合、２枚の基準正解フレームＦｒ内の注目領域ｒの画像に基づきモーフィング処理を行って得られた画像を、上記２枚の基準正解フレームＦｒの間の動画を構成する中間フレームに付与して、補完正解フレームＦｃを作成する。なお、モーフィング処理によって得られた画像は、中間フレームの各画像内の注目領域ｒに対応する領域に付与される。このため、上記２枚の基準正解フレームＦｒ内の各注目領域ｒの座標位置が異なっても、中間フレームにおける適当な座標位置に画像が付与される。
　また、基準フレーム選択部１２が１枚の基準フレームｆｓを選択した場合、補完正解フレーム作成部１４は、基準正解フレーム取得部１３が取得した１枚の基準正解フレームＦｒから、形状モデル及び形状変化モデルの少なくとも１つに基づき画像を作成して、基準正解フレームＦｒ後のフレームに付与して、補完正解フレームＦｃを作成する。なお、上記形状モデルとは、フレーム中の病変領域等を楕円等で近似させるモデルである。また、上記形状変化モデルとは、動的輪郭モデルに基づいて、フレーム中の病変領域等を近似した楕円等の形状を時間関数で変化させるモデルである。いずれのモデルも、機械学習により憶えさせたい病変領域等の形状を、事前に関数として近似又は定義したものである。なお、病変領域等の形状は、楕円に限らず、２次元で表現可能な多角形又は円形等又はその組み合わせによって近似されても良い。また、上記形状変化モデルでは、Ｎ個の頂点（制御点）と、Ｎ－１本の辺とから構成された閉領域について、Ｎ個の制御点の内、任意個数および位置の制御点を時間によって任意距離ずつ動かす、といった時間による形状変化のルールに従う。当該ルールは、機械学習によって統計的に決定されても、機械学習によらずに人が経験的に近似又は定義しても良い。
　正解フレーム記憶部１５は、基準正解フレーム取得部１３が取得した基準正解フレームＦｒ及び補完正解フレーム作成部１４が作成した補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣのデータを記憶する。なお、正解フレーム群ＧＣを構成する正解フレームは、フレームだけに限定されず、正解フレームに変換可能な、例えば注目領域ｒを表す座標情報などであってもよい。
　正解フレーム取得部１６は、操作部１８からの指示に応じて、正解フレーム記憶部１５が記憶する正解フレーム群ＧＣから、全て又は一部のフレームのデータを取得する。正解フレーム取得部１６が取得したフレームのデータは、操作部１８からの指示内容に応じて、機械学習装置１９又は画像表示部１７に送られる。
　画像表示部１７は、動画を構成するフレーム群ＦＧの画像、基準正解フレームＦｒの画像、又は正解フレーム群ＧＣの画像を表示する。また、画像表示部１７は、画像処理装置１のユーザが操作部１８を操作する際に参照する操作メニュー及びボタンアイコン等を表示する。
　操作部１８は、画像処理装置１のユーザが各種操作を行うための手段である。操作部１８は、具体的には、トラックパッド、タッチパネル、又はマウス等である。
　次に、本実施形態の画像処理装置１が正解画像群である正解フレーム群ＧＣを作成する方法について、図２に示すフローチャートを参照して説明する。
　図２に示すフローチャートによって実行される処理は、元フレーム保存ステップＳ１、基準フレーム選択ステップＳ２、基準正解フレーム取得ステップＳ３、補完正解フレーム作成ステップＳ４、及び正解フレーム保存ステップＳ５である。
　元フレーム保存ステップＳ１では、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群ＦＧのデータが元フレーム記憶部１１に保存される。元フレーム記憶部１１に保存されたフレーム群ＦＧは、図３（ａ）に示すように画像表示部１７に表示される。図３（ａ）に示す例では、フレーム群ＦＧを構成する各フレームｆの画像Ｇが時間軸ｔに沿って並べて表示されている。
　基準フレーム選択ステップＳ２では、基準フレーム選択部１２が、元フレーム記憶部１１に保存されたフレーム群ＦＧから、所定の条件を満たす１又は複数の特定の基準フレームｆｓを選択する。本実施形態では、基準フレームｆｓの候補（以下「候補フレーム」という。）ｆｓｃが基準フレーム選択部１２により選定され、図３（ｂ）に示すように画像表示部１７に提示される。図３（ｂ）に示す例では、複数の候補フレームｆｓｃが矢印Ａで指し示めされる態様で提示されているが、フレーム番号を表示する態様で提示されても良い。
　基準フレーム選択ステップＳ２は、候補フレームｆｓｃを個別に拡大表示させる表示ステップＳ２１と、拡大表示させた候補フレームｆｓｃがボケやブレのない鮮明な画像であるか否か判断する判断ステップＳ２２とを有する。表示ステップＳ２１では、画像処理装置１のユーザは、図３（ｃ）に示すように、画像表示部１７に任意の候補フレームｆｓｃを拡大表示させる。次に、判断ステップＳ２２では、画像処理装置１のユーザは、拡大表示された候補フレームｆｓｃの特に病変箇所ＬＡがボケやブレなく鮮明に写っているか否か判断する。画像処理装置１のユーザが候補フレームｆｓｃの中から基準フレームｆｓを選択すると、基準正解フレーム取得ステップＳ３に進む。
　基準正解フレーム取得ステップＳ３では、基準正解フレーム取得部１３が、基準フレームｆｓ内の注目領域ｒを表す基準正解フレームＦｒを取得する。基準正解フレーム取得ステップＳ３は、注目領域マスクステップＳ３１と、基準正解フレーム数判定ステップＳ３２とを有する。
　注目領域マスクステップＳ３１では、画像処理装置１のユーザが、図４に示すように、画像表示部１７に表示された基準フレームｆｓの画像Ｇを目視しつつ操作部１８を操作して、その画像Ｇ内の病変箇所ＬＡを含む注目領域ｒを特定し、注目領域ｒの画像処理（マスク処理）を行う。この注目領域マスクステップＳ３１で、基準フレームｆｓから基準正解フレームＦｒを作成することにより、基準正解フレーム取得部１３は基準正解フレームＦｒを取得する。基準正解フレーム数判定ステップＳ３２では、基準正解フレームＦｒが２枚以上取得されたか否かを判定し、基準正解フレームＦｒが２枚以上取得されたと判定されなければ（ステップＳ３２でＮｏ）基準フレーム選択ステップＳ２に戻り、基準正解フレームＦｒが２枚以上取得されたと判定されたならば（ステップＳ３２でＹｅｓ）補完正解フレーム作成ステップＳ４に進む。
　補完正解フレーム作成ステップＳ４では、補完正解フレーム作成部１４が、基準正解フレーム取得ステップＳ３で取得された２枚の基準正解フレームＦｒの注目領域ｒの画像に基づきモーフィング処理を行って、２枚の基準正解フレームＦｒの間の動画を構成する中間フレームに、上記モーフィング処理によって得られた画像を付与して、補完正解フレームＦｃを作成する。図５に示す例では、複数のフレームｆ０～ｆｎからなるフレーム群ＦＧのうちの両端の２つのフレームｆ０、ｆｎが基準フレームｆｓに選択され２枚の基準正解フレームＦｒが作成されている。補完正解フレーム作成部１４には、基準正解フレームＦｒ（ｆ０、ｆｎ）を含むフレーム群ＦＧのデータが入力される。補完正解フレーム作成部１４は、２枚の基準正解フレームＦｒ（ｆ０、ｆｎ）の注目領域ｒ０、ｒｎの画像に基づきモーフィング処理が行われることにより、２枚の基準正解フレームＦｒ（ｆ０、ｆｎ）の間の動画を構成する中間フレームｆ１～ｆｎ－１に、上記モーフィング処理によって得られた画像を付与して、補完正解フレームＦｃを作成する。
　次に、正解フレーム保存ステップＳ５では、補完正解フレーム作成部１４は、基準正解フレーム取得ステップＳ３で取得した基準正解フレームＦｒ及び補完正解フレーム作成ステップＳ４で作成した補完正解フレームＦｃを正解フレーム記憶部１５に保存する。正解フレーム記憶部１５は、基準正解フレームＦｒ及び補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣとして記憶する。
　正解フレーム記憶部１５が記憶する正解フレーム群ＧＣの全て又は一部のデータは、正解フレーム取得部１６によって読み込まれ、機械学習装置１９又は画像表示部１７に送られる。機械学習装置１９に送られたデータは、機械学習装置１９による機械学習の学習用データとして用いられ、機械学習装置１９は、上記機械学習を行うことによって学習済みモデルを生成する。こうして生成された学習済みモデルは、畳み込みニューラルネットワーク（Convolutional neural network）の構成を有し、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに用いられる。
　なお、機械学習装置１９は、機械学習を行うプロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）を含む。また、上記評価システムは、学習済みモデルをプログラムとして実行して各種処理を行うプロセッサと、ＲＡＭと、ＲＯＭを含む。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　上記説明した本実施形態の構成によれば、内視鏡装置等で撮像することにより得られた動画を構成するフレーム群ＦＧから、病変箇所ＬＡが鮮明に写っているフレームを少なくとも１枚（図５の例では、フレームｆ０とフレームｆｎの２枚）選択して、それぞれの注目領域ｒを特定して画像処理を行うことで基準正解フレームＦｒを取得し、基準正解フレームＦｒに基づいて補完正解フレームＦｃを作成することで、基準正解フレームＦｒ及び補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣを作成する。また、作成した正解フレーム群ＧＣの全て又は一部のデータを機械学習の学習用データとして用いることにより学習済みモデルを生成でき、当該学習済みモデルは、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに利用される。なお、学習済みモデルは、一般に、ニューラルネットワークの構造とそのニューラルネットワークを構成する各ニューロン間の結びつきの強さであるパラメータ（いわゆる「重み」）との組み合わせとして表現される関数を意味するが、本明細書では当該関数に基づいて演算処理を行うためのプログラムを意味する。
　なお、本発明は、上記実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。例えば、上記実施形態では、基準フレーム選択ステップＳ２において、所定の条件を満たす候補フレームｆｓｃが提示され、候補フレームｆｓｃの中から画像処理装置１のユーザが操作部１８を用いて選択した候補フレームｆｓｃを、基準フレーム選択部１２が基準フレームｆｓとして選択するが、基準フレーム選択部１２は、候補フレームｆｓｃの提示を行わずに、所定の条件を満たす１又は複数のフレームを基準フレームｆｓとして選択しても良い。
　また、上記実施形態では、基準正解フレーム取得ステップＳ３において、画像処理装置１のユーザが、画像表示部１７に表示された基準フレームｆｓの画像を目視しつつ操作部１８を操作して、その画像内の病変箇所を含む注目領域を特定し、注目領域の画像処理（マスク処理）を行うことにより基準正解フレームＦｒを取得しているが、基準フレームｆｓのデータを画像処理装置１とは別のシステムに出力し、当該別のシステムで注目領域の特定と注目領域の画像処理が行われたデータを画像処理装置１に入力して、基準正解フレームＦｒとして取得しても良い。
　また、上記実施形態では、補完正解フレーム作成ステップＳ４において、２枚の基準正解フレームＦｒの間の動画を構成する中間フレームのフレーム補完方法としてモーフィング処理を行っているが、その他のフレーム補完方法を採用しても良い。例えば、基準正解フレームＦｒが１枚のみである場合には、この基準正解フレームＦｒから、形状モデル及び形状変化モデルの少なくとも１つに基づき画像を作成して、基準正解フレームＦｒ後のフレームに付与して、補完正解フレームＦｃを作成しても良い。
　以上説明したとおり、本明細書に開示された画像処理装置は、
　機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
　上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
　選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
　上記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。
　また、上記基準フレーム選択部は、上記フレーム群に含まれるフレームの画像を解析した結果に基づいて上記基準フレームを選択する。
　また、上記フレーム群は、時系列の複数のフレームを含む。
　また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、上記基準フレームを選択する。
　また、上記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、上記ブレ又はボケの度合いを数値化する。
　また、上記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、上記ブレ又はボケの度合いを数値化する。
　また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、上記基準フレームを選択する。
　また、上記基準フレーム選択部は、上記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、上記基準フレームを選択する。
　また、画像処理装置は、上記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
　上記基準正解フレーム取得部は、上記操作部からの操作入力に基づいて、上記注目領域の特定及び上記注目領域の画像処理を行うことで上記基準正解フレームを作成する。
　また、上記基準フレーム選択部が複数の上記基準フレームを選択した場合、
　上記補完正解フレーム作成部は、上記基準正解フレーム取得部が取得した２つの基準正解フレーム内の上記注目領域の画像に基づきモーフィング処理を行って得られた画像を、上記２つの正解基準フレームの間の動画を構成する中間フレームに付与して、上記補完正解フレームを作成する。
　また、本明細書に開示された学習用モデルは、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成したものである。
　また、上記学習済みモデルは、畳み込みニューラルネットワークの構成を有する。
１　画像処理装置
１１　元フレーム記憶部
１２　基準フレーム選択部
１３　基準正解フレーム取得部
１４　補完正解フレーム作成部
１５　正解フレーム記憶部
１６　正解フレーム取得部
１７　画像表示部
１８　操作部
１９　機械学習装置
ｆ０～ｆｎ　フレーム
Ｆｃ　補完正解フレーム
ＦＧ　フレーム群
Ｆｒ　基準正解フレーム
ｆｓ　基準フレーム
ｆｓｃ　候補フレーム
Ｇ　画像
ＧＣ　正解フレーム群
ＬＡ　病変箇所
ｒ　注目領域
Ｓ１　元フレーム保存ステップ
Ｓ２　基準フレーム選択ステップ
Ｓ３　基準正解フレーム取得ステップ
Ｓ４　補完正解フレーム作成ステップ
Ｓ５　正解フレーム保存ステップ

Claims (12)

  1. 　機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
    　前記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
    　選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
    　前記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、前記フレーム群に含まれる前記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
    を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記基準フレーム選択部は、前記フレーム群に含まれるフレームの画像を解析した結果に基づいて前記基準フレームを選択する、画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置であって、
    　前記フレーム群は、時系列の複数のフレームを含む、画像処理装置。
  4. 　請求項１から３のいずれか１項に記載の画像処理装置であって、
    　前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、前記基準フレームを選択する、画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、前記ブレ又はボケの度合いを数値化する、画像処理装置。
  6. 　請求項４に記載の画像処理装置であって、
    　前記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、前記ブレ又はボケの度合いを数値化する、画像処理装置。
  7. 　請求項１から３のいずれか１項に記載の画像処理装置であって、
    　前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、前記基準フレームを選択する、画像処理装置。
  8. 　請求項１から３のいずれか１項に記載の画像処理装置であって、
    　前記基準フレーム選択部は、前記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、前記基準フレームを選択する、画像処理装置。
  9. 　請求項１から８のいずれか１項に記載の画像処理装置であって、
    　前記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
    　前記基準正解フレーム取得部は、前記操作部からの操作入力に基づいて、前記注目領域の特定及び前記注目領域の画像処理を行うことで前記基準正解フレームを作成する、画像処理装置。
  10. 　請求項１から９のいずれか１項に記載の画像処理装置であって、
    　前記基準フレーム選択部が複数の前記基準フレームを選択した場合、
    　前記補完正解フレーム作成部は、前記基準正解フレーム取得部が取得した２つの基準正解フレーム内の前記注目領域の画像に基づきモーフィング処理を行って得られた画像を、前記２つの正解基準フレームの間の動画を構成する中間フレームに付与して、前記補完正解フレームを作成する、画像処理装置。
  11. 　請求項１から１０のいずれか１項に記載の画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成した、学習済みモデル。
  12. 　請求項１１に記載の学習済みモデルであって、
    　前記学習済みモデルは、畳み込みニューラルネットワークの構成を有する、学習済みモデル。
PCT/JP2018/033399 2017-10-06 2018-09-10 画像処理装置及び学習済みモデル WO2019069629A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019546593A JP6821048B2 (ja) 2017-10-06 2018-09-10 画像処理装置、学習済みモデル生成方法、及び評価装置
US16/819,158 US11574189B2 (en) 2017-10-06 2020-03-15 Image processing apparatus and learned model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017196350 2017-10-06
JP2017-196350 2017-10-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/819,158 Continuation US11574189B2 (en) 2017-10-06 2020-03-15 Image processing apparatus and learned model

Publications (1)

Publication Number Publication Date
WO2019069629A1 true WO2019069629A1 (ja) 2019-04-11

Family

ID=65994537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033399 WO2019069629A1 (ja) 2017-10-06 2018-09-10 画像処理装置及び学習済みモデル

Country Status (3)

Country Link
US (1) US11574189B2 (ja)
JP (1) JP6821048B2 (ja)
WO (1) WO2019069629A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021075023A1 (ja) * 2019-10-17 2021-04-22
KR20210099998A (ko) * 2020-02-05 2021-08-13 가부시끼가이샤 히다치 세이사꾸쇼 화상을 생성하는 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7196529B2 (ja) * 2018-10-18 2022-12-27 コニカミノルタ株式会社 情報処理装置及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013242825A (ja) * 2012-05-23 2013-12-05 Panasonic Corp 人物属性推定システム、及び学習用データ生成装置
WO2016136214A1 (ja) * 2015-02-27 2016-09-01 日本電気株式会社 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04125779A (ja) 1990-09-18 1992-04-27 Toshiba Corp 画像処理方法
JPH0836643A (ja) 1994-07-26 1996-02-06 Matsushita Electric Works Ltd 画像認識におけるニューラルネットによる学習方法
JP5412404B2 (ja) * 2010-11-15 2014-02-12 シャープ株式会社 情報統合装置、情報表示装置、情報記録装置
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US20180011953A1 (en) * 2016-07-07 2018-01-11 Ford Global Technologies, Llc Virtual Sensor Data Generation for Bollard Receiver Detection
JP6220435B2 (ja) 2016-10-05 2017-10-25 キヤノン株式会社 診断支援装置及びその制御方法
US10853659B2 (en) * 2017-05-05 2020-12-01 Google Llc Methods, systems, and media for adaptive presentation of a video content item based on an area of interest

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013242825A (ja) * 2012-05-23 2013-12-05 Panasonic Corp 人物属性推定システム、及び学習用データ生成装置
WO2016136214A1 (ja) * 2015-02-27 2016-09-01 日本電気株式会社 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021075023A1 (ja) * 2019-10-17 2021-04-22
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法
JP7352645B2 (ja) 2019-10-17 2023-09-28 オリンパス株式会社 学習支援システム及び学習支援方法
KR20210099998A (ko) * 2020-02-05 2021-08-13 가부시끼가이샤 히다치 세이사꾸쇼 화상을 생성하는 시스템
KR102502486B1 (ko) * 2020-02-05 2023-02-23 가부시끼가이샤 히다치 세이사꾸쇼 화상을 생성하는 시스템
US11663713B2 (en) 2020-02-05 2023-05-30 Hitachi, Ltd. Image generation system

Also Published As

Publication number Publication date
JPWO2019069629A1 (ja) 2020-10-15
JP6821048B2 (ja) 2021-01-27
US11574189B2 (en) 2023-02-07
US20200218980A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP2020103880A5 (ja)
US20200143526A1 (en) Image processing method and device
US11574189B2 (en) Image processing apparatus and learned model
CN100496402C (zh) 图像处理方法、图像处理系统以及x-射线ct系统
JP2011254959A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5828649B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US9824189B2 (en) Image processing apparatus, image processing method, image display system, and storage medium
JP6390746B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
CN110570483A (zh) 扫描方法、装置、计算机设备和存储介质
JP2020163100A5 (ja)
JP2010082245A (ja) 毛情報測定方法
JP2021135977A (ja) 情報処理装置及び方法
WO2013132836A1 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
JP7106741B2 (ja) 学習方法、学習装置、生成モデル及びプログラム
CN109657729B (zh) 图像特征融合、特征图处理及姿态识别方法、装置及系统
JP2020058629A5 (ja)
JPWO2019156140A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
JP6355206B2 (ja) カメラキャリブレーション方法、カメラキャリブレーション装置及びカメラキャリブレーションプログラム
JP2021128415A (ja) 機械学習方法および機械学習用情報処理装置
JP2020201674A (ja) 映像解析装置及びその制御方法及びプログラム
JP5930627B2 (ja) 画像処理装置，画像処理方法および画像処理をコンピュータに実行させるプログラム。
WO2022123752A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18863952

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019546593

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18863952

Country of ref document: EP

Kind code of ref document: A1