JPWO2019069629A1 - 画像処理装置及び学習済みモデル - Google Patents

画像処理装置及び学習済みモデル Download PDF

Info

Publication number
JPWO2019069629A1
JPWO2019069629A1 JP2019546593A JP2019546593A JPWO2019069629A1 JP WO2019069629 A1 JPWO2019069629 A1 JP WO2019069629A1 JP 2019546593 A JP2019546593 A JP 2019546593A JP 2019546593 A JP2019546593 A JP 2019546593A JP WO2019069629 A1 JPWO2019069629 A1 JP WO2019069629A1
Authority
JP
Japan
Prior art keywords
frame
image processing
image
correct answer
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019546593A
Other languages
English (en)
Other versions
JP6821048B2 (ja
Inventor
松本 剛
松本  剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019069629A1 publication Critical patent/JPWO2019069629A1/ja
Application granted granted Critical
Publication of JP6821048B2 publication Critical patent/JP6821048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

機械学習に用いる正解画像群を動画から効率良く作成可能な画像処理装置を提供すること。画像処理装置(1)は、複数の画像のフレーム群(FG)から特定の基準フレーム(fs)を選択する基準フレーム選択部(12)と、選択された基準フレーム(fs)内の注目領域(r)を表す基準正解フレーム(Fr)を取得する基準正解フレーム取得部(13)と、基準正解フレーム取得部(13)が取得した少なくとも1つの基準正解フレーム(Fr)に基づいて、フレーム群(FG)に含まれる基準フレーム(fs)以外のフレームに対応する補完正解フレーム(Fc)を作成する補完正解フレーム作成部(14)とを備える。

Description

本発明は、機械学習に用いる正解画像群を作成する画像処理装置、及び当該画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成した学習済みモデルに関する。
医療の分野では、X線CT装置やMRI等の撮影装置により得られた画像を医師が読影して診断を行う画像診断が行われている。このような画像診断を支援するために、画像中の病変領域の発見を支援する診断支援装置が提案されている(例えば、特許文献1参照)。
この種の診断支援装置において、ニューラルネットワーク回路からなる推論部によって正確な支援情報を生成できるようにするためには、多数の正解画像(教師データ)を用いて推論部に病変領域の特徴を機械学習させる必要がある(例えば、特許文献2、3参照)。
特開2017−74363号公報 特開平8−36643号公報 特開平4−125779号公報
機械学習に使用される正解画像は、人手によって作成されるのが一般的である。正解画像を作成するためには、複数の画像のフレーム群に含まれる1フレームごとに病変領域を指定してマスク処理等の作業を行う。このため、フレーム群に含まれるフレーム数が膨大な数である場合、正解画像を作成するための上記作業を行うためには多大な労力が必要である。
本発明は、上述した事情に鑑みなされたものであり、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置及び学習済みモデルを提供することを目的とする。
本発明の一態様の画像処理装置は、
機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
上記基準正解フレーム取得部が取得した少なくとも1つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。
本発明の一態様の学習済みモデルは、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成したものである。
本発明によれば、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置を提供できる。
また、本発明によれば、複数の画像のフレーム群から作成された正解画像群を用いて機械学習して学習用モデルを生成できる。
本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。 本発明に係る正解画像作成方法の実施形態を例示するフローチャートである。 (a)は動画を構成するフレーム群の表示態様についての説明図であり、(b)は基準フレームの候補の表示態様についての説明図であり、(c)は任意の候補フレームを拡大表示した状態を示す説明図である。 基準正解フレームの作成についての説明図である。 元のフレーム群から正解画像群を作成する説明図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図1は、本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。図1に示す画像処理装置1は、元フレーム記憶部11と、基準フレーム選択部12と、基準正解フレーム取得部13と、補完正解フレーム作成部14と、正解フレーム記憶部15と、正解フレーム取得部16と、画像表示部17と、操作部18とを有する。
なお、画像処理装置1のハードウェア的な構造は、プログラムとして実行して各種処理を行うプロセッサと、RAM(Random Access Memory)と、ROM(Read Only Memory)とによって実現される。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
元フレーム記憶部11は、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群FGのデータを記憶する。なお、フレーム群FGは、動画に限らず、時系列の関係を有する複数の画像のフレーム群であっても、単に集合体を成す複数の画像のフレーム群であっても良い。
基準フレーム選択部12は、元フレーム記憶部11が記憶するフレーム群FGから、所定の条件を満たす1又は複数の特定の基準フレームfsを選択する。なお、基準フレーム選択部12は、上記所定の条件を満たす複数のフレームを候補として提示し、操作部18から指定されたフレームを基準フレームfsとして選択しても良い。
基準フレームfsを選択する際の基準である所定の条件とは、フレームの画像にブレやボケが少ないことであり、ボケ又はブレの度合いを示す値がしきい値以下であることである。ブレ又はボケの度合いは、単一のフレームを用いる場合は、例えば画像のエッジ強度又はコントラスト等を画像解析したり周波数解析したりすることにより数値化できる。また、複数のフレームを用いる場合は、ずれ量や方向等の速度ベクトルを解析することにより、ブレ又はボケの度合いを数値化できる。
なお、ブレに関しては、内視鏡装置等に搭載されたジャイロスコープ又は加速度センサが検出した撮像時のデータから、フレーム毎にブレの度合いを算出できる。また、ボケに関しては、内視鏡装置等におけるフォーカス深度等のデータから、フレーム毎にボケの度合いを算出できる。当該算出したブレ及びボケの各度合いを示す値を、各フレームの画像に参照情報として埋め込んでおいたり、各フレームの識別情報(ID)と紐付けて管理したりすることにより、基準フレーム選択部12は、基準フレームfsを選択する際に、ブレ及びボケの各度合いを示す値を参照できる。また、ブレ及びボケの各度合いを示す値がしきい値以下のフレームと上記しきい値より大きなフレームとが、元フレーム記憶部11において異なるフォルダに格納されていても良い。この場合、基準フレーム選択部12は、上記しきい値以下のフレームが格納されたフォルダの中から基準フレームfsを選択すれば良い。
なお、ブレやボケだけでなく、内視鏡装置による撮像画像の場合には、洗浄水が全体にかかった画像、残渣残液が存在する画像、処置具がフレームインしている画像も所定の条件を満たさないと判断しても良い。したがって、これら観察対象を遮る物の存在を、色、エッジ強さ、又は輪郭形状等の画像特徴で検出することにより、所定の条件を満たさないフレームを特定しても良い。この場合、所定の条件を満たさないフレームの取得時間又はフレームの取得時間に紐付いた検査情報に基づいてフレームを特定することで、当該フレームを基準フレームfsに選択されないフレームとして異なるフォルダに格納する等の選別を予め行っておいても良い。
基準正解フレーム取得部13は、基準フレームfs内の注目領域rを表す基準正解フレームFrを取得する。基準正解フレームFrは、操作部18からの操作入力に基づいて、基準正解フレーム取得部13が注目領域rの特定と注目領域rの画像処理を行うことによって作成しても良いし、基準フレームfsのデータを本実施形態の画像処理装置1とは別のシステムに出力し、当該別のシステムで注目領域rの特定と注目領域rの画像処理が行われたデータを基準正解フレーム取得部13が上記別のシステムから取得しても良い。なお、注目領域rは、例えば、内視鏡装置によって撮像された画像中の病変箇所を含む領域である。また、注目領域rに行われる画像処理は、例えば、マスク処理(塗りつぶし処理)である。
補完正解フレーム作成部14は、基準正解フレーム取得部13が取得した少なくとも1つの基準正解フレームFrに基づいて、フレーム群FGに含まれる基準フレームfs以外のフレームに対応する補完正解フレームFcを作成する。なお、補完正解フレーム作成部14は、基準正解フレームFrに基づいて、基準フレームfs以外のフレームから補完正解フレームFcを作成しても良い。
補完正解フレーム作成部14は、基準フレーム選択部12が複数枚の基準フレームfsを選択し、基準正解フレーム取得部13が各基準フレームfsに基づく複数枚の基準正解フレームFrを取得した場合、2枚の基準正解フレームFr内の注目領域rの画像に基づきモーフィング処理を行って得られた画像を、上記2枚の基準正解フレームFrの間の動画を構成する中間フレームに付与して、補完正解フレームFcを作成する。なお、モーフィング処理によって得られた画像は、中間フレームの各画像内の注目領域rに対応する領域に付与される。このため、上記2枚の基準正解フレームFr内の各注目領域rの座標位置が異なっても、中間フレームにおける適当な座標位置に画像が付与される。
また、基準フレーム選択部12が1枚の基準フレームfsを選択した場合、補完正解フレーム作成部14は、基準正解フレーム取得部13が取得した1枚の基準正解フレームFrから、形状モデル及び形状変化モデルの少なくとも1つに基づき画像を作成して、基準正解フレームFr後のフレームに付与して、補完正解フレームFcを作成する。なお、上記形状モデルとは、フレーム中の病変領域等を楕円等で近似させるモデルである。また、上記形状変化モデルとは、動的輪郭モデルに基づいて、フレーム中の病変領域等を近似した楕円等の形状を時間関数で変化させるモデルである。いずれのモデルも、機械学習により憶えさせたい病変領域等の形状を、事前に関数として近似又は定義したものである。なお、病変領域等の形状は、楕円に限らず、2次元で表現可能な多角形又は円形等又はその組み合わせによって近似されても良い。また、上記形状変化モデルでは、N個の頂点(制御点)と、N−1本の辺とから構成された閉領域について、N個の制御点の内、任意個数および位置の制御点を時間によって任意距離ずつ動かす、といった時間による形状変化のルールに従う。当該ルールは、機械学習によって統計的に決定されても、機械学習によらずに人が経験的に近似又は定義しても良い。
正解フレーム記憶部15は、基準正解フレーム取得部13が取得した基準正解フレームFr及び補完正解フレーム作成部14が作成した補完正解フレームFcから構成された正解画像群である正解フレーム群GCのデータを記憶する。なお、正解フレーム群GCを構成する正解フレームは、フレームだけに限定されず、正解フレームに変換可能な、例えば注目領域rを表す座標情報などであってもよい。
正解フレーム取得部16は、操作部18からの指示に応じて、正解フレーム記憶部15が記憶する正解フレーム群GCから、全て又は一部のフレームのデータを取得する。正解フレーム取得部16が取得したフレームのデータは、操作部18からの指示内容に応じて、機械学習装置19又は画像表示部17に送られる。
画像表示部17は、動画を構成するフレーム群FGの画像、基準正解フレームFrの画像、又は正解フレーム群GCの画像を表示する。また、画像表示部17は、画像処理装置1のユーザが操作部18を操作する際に参照する操作メニュー及びボタンアイコン等を表示する。
操作部18は、画像処理装置1のユーザが各種操作を行うための手段である。操作部18は、具体的には、トラックパッド、タッチパネル、又はマウス等である。
次に、本実施形態の画像処理装置1が正解画像群である正解フレーム群GCを作成する方法について、図2に示すフローチャートを参照して説明する。
図2に示すフローチャートによって実行される処理は、元フレーム保存ステップS1、基準フレーム選択ステップS2、基準正解フレーム取得ステップS3、補完正解フレーム作成ステップS4、及び正解フレーム保存ステップS5である。
元フレーム保存ステップS1では、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群FGのデータが元フレーム記憶部11に保存される。元フレーム記憶部11に保存されたフレーム群FGは、図3(a)に示すように画像表示部17に表示される。図3(a)に示す例では、フレーム群FGを構成する各フレームfの画像Gが時間軸tに沿って並べて表示されている。
基準フレーム選択ステップS2では、基準フレーム選択部12が、元フレーム記憶部11に保存されたフレーム群FGから、所定の条件を満たす1又は複数の特定の基準フレームfsを選択する。本実施形態では、基準フレームfsの候補(以下「候補フレーム」という。)fscが基準フレーム選択部12により選定され、図3(b)に示すように画像表示部17に提示される。図3(b)に示す例では、複数の候補フレームfscが矢印Aで指し示めされる態様で提示されているが、フレーム番号を表示する態様で提示されても良い。
基準フレーム選択ステップS2は、候補フレームfscを個別に拡大表示させる表示ステップS21と、拡大表示させた候補フレームfscがボケやブレのない鮮明な画像であるか否か判断する判断ステップS22とを有する。表示ステップS21では、画像処理装置1のユーザは、図3(c)に示すように、画像表示部17に任意の候補フレームfscを拡大表示させる。次に、判断ステップS22では、画像処理装置1のユーザは、拡大表示された候補フレームfscの特に病変箇所LAがボケやブレなく鮮明に写っているか否か判断する。画像処理装置1のユーザが候補フレームfscの中から基準フレームfsを選択すると、基準正解フレーム取得ステップS3に進む。
基準正解フレーム取得ステップS3では、基準正解フレーム取得部13が、基準フレームfs内の注目領域rを表す基準正解フレームFrを取得する。基準正解フレーム取得ステップS3は、注目領域マスクステップS31と、基準正解フレーム数判定ステップS32とを有する。
注目領域マスクステップS31では、画像処理装置1のユーザが、図4に示すように、画像表示部17に表示された基準フレームfsの画像Gを目視しつつ操作部18を操作して、その画像G内の病変箇所LAを含む注目領域rを特定し、注目領域rの画像処理(マスク処理)を行う。この注目領域マスクステップS31で、基準フレームfsから基準正解フレームFrを作成することにより、基準正解フレーム取得部13は基準正解フレームFrを取得する。基準正解フレーム数判定ステップS32では、基準正解フレームFrが2枚以上取得されたか否かを判定し、基準正解フレームFrが2枚以上取得されたと判定されなければ(ステップS32でNo)基準フレーム選択ステップS2に戻り、基準正解フレームFrが2枚以上取得されたと判定されたならば(ステップS32でYes)補完正解フレーム作成ステップS4に進む。
補完正解フレーム作成ステップS4では、補完正解フレーム作成部14が、基準正解フレーム取得ステップS3で取得された2枚の基準正解フレームFrの注目領域rの画像に基づきモーフィング処理を行って、2枚の基準正解フレームFrの間の動画を構成する中間フレームに、上記モーフィング処理によって得られた画像を付与して、補完正解フレームFcを作成する。図5に示す例では、複数のフレームf〜fからなるフレーム群FGのうちの両端の2つのフレームf、fが基準フレームfsに選択され2枚の基準正解フレームFrが作成されている。補完正解フレーム作成部14には、基準正解フレームFr(f、f)を含むフレーム群FGのデータが入力される。補完正解フレーム作成部14は、2枚の基準正解フレームFr(f、f)の注目領域r、rの画像に基づきモーフィング処理が行われることにより、2枚の基準正解フレームFr(f、f)の間の動画を構成する中間フレームf〜fn−1に、上記モーフィング処理によって得られた画像を付与して、補完正解フレームFcを作成する。
次に、正解フレーム保存ステップS5では、補完正解フレーム作成部14は、基準正解フレーム取得ステップS3で取得した基準正解フレームFr及び補完正解フレーム作成ステップS4で作成した補完正解フレームFcを正解フレーム記憶部15に保存する。正解フレーム記憶部15は、基準正解フレームFr及び補完正解フレームFcから構成された正解画像群である正解フレーム群GCとして記憶する。
正解フレーム記憶部15が記憶する正解フレーム群GCの全て又は一部のデータは、正解フレーム取得部16によって読み込まれ、機械学習装置19又は画像表示部17に送られる。機械学習装置19に送られたデータは、機械学習装置19による機械学習の学習用データとして用いられ、機械学習装置19は、上記機械学習を行うことによって学習済みモデルを生成する。こうして生成された学習済みモデルは、畳み込みニューラルネットワーク(Convolutional neural network)の構成を有し、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに用いられる。
なお、機械学習装置19は、機械学習を行うプロセッサと、RAM(Random Access Memory)と、ROM(Read Only Memory)を含む。また、上記評価システムは、学習済みモデルをプログラムとして実行して各種処理を行うプロセッサと、RAMと、ROMを含む。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
上記説明した本実施形態の構成によれば、内視鏡装置等で撮像することにより得られた動画を構成するフレーム群FGから、病変箇所LAが鮮明に写っているフレームを少なくとも1枚(図5の例では、フレームfとフレームfの2枚)選択して、それぞれの注目領域rを特定して画像処理を行うことで基準正解フレームFrを取得し、基準正解フレームFrに基づいて補完正解フレームFcを作成することで、基準正解フレームFr及び補完正解フレームFcから構成された正解画像群である正解フレーム群GCを作成する。また、作成した正解フレーム群GCの全て又は一部のデータを機械学習の学習用データとして用いることにより学習済みモデルを生成でき、当該学習済みモデルは、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに利用される。なお、学習済みモデルは、一般に、ニューラルネットワークの構造とそのニューラルネットワークを構成する各ニューロン間の結びつきの強さであるパラメータ(いわゆる「重み」)との組み合わせとして表現される関数を意味するが、本明細書では当該関数に基づいて演算処理を行うためのプログラムを意味する。
なお、本発明は、上記実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。例えば、上記実施形態では、基準フレーム選択ステップS2において、所定の条件を満たす候補フレームfscが提示され、候補フレームfscの中から画像処理装置1のユーザが操作部18を用いて選択した候補フレームfscを、基準フレーム選択部12が基準フレームfsとして選択するが、基準フレーム選択部12は、候補フレームfscの提示を行わずに、所定の条件を満たす1又は複数のフレームを基準フレームfsとして選択しても良い。
また、上記実施形態では、基準正解フレーム取得ステップS3において、画像処理装置1のユーザが、画像表示部17に表示された基準フレームfsの画像を目視しつつ操作部18を操作して、その画像内の病変箇所を含む注目領域を特定し、注目領域の画像処理(マスク処理)を行うことにより基準正解フレームFrを取得しているが、基準フレームfsのデータを画像処理装置1とは別のシステムに出力し、当該別のシステムで注目領域の特定と注目領域の画像処理が行われたデータを画像処理装置1に入力して、基準正解フレームFrとして取得しても良い。
また、上記実施形態では、補完正解フレーム作成ステップS4において、2枚の基準正解フレームFrの間の動画を構成する中間フレームのフレーム補完方法としてモーフィング処理を行っているが、その他のフレーム補完方法を採用しても良い。例えば、基準正解フレームFrが1枚のみである場合には、この基準正解フレームFrから、形状モデル及び形状変化モデルの少なくとも1つに基づき画像を作成して、基準正解フレームFr後のフレームに付与して、補完正解フレームFcを作成しても良い。
以上説明したとおり、本明細書に開示された画像処理装置は、
機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
上記基準正解フレーム取得部が取得した少なくとも1つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。
また、上記基準フレーム選択部は、上記フレーム群に含まれるフレームの画像を解析した結果に基づいて上記基準フレームを選択する。
また、上記フレーム群は、時系列の複数のフレームを含む。
また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、上記基準フレームを選択する。
また、上記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、上記ブレ又はボケの度合いを数値化する。
また、上記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、上記ブレ又はボケの度合いを数値化する。
また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、上記基準フレームを選択する。
また、上記基準フレーム選択部は、上記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、上記基準フレームを選択する。
また、画像処理装置は、上記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
上記基準正解フレーム取得部は、上記操作部からの操作入力に基づいて、上記注目領域の特定及び上記注目領域の画像処理を行うことで上記基準正解フレームを作成する。
また、上記基準フレーム選択部が複数の上記基準フレームを選択した場合、
上記補完正解フレーム作成部は、上記基準正解フレーム取得部が取得した2つの基準正解フレーム内の上記注目領域の画像に基づきモーフィング処理を行って得られた画像を、上記2つの正解基準フレームの間の動画を構成する中間フレームに付与して、上記補完正解フレームを作成する。
また、本明細書に開示された学習用モデルは、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成したものである。
また、上記学習済みモデルは、畳み込みニューラルネットワークの構成を有する。
1 画像処理装置
11 元フレーム記憶部
12 基準フレーム選択部
13 基準正解フレーム取得部
14 補完正解フレーム作成部
15 正解フレーム記憶部
16 正解フレーム取得部
17 画像表示部
18 操作部
19 機械学習装置
f0〜fn フレーム
Fc 補完正解フレーム
FG フレーム群
Fr 基準正解フレーム
fs 基準フレーム
fsc 候補フレーム
G 画像
GC 正解フレーム群
LA 病変箇所
r 注目領域
S1 元フレーム保存ステップ
S2 基準フレーム選択ステップ
S3 基準正解フレーム取得ステップ
S4 補完正解フレーム作成ステップ
S5 正解フレーム保存ステップ

Claims (12)

  1. 機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
    前記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
    選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
    前記基準正解フレーム取得部が取得した少なくとも1つの基準正解フレームに基づいて、前記フレーム群に含まれる前記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
    を備える画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群に含まれるフレームの画像を解析した結果に基づいて前記基準フレームを選択する、画像処理装置。
  3. 請求項1又は2に記載の画像処理装置であって、
    前記フレーム群は、時系列の複数のフレームを含む、画像処理装置。
  4. 請求項1から3のいずれか1項に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、前記基準フレームを選択する、画像処理装置。
  5. 請求項4に記載の画像処理装置であって、
    前記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、前記ブレ又はボケの度合いを数値化する、画像処理装置。
  6. 請求項4に記載の画像処理装置であって、
    前記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、前記ブレ又はボケの度合いを数値化する、画像処理装置。
  7. 請求項1から3のいずれか1項に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、前記基準フレームを選択する、画像処理装置。
  8. 請求項1から3のいずれか1項に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、前記基準フレームを選択する、画像処理装置。
  9. 請求項1から8のいずれか1項に記載の画像処理装置であって、
    前記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
    前記基準正解フレーム取得部は、前記操作部からの操作入力に基づいて、前記注目領域の特定及び前記注目領域の画像処理を行うことで前記基準正解フレームを作成する、画像処理装置。
  10. 請求項1から9のいずれか1項に記載の画像処理装置であって、
    前記基準フレーム選択部が複数の前記基準フレームを選択した場合、
    前記補完正解フレーム作成部は、前記基準正解フレーム取得部が取得した2つの基準正解フレーム内の前記注目領域の画像に基づきモーフィング処理を行って得られた画像を、前記2つの正解基準フレームの間の動画を構成する中間フレームに付与して、前記補完正解フレームを作成する、画像処理装置。
  11. 請求項1から10のいずれか1項に記載の画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成した、学習済みモデル。
  12. 請求項11に記載の学習済みモデルであって、
    前記学習済みモデルは、畳み込みニューラルネットワークの構成を有する、学習済みモデル。
JP2019546593A 2017-10-06 2018-09-10 画像処理装置、学習済みモデル生成方法、及び評価装置 Active JP6821048B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017196350 2017-10-06
JP2017196350 2017-10-06
PCT/JP2018/033399 WO2019069629A1 (ja) 2017-10-06 2018-09-10 画像処理装置及び学習済みモデル

Publications (2)

Publication Number Publication Date
JPWO2019069629A1 true JPWO2019069629A1 (ja) 2020-10-15
JP6821048B2 JP6821048B2 (ja) 2021-01-27

Family

ID=65994537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546593A Active JP6821048B2 (ja) 2017-10-06 2018-09-10 画像処理装置、学習済みモデル生成方法、及び評価装置

Country Status (3)

Country Link
US (1) US11574189B2 (ja)
JP (1) JP6821048B2 (ja)
WO (1) WO2019069629A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7196529B2 (ja) * 2018-10-18 2022-12-27 コニカミノルタ株式会社 情報処理装置及びプログラム
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法
JP7288870B2 (ja) 2020-02-05 2023-06-08 株式会社日立製作所 画像を生成するシステム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013242825A (ja) * 2012-05-23 2013-12-05 Panasonic Corp 人物属性推定システム、及び学習用データ生成装置
WO2016136214A1 (ja) * 2015-02-27 2016-09-01 日本電気株式会社 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04125779A (ja) 1990-09-18 1992-04-27 Toshiba Corp 画像処理方法
JPH0836643A (ja) 1994-07-26 1996-02-06 Matsushita Electric Works Ltd 画像認識におけるニューラルネットによる学習方法
JP5412404B2 (ja) * 2010-11-15 2014-02-12 シャープ株式会社 情報統合装置、情報表示装置、情報記録装置
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US20180011953A1 (en) * 2016-07-07 2018-01-11 Ford Global Technologies, Llc Virtual Sensor Data Generation for Bollard Receiver Detection
JP6220435B2 (ja) 2016-10-05 2017-10-25 キヤノン株式会社 診断支援装置及びその制御方法
US10853659B2 (en) * 2017-05-05 2020-12-01 Google Llc Methods, systems, and media for adaptive presentation of a video content item based on an area of interest

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013242825A (ja) * 2012-05-23 2013-12-05 Panasonic Corp 人物属性推定システム、及び学習用データ生成装置
WO2016136214A1 (ja) * 2015-02-27 2016-09-01 日本電気株式会社 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム記録媒体

Also Published As

Publication number Publication date
US20200218980A1 (en) 2020-07-09
WO2019069629A1 (ja) 2019-04-11
JP6821048B2 (ja) 2021-01-27
US11574189B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
JP6930283B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
JP2020103880A5 (ja)
JP4911029B2 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
JP6318739B2 (ja) 画像処理装置、およびプログラム
JP4408794B2 (ja) 画像処理プログラム
JP6821048B2 (ja) 画像処理装置、学習済みモデル生成方法、及び評価装置
JP6159179B2 (ja) 画像処理装置、画像処理方法
JP2007526799A (ja) デジタルx線撮影ソフトコピーの読取値のインテリジェントな定性的および定量的分析のための方法およびシステム
US10390726B2 (en) System and method for next-generation MRI spine evaluation
CN110598582A (zh) 一种眼图像处理模型构建方法和装置
JP2010082245A (ja) 毛情報測定方法
JP2020163100A5 (ja)
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JPWO2007013300A1 (ja) 異常陰影候補検出方法及び異常陰影候補検出装置
JP2006110190A (ja) 医用画像データ解析装置及びその方法
JP5062477B2 (ja) 医療画像表示装置
JP2012061019A (ja) 画像処理装置、方法およびプログラム
JP2008512161A (ja) Ctスキャン解析用ユーザインタフェース
JP5553569B2 (ja) 画像表示装置及び画像表示方法
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
JP2019191772A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2015136480A (ja) 3次元医用画像表示制御装置およびその作動方法並びに3次元医用画像表示制御プログラム
JP5693412B2 (ja) 画像処理装置、画像処理方法
CN112884706A (zh) 一种基于神经网络模型的图像评估系统和相关产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210105

R150 Certificate of patent or registration of utility model

Ref document number: 6821048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250