JP6821048B2 - 画像処理装置、学習済みモデル生成方法、及び評価装置 - Google Patents

画像処理装置、学習済みモデル生成方法、及び評価装置 Download PDF

Info

Publication number
JP6821048B2
JP6821048B2 JP2019546593A JP2019546593A JP6821048B2 JP 6821048 B2 JP6821048 B2 JP 6821048B2 JP 2019546593 A JP2019546593 A JP 2019546593A JP 2019546593 A JP2019546593 A JP 2019546593A JP 6821048 B2 JP6821048 B2 JP 6821048B2
Authority
JP
Japan
Prior art keywords
frame
image processing
image
correct
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019546593A
Other languages
English (en)
Other versions
JPWO2019069629A1 (ja
Inventor
松本　剛
松本　　剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019069629A1 publication Critical patent/JPWO2019069629A1/ja
Application granted granted Critical
Publication of JP6821048B2 publication Critical patent/JP6821048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Description

本発明は、機械学習に用いる正解画像群を作成する画像処理装置、及び当該画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成した学習済みモデルに関する。
医療の分野では、Ｘ線ＣＴ装置やＭＲＩ等の撮影装置により得られた画像を医師が読影して診断を行う画像診断が行われている。このような画像診断を支援するために、画像中の病変領域の発見を支援する診断支援装置が提案されている（例えば、特許文献１参照）。
この種の診断支援装置において、ニューラルネットワーク回路からなる推論部によって正確な支援情報を生成できるようにするためには、多数の正解画像（教師データ）を用いて推論部に病変領域の特徴を機械学習させる必要がある（例えば、特許文献２、３参照）。
特開２０１７−７４３６３号公報 特開平８−３６６４３号公報 特開平４−１２５７７９号公報
機械学習に使用される正解画像は、人手によって作成されるのが一般的である。正解画像を作成するためには、複数の画像のフレーム群に含まれる１フレームごとに病変領域を指定してマスク処理等の作業を行う。このため、フレーム群に含まれるフレーム数が膨大な数である場合、正解画像を作成するための上記作業を行うためには多大な労力が必要である。
本発明は、上述した事情に鑑みなされたものであり、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置及び学習済みモデルを提供することを目的とする。
本発明の一態様の画像処理装置は、
機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
上記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。
本発明の一態様の学習済みモデル生成方法は、上記画像処理装置により正解画像群を作成し、作成した上記正解画像群を用いた機械学習により学習済みモデルを生成するものである。
本発明の一態様の評価装置は、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成された学習済みモデルを用いて、内視鏡装置が取得した画像に含まれる病変箇所を評価するものである。
本発明によれば、機械学習に用いる正解画像群を複数の画像のフレーム群から効率良く作成可能な画像処理装置を提供できる。
また、本発明によれば、複数の画像のフレーム群から作成された正解画像群を用いて機械学習して学習用モデルを生成できる。
本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。 本発明に係る正解画像作成方法の実施形態を例示するフローチャートである。 （ａ）は動画を構成するフレーム群の表示態様についての説明図であり、（ｂ）は基準フレームの候補の表示態様についての説明図であり、（ｃ）は任意の候補フレームを拡大表示した状態を示す説明図である。 基準正解フレームの作成についての説明図である。 元のフレーム群から正解画像群を作成する説明図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、本発明に係る一実施形態の画像処理装置の構成を例示するブロック図である。図１に示す画像処理装置１は、元フレーム記憶部１１と、基準フレーム選択部１２と、基準正解フレーム取得部１３と、補完正解フレーム作成部１４と、正解フレーム記憶部１５と、正解フレーム取得部１６と、画像表示部１７と、操作部１８とを有する。
なお、画像処理装置１のハードウェア的な構造は、プログラムとして実行して各種処理を行うプロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）とによって実現される。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
元フレーム記憶部１１は、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群ＦＧのデータを記憶する。なお、フレーム群ＦＧは、動画に限らず、時系列の関係を有する複数の画像のフレーム群であっても、単に集合体を成す複数の画像のフレーム群であっても良い。
基準フレーム選択部１２は、元フレーム記憶部１１が記憶するフレーム群ＦＧから、所定の条件を満たす１又は複数の特定の基準フレームｆｓを選択する。なお、基準フレーム選択部１２は、上記所定の条件を満たす複数のフレームを候補として提示し、操作部１８から指定されたフレームを基準フレームｆｓとして選択しても良い。
基準フレームｆｓを選択する際の基準である所定の条件とは、フレームの画像にブレやボケが少ないことであり、ボケ又はブレの度合いを示す値がしきい値以下であることである。ブレ又はボケの度合いは、単一のフレームを用いる場合は、例えば画像のエッジ強度又はコントラスト等を画像解析したり周波数解析したりすることにより数値化できる。また、複数のフレームを用いる場合は、ずれ量や方向等の速度ベクトルを解析することにより、ブレ又はボケの度合いを数値化できる。
なお、ブレに関しては、内視鏡装置等に搭載されたジャイロスコープ又は加速度センサが検出した撮像時のデータから、フレーム毎にブレの度合いを算出できる。また、ボケに関しては、内視鏡装置等におけるフォーカス深度等のデータから、フレーム毎にボケの度合いを算出できる。当該算出したブレ及びボケの各度合いを示す値を、各フレームの画像に参照情報として埋め込んでおいたり、各フレームの識別情報（ＩＤ）と紐付けて管理したりすることにより、基準フレーム選択部１２は、基準フレームｆｓを選択する際に、ブレ及びボケの各度合いを示す値を参照できる。また、ブレ及びボケの各度合いを示す値がしきい値以下のフレームと上記しきい値より大きなフレームとが、元フレーム記憶部１１において異なるフォルダに格納されていても良い。この場合、基準フレーム選択部１２は、上記しきい値以下のフレームが格納されたフォルダの中から基準フレームｆｓを選択すれば良い。
なお、ブレやボケだけでなく、内視鏡装置による撮像画像の場合には、洗浄水が全体にかかった画像、残渣残液が存在する画像、処置具がフレームインしている画像も所定の条件を満たさないと判断しても良い。したがって、これら観察対象を遮る物の存在を、色、エッジ強さ、又は輪郭形状等の画像特徴で検出することにより、所定の条件を満たさないフレームを特定しても良い。この場合、所定の条件を満たさないフレームの取得時間又はフレームの取得時間に紐付いた検査情報に基づいてフレームを特定することで、当該フレームを基準フレームｆｓに選択されないフレームとして異なるフォルダに格納する等の選別を予め行っておいても良い。
基準正解フレーム取得部１３は、基準フレームｆｓ内の注目領域ｒを表す基準正解フレームＦｒを取得する。基準正解フレームＦｒは、操作部１８からの操作入力に基づいて、基準正解フレーム取得部１３が注目領域ｒの特定と注目領域ｒの画像処理を行うことによって作成しても良いし、基準フレームｆｓのデータを本実施形態の画像処理装置１とは別のシステムに出力し、当該別のシステムで注目領域ｒの特定と注目領域ｒの画像処理が行われたデータを基準正解フレーム取得部１３が上記別のシステムから取得しても良い。なお、注目領域ｒは、例えば、内視鏡装置によって撮像された画像中の病変箇所を含む領域である。また、注目領域ｒに行われる画像処理は、例えば、マスク処理（塗りつぶし処理）である。
補完正解フレーム作成部１４は、基準正解フレーム取得部１３が取得した少なくとも１つの基準正解フレームＦｒに基づいて、フレーム群ＦＧに含まれる基準フレームｆｓ以外のフレームに対応する補完正解フレームＦｃを作成する。なお、補完正解フレーム作成部１４は、基準正解フレームＦｒに基づいて、基準フレームｆｓ以外のフレームから補完正解フレームＦｃを作成しても良い。
補完正解フレーム作成部１４は、基準フレーム選択部１２が複数枚の基準フレームｆｓを選択し、基準正解フレーム取得部１３が各基準フレームｆｓに基づく複数枚の基準正解フレームＦｒを取得した場合、２枚の基準正解フレームＦｒ内の注目領域ｒの画像に基づきモーフィング処理を行って得られた画像を、上記２枚の基準正解フレームＦｒの間の動画を構成する中間フレームに付与して、補完正解フレームＦｃを作成する。なお、モーフィング処理によって得られた画像は、中間フレームの各画像内の注目領域ｒに対応する領域に付与される。このため、上記２枚の基準正解フレームＦｒ内の各注目領域ｒの座標位置が異なっても、中間フレームにおける適当な座標位置に画像が付与される。
また、基準フレーム選択部１２が１枚の基準フレームｆｓを選択した場合、補完正解フレーム作成部１４は、基準正解フレーム取得部１３が取得した１枚の基準正解フレームＦｒから、形状モデル及び形状変化モデルの少なくとも１つに基づき画像を作成して、基準正解フレームＦｒ後のフレームに付与して、補完正解フレームＦｃを作成する。なお、上記形状モデルとは、フレーム中の病変領域等を楕円等で近似させるモデルである。また、上記形状変化モデルとは、動的輪郭モデルに基づいて、フレーム中の病変領域等を近似した楕円等の形状を時間関数で変化させるモデルである。いずれのモデルも、機械学習により憶えさせたい病変領域等の形状を、事前に関数として近似又は定義したものである。なお、病変領域等の形状は、楕円に限らず、２次元で表現可能な多角形又は円形等又はその組み合わせによって近似されても良い。また、上記形状変化モデルでは、Ｎ個の頂点（制御点）と、Ｎ−１本の辺とから構成された閉領域について、Ｎ個の制御点の内、任意個数および位置の制御点を時間によって任意距離ずつ動かす、といった時間による形状変化のルールに従う。当該ルールは、機械学習によって統計的に決定されても、機械学習によらずに人が経験的に近似又は定義しても良い。
正解フレーム記憶部１５は、基準正解フレーム取得部１３が取得した基準正解フレームＦｒ及び補完正解フレーム作成部１４が作成した補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣのデータを記憶する。なお、正解フレーム群ＧＣを構成する正解フレームは、フレームだけに限定されず、正解フレームに変換可能な、例えば注目領域ｒを表す座標情報などであってもよい。
正解フレーム取得部１６は、操作部１８からの指示に応じて、正解フレーム記憶部１５が記憶する正解フレーム群ＧＣから、全て又は一部のフレームのデータを取得する。正解フレーム取得部１６が取得したフレームのデータは、操作部１８からの指示内容に応じて、機械学習装置１９又は画像表示部１７に送られる。
画像表示部１７は、動画を構成するフレーム群ＦＧの画像、基準正解フレームＦｒの画像、又は正解フレーム群ＧＣの画像を表示する。また、画像表示部１７は、画像処理装置１のユーザが操作部１８を操作する際に参照する操作メニュー及びボタンアイコン等を表示する。
操作部１８は、画像処理装置１のユーザが各種操作を行うための手段である。操作部１８は、具体的には、トラックパッド、タッチパネル、又はマウス等である。
次に、本実施形態の画像処理装置１が正解画像群である正解フレーム群ＧＣを作成する方法について、図２に示すフローチャートを参照して説明する。
図２に示すフローチャートによって実行される処理は、元フレーム保存ステップＳ１、基準フレーム選択ステップＳ２、基準正解フレーム取得ステップＳ３、補完正解フレーム作成ステップＳ４、及び正解フレーム保存ステップＳ５である。
元フレーム保存ステップＳ１では、内視鏡装置等で撮影することにより得られた動画を構成するフレーム群ＦＧのデータが元フレーム記憶部１１に保存される。元フレーム記憶部１１に保存されたフレーム群ＦＧは、図３（ａ）に示すように画像表示部１７に表示される。図３（ａ）に示す例では、フレーム群ＦＧを構成する各フレームｆの画像Ｇが時間軸ｔに沿って並べて表示されている。
基準フレーム選択ステップＳ２では、基準フレーム選択部１２が、元フレーム記憶部１１に保存されたフレーム群ＦＧから、所定の条件を満たす１又は複数の特定の基準フレームｆｓを選択する。本実施形態では、基準フレームｆｓの候補（以下「候補フレーム」という。）ｆｓｃが基準フレーム選択部１２により選定され、図３（ｂ）に示すように画像表示部１７に提示される。図３（ｂ）に示す例では、複数の候補フレームｆｓｃが矢印Ａで指し示めされる態様で提示されているが、フレーム番号を表示する態様で提示されても良い。
基準フレーム選択ステップＳ２は、候補フレームｆｓｃを個別に拡大表示させる表示ステップＳ２１と、拡大表示させた候補フレームｆｓｃがボケやブレのない鮮明な画像であるか否か判断する判断ステップＳ２２とを有する。表示ステップＳ２１では、画像処理装置１のユーザは、図３（ｃ）に示すように、画像表示部１７に任意の候補フレームｆｓｃを拡大表示させる。次に、判断ステップＳ２２では、画像処理装置１のユーザは、拡大表示された候補フレームｆｓｃの特に病変箇所ＬＡがボケやブレなく鮮明に写っているか否か判断する。画像処理装置１のユーザが候補フレームｆｓｃの中から基準フレームｆｓを選択すると、基準正解フレーム取得ステップＳ３に進む。
基準正解フレーム取得ステップＳ３では、基準正解フレーム取得部１３が、基準フレームｆｓ内の注目領域ｒを表す基準正解フレームＦｒを取得する。基準正解フレーム取得ステップＳ３は、注目領域マスクステップＳ３１と、基準正解フレーム数判定ステップＳ３２とを有する。
注目領域マスクステップＳ３１では、画像処理装置１のユーザが、図４に示すように、画像表示部１７に表示された基準フレームｆｓの画像Ｇを目視しつつ操作部１８を操作して、その画像Ｇ内の病変箇所ＬＡを含む注目領域ｒを特定し、注目領域ｒの画像処理（マスク処理）を行う。この注目領域マスクステップＳ３１で、基準フレームｆｓから基準正解フレームＦｒを作成することにより、基準正解フレーム取得部１３は基準正解フレームＦｒを取得する。基準正解フレーム数判定ステップＳ３２では、基準正解フレームＦｒが２枚以上取得されたか否かを判定し、基準正解フレームＦｒが２枚以上取得されたと判定されなければ（ステップＳ３２でＮｏ）基準フレーム選択ステップＳ２に戻り、基準正解フレームＦｒが２枚以上取得されたと判定されたならば（ステップＳ３２でＹｅｓ）補完正解フレーム作成ステップＳ４に進む。
補完正解フレーム作成ステップＳ４では、補完正解フレーム作成部１４が、基準正解フレーム取得ステップＳ３で取得された２枚の基準正解フレームＦｒの注目領域ｒの画像に基づきモーフィング処理を行って、２枚の基準正解フレームＦｒの間の動画を構成する中間フレームに、上記モーフィング処理によって得られた画像を付与して、補完正解フレームＦｃを作成する。図５に示す例では、複数のフレームｆ０〜ｆｎからなるフレーム群ＦＧのうちの両端の２つのフレームｆ０、ｆｎが基準フレームｆｓに選択され２枚の基準正解フレームＦｒが作成されている。補完正解フレーム作成部１４には、基準正解フレームＦｒ（ｆ０、ｆｎ）を含むフレーム群ＦＧのデータが入力される。補完正解フレーム作成部１４は、２枚の基準正解フレームＦｒ（ｆ０、ｆｎ）の注目領域ｒ０、ｒｎの画像に基づきモーフィング処理が行われることにより、２枚の基準正解フレームＦｒ（ｆ０、ｆｎ）の間の動画を構成する中間フレームｆ１〜ｆｎ−１に、上記モーフィング処理によって得られた画像を付与して、補完正解フレームＦｃを作成する。
次に、正解フレーム保存ステップＳ５では、補完正解フレーム作成部１４は、基準正解フレーム取得ステップＳ３で取得した基準正解フレームＦｒ及び補完正解フレーム作成ステップＳ４で作成した補完正解フレームＦｃを正解フレーム記憶部１５に保存する。正解フレーム記憶部１５は、基準正解フレームＦｒ及び補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣとして記憶する。
正解フレーム記憶部１５が記憶する正解フレーム群ＧＣの全て又は一部のデータは、正解フレーム取得部１６によって読み込まれ、機械学習装置１９又は画像表示部１７に送られる。機械学習装置１９に送られたデータは、機械学習装置１９による機械学習の学習用データとして用いられ、機械学習装置１９は、上記機械学習を行うことによって学習済みモデルを生成する。こうして生成された学習済みモデルは、畳み込みニューラルネットワーク（Convolutional neural network）の構成を有し、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに用いられる。
なお、機械学習装置１９は、機械学習を行うプロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）を含む。また、上記評価システムは、学習済みモデルをプログラムとして実行して各種処理を行うプロセッサと、ＲＡＭと、ＲＯＭを含む。プロセッサには、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。また、評価システムを構成するプロセッサは、各種プロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
上記説明した本実施形態の構成によれば、内視鏡装置等で撮像することにより得られた動画を構成するフレーム群ＦＧから、病変箇所ＬＡが鮮明に写っているフレームを少なくとも１枚（図５の例では、フレームｆ０とフレームｆｎの２枚）選択して、それぞれの注目領域ｒを特定して画像処理を行うことで基準正解フレームＦｒを取得し、基準正解フレームＦｒに基づいて補完正解フレームＦｃを作成することで、基準正解フレームＦｒ及び補完正解フレームＦｃから構成された正解画像群である正解フレーム群ＧＣを作成する。また、作成した正解フレーム群ＧＣの全て又は一部のデータを機械学習の学習用データとして用いることにより学習済みモデルを生成でき、当該学習済みモデルは、内視鏡装置が取得した画像に含まれる病変箇所の評価システムに利用される。なお、学習済みモデルは、一般に、ニューラルネットワークの構造とそのニューラルネットワークを構成する各ニューロン間の結びつきの強さであるパラメータ（いわゆる「重み」）との組み合わせとして表現される関数を意味するが、本明細書では当該関数に基づいて演算処理を行うためのプログラムを意味する。
なお、本発明は、上記実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。例えば、上記実施形態では、基準フレーム選択ステップＳ２において、所定の条件を満たす候補フレームｆｓｃが提示され、候補フレームｆｓｃの中から画像処理装置１のユーザが操作部１８を用いて選択した候補フレームｆｓｃを、基準フレーム選択部１２が基準フレームｆｓとして選択するが、基準フレーム選択部１２は、候補フレームｆｓｃの提示を行わずに、所定の条件を満たす１又は複数のフレームを基準フレームｆｓとして選択しても良い。
また、上記実施形態では、基準正解フレーム取得ステップＳ３において、画像処理装置１のユーザが、画像表示部１７に表示された基準フレームｆｓの画像を目視しつつ操作部１８を操作して、その画像内の病変箇所を含む注目領域を特定し、注目領域の画像処理（マスク処理）を行うことにより基準正解フレームＦｒを取得しているが、基準フレームｆｓのデータを画像処理装置１とは別のシステムに出力し、当該別のシステムで注目領域の特定と注目領域の画像処理が行われたデータを画像処理装置１に入力して、基準正解フレームＦｒとして取得しても良い。
また、上記実施形態では、補完正解フレーム作成ステップＳ４において、２枚の基準正解フレームＦｒの間の動画を構成する中間フレームのフレーム補完方法としてモーフィング処理を行っているが、その他のフレーム補完方法を採用しても良い。例えば、基準正解フレームＦｒが１枚のみである場合には、この基準正解フレームＦｒから、形状モデル及び形状変化モデルの少なくとも１つに基づき画像を作成して、基準正解フレームＦｒ後のフレームに付与して、補完正解フレームＦｃを作成しても良い。
以上説明したとおり、本明細書に開示された画像処理装置は、
機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
上記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
上記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、上記フレーム群に含まれる上記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
を備える。
また、上記基準フレーム選択部は、上記フレーム群に含まれるフレームの画像を解析した結果に基づいて上記基準フレームを選択する。
また、上記フレーム群は、時系列の複数のフレームを含む。
また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、上記基準フレームを選択する。
また、上記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、上記ブレ又はボケの度合いを数値化する。
また、上記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、上記ブレ又はボケの度合いを数値化する。
また、上記基準フレーム選択部は、上記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、上記基準フレームを選択する。
また、上記基準フレーム選択部は、上記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、上記基準フレームを選択する。
また、画像処理装置は、上記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
上記基準正解フレーム取得部は、上記操作部からの操作入力に基づいて、上記注目領域の特定及び上記注目領域の画像処理を行うことで上記基準正解フレームを作成する。
また、上記基準フレーム選択部が複数の上記基準フレームを選択した場合、
上記補完正解フレーム作成部は、上記基準正解フレーム取得部が取得した２つの基準正解フレーム内の上記注目領域の画像に基づきモーフィング処理を行って得られた画像を、上記２つの正解基準フレームの間の動画を構成する中間フレームに付与して、上記補完正解フレームを作成する。
また、本明細書に開示された学習用モデルは、上記画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成したものである。
また、上記学習済みモデルは、畳み込みニューラルネットワークの構成を有する。
１ 画像処理装置
１１ 元フレーム記憶部
１２ 基準フレーム選択部
１３ 基準正解フレーム取得部
１４ 補完正解フレーム作成部
１５ 正解フレーム記憶部
１６ 正解フレーム取得部
１７ 画像表示部
１８ 操作部
１９ 機械学習装置
ｆ０〜ｆｎ フレーム
Ｆｃ 補完正解フレーム
ＦＧ フレーム群
Ｆｒ 基準正解フレーム
ｆｓ 基準フレーム
ｆｓｃ 候補フレーム
Ｇ 画像
ＧＣ 正解フレーム群
ＬＡ 病変箇所
ｒ 注目領域
Ｓ１ 元フレーム保存ステップ
Ｓ２ 基準フレーム選択ステップ
Ｓ３ 基準正解フレーム取得ステップ
Ｓ４ 補完正解フレーム作成ステップ
Ｓ５ 正解フレーム保存ステップ

Claims (13)

  1. 機械学習に使用する正解画像群を、複数の画像のフレーム群から作成する画像処理装置であって、
    前記フレーム群から特定の基準フレームを選択する基準フレーム選択部と、
    選択された基準フレーム内の注目領域を表す基準正解フレームを取得する基準正解フレーム取得部と、
    前記基準正解フレーム取得部が取得した少なくとも１つの基準正解フレームに基づいて、前記フレーム群に含まれる前記基準フレーム以外のフレームに対応する補完正解フレームを作成する補完正解フレーム作成部と、
    を備える画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群に含まれるフレームの画像を解析した結果に基づいて前記基準フレームを選択する、画像処理装置。
  3. 請求項１又は２に記載の画像処理装置であって、
    前記フレーム群は、時系列の複数のフレームを含む、画像処理装置。
  4. 請求項１から３のいずれか１項に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像のブレ又はボケの度合いに基づき、前記基準フレームを選択する、画像処理装置。
  5. 請求項４に記載の画像処理装置であって、
    前記基準フレーム選択部は、単一のフレームの画像解析若しくは周波数解析を行って、前記ブレ又はボケの度合いを数値化する、画像処理装置。
  6. 請求項４に記載の画像処理装置であって、
    前記基準フレーム選択部は、複数のフレームのずれ量又は方向の速度ベクトルを解析して、前記ブレ又はボケの度合いを数値化する、画像処理装置。
  7. 請求項１から３のいずれか１項に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群を構成する各フレームの画像特徴を検出した結果に基づき、前記基準フレームを選択する、画像処理装置。
  8. 請求項１から３のいずれか１項に記載の画像処理装置であって、
    前記基準フレーム選択部は、前記フレーム群の各フレームを撮像した際にジャイロスコープ又は加速度センサが検出したデータに基づき、前記基準フレームを選択する、画像処理装置。
  9. 請求項１から８のいずれか１項に記載の画像処理装置であって、
    前記フレーム群から任意のフレームを指定する操作又は指定したフレームの画像処理を行うための操作を行うための操作部を備え、
    前記基準正解フレーム取得部は、前記操作部からの操作入力に基づいて、前記注目領域の特定及び前記注目領域の画像処理を行うことで前記基準正解フレームを作成する、画像処理装置。
  10. 請求項１から９のいずれか１項に記載の画像処理装置であって、
    前記基準フレーム選択部が複数の前記基準フレームを選択した場合、
    前記補完正解フレーム作成部は、前記基準正解フレーム取得部が取得した２つの基準正解フレーム内の前記注目領域の画像に基づきモーフィング処理を行って得られた画像を、前記２つの基準正解フレームの間の動画を構成する中間フレームに付与して、前記補完正解フレームを作成する、画像処理装置。
  11. 請求項１から１０のいずれか１項に記載の画像処理装置により正解画像群を作成し、
    作成した前記正解画像群を用いた機械学習により学習済みモデルを生成する、
    学習済みモデル生成方法。
  12. 請求項１１に記載の学習済みモデル生成方法であって、
    前記学習済みモデルは、畳み込みニューラルネットワークの構成を有する、学習済みモデル生成方法。
  13. 請求項１から１０のいずれか１項に記載の画像処理装置が作成した正解画像群を用いて機械学習を行うことで生成された学習済みモデルを用いて、内視鏡装置が取得した画像に含まれる病変箇所を評価する評価装置。
JP2019546593A 2017-10-06 2018-09-10 画像処理装置、学習済みモデル生成方法、及び評価装置 Active JP6821048B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017196350 2017-10-06
JP2017196350 2017-10-06
PCT/JP2018/033399 WO2019069629A1 (ja) 2017-10-06 2018-09-10 画像処理装置及び学習済みモデル

Publications (2)

Publication Number Publication Date
JPWO2019069629A1 JPWO2019069629A1 (ja) 2020-10-15
JP6821048B2 true JP6821048B2 (ja) 2021-01-27

Family

ID=65994537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546593A Active JP6821048B2 (ja) 2017-10-06 2018-09-10 画像処理装置、学習済みモデル生成方法、及び評価装置

Country Status (3)

Country Link
US (1) US11574189B2 (ja)
JP (1) JP6821048B2 (ja)
WO (1) WO2019069629A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7196529B2 (ja) * 2018-10-18 2022-12-27 コニカミノルタ株式会社 情報処理装置及びプログラム
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法
JP7288870B2 (ja) 2020-02-05 2023-06-08 株式会社日立製作所 画像を生成するシステム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04125779A (ja) 1990-09-18 1992-04-27 Toshiba Corp 画像処理方法
JPH0836643A (ja) 1994-07-26 1996-02-06 Matsushita Electric Works Ltd 画像認識におけるニューラルネットによる学習方法
JP5412404B2 (ja) * 2010-11-15 2014-02-12 シャープ株式会社 情報統合装置、情報表示装置、情報記録装置
JP5899472B2 (ja) 2012-05-23 2016-04-06 パナソニックＩｐマネジメント株式会社 人物属性推定システム、及び学習用データ生成装置
JP6784254B2 (ja) * 2015-02-27 2020-11-11 日本電気株式会社 滞留物体検出システム、滞留物体検出方法およびプログラム
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US20180011953A1 (en) * 2016-07-07 2018-01-11 Ford Global Technologies, Llc Virtual Sensor Data Generation for Bollard Receiver Detection
JP6220435B2 (ja) 2016-10-05 2017-10-25 キヤノン株式会社 診断支援装置及びその制御方法
US10853659B2 (en) * 2017-05-05 2020-12-01 Google Llc Methods, systems, and media for adaptive presentation of a video content item based on an area of interest

Also Published As

Publication number Publication date
JPWO2019069629A1 (ja) 2020-10-15
US20200218980A1 (en) 2020-07-09
US11574189B2 (en) 2023-02-07
WO2019069629A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
JP6930283B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
JP4911029B2 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
JP6821048B2 (ja) 画像処理装置、学習済みモデル生成方法、及び評価装置
CN107292857B (zh) 图像处理装置及方法和计算机可读存储介质
JP2020103880A5 (ja)
JP4408794B2 (ja) 画像処理プログラム
JP6318739B2 (ja) 画像処理装置、およびプログラム
JP6159179B2 (ja) 画像処理装置、画像処理方法
US11229377B2 (en) System and method for next-generation MRI spine evaluation
CN110598582A (zh) 一种眼图像处理模型构建方法和装置
JP2010082245A (ja) 毛情報測定方法
JP2007151645A (ja) 医用画像診断支援システム
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JPWO2007013300A1 (ja) 異常陰影候補検出方法及び異常陰影候補検出装置
JP2019028887A (ja) 画像処理方法
JP2006110190A (ja) 医用画像データ解析装置及びその方法
JP2020163100A5 (ja)
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
JP2012061019A (ja) 画像処理装置、方法およびプログラム
JP2008512161A (ja) Ｃｔスキャン解析用ユーザインタフェース
JP5553569B2 (ja) 画像表示装置及び画像表示方法
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
JP2015136480A (ja) ３次元医用画像表示制御装置およびその作動方法並びに３次元医用画像表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210105

R150 Certificate of patent or registration of utility model

Ref document number: 6821048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250