JP7262203B2

JP7262203B2 - 画像処理装置および画像処理装置の制御方法ならびにプログラム

Info

Publication number: JP7262203B2
Application number: JP2018196071A
Authority: JP
Inventors: 敦司後藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-10-17
Filing date: 2018-10-17
Publication date: 2023-04-21
Anticipated expiration: 2038-10-17
Also published as: JP2020064464A

Description

本発明は、画像処理装置および画像処理装置の制御方法ならびにプログラムに関する。

機械学習の手法を用いて、画像内に含まれる被写体などの特定の領域と他の領域とを区別する領域分割技術が知られている（非特許文献１、特許文献１）。非特許文献１は、事前に対象の領域をラベルとして与えた画像（教師付データ）を機械学習の一手法であるディープニューラルネットワークに学習させ、その結果得られる学習済モデルを用いて画像内の意味的領域分割を行う技術を開示している。また、特許文献１は、複数のディープニューラルネットワークを用いて画像の中の顕著領域（重要な領域或いは人間が注目すると予測される領域）を検出する技術を開示している。この技術は、画像内の各ピクセルの顕著度を周囲の局所領域から計算した後に、ピクセル単位の顕著度とヒストグラム或いは領域の形状等の特徴量とを用いて複数の候補領域の顕著度を計算し、局所及び全体の特徴を考慮した入力画像の顕著性情報を生成する。

ところで、画像の領域分割技術は、画像内の人や動物、移動体などの一般的な物体を検出する場合のほか、例えば人体の患部周辺を撮影した画像から例えば褥瘡のような患部の領域を検出する用途にも適用可能な場合がある。従来、褥瘡など人体の患部の大きさの評価は、人間の手作業により行われてきたが、領域分割技術を用いて患部領域を検出し、検出した領域の大きさに基づいて患部の大きさを自動的に特定することができれば、患部の評価の人的負荷が軽減される。

特開２０１７－４４８０号公報

Ｊ．Ｌｏｎｇ，Ｅ．Ｓｈｅｌｈａｍｅｒ，Ｔ．Ｄａｒｒｅｌｌ，Ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ．ＩｎＣＶＰＲ，２０１５．

非特許文献１に開示される意味的領域分割では、検出精度を高めるためには、十分な数の教師付データと十分な学習のイテレーション回数によって学習済モデルを生成することが必要である。人や動物等の一般的な物体の認識は、十分な数の教師付データで事前に作成した学習済モデルを共用することができるため、一度高精度な学習済モデルを作ってしまえば、その後の学習負荷を小さくすることができる場合がある。しかしながら、特定の対象、例えば褥瘡などの患部を領域分割するモデルを作成するためには、その褥瘡などの対象を追加的に学習させる必要がある。特定の対象に対して十分な精度を得るためには、一般に数千にも及ぶ数の教師付データが必要とされ、教師付データの収集や学習時間が大きな負荷になる。また、特許文献１に開示される技術では、複数の候補領域の顕著度を各候補領域の推定結果の信頼性に応じて重み付け加算するため、推定結果の信頼性に左右されて正確に領域分割することができない場合がある。

本発明は、上記課題に鑑みてなされ、その目的は、機械学習において学習させる教師付データが少ない場合であっても特定の対象について精度のよい領域分割を行うことが可能な技術を実現することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、機械学習における学習済モデルを用いて、入力画像内における推定対象の領域を推定する推定手段と、前記入力画像におけるエッジを抽出するエッジ抽出手段と、前記推定された推定対象の領域を、前記抽出されたエッジ上の位置に基づいて補正する補正手段とを有し、前記補正手段は、前記推定された推定対象の領域の境界上の位置の少なくとも一部を、該境界上の位置と対応付けられる前記抽出されたエッジ上の位置で置き換え、前記補正手段は、更に、前記学習済モデルを生成する際の前記推定対象に関する学習の程度に応じて、前記抽出されたエッジ上の位置による置き換えの基準を異ならせることを特徴とする。

本発明によれば、機械学習において学習させる教師付データが少ない場合であっても特定の対象について精度のよい領域分割を行うことが可能になる。

本実施形態による計測システムの全体構成例を概略的に示す図本実施形態に係る画像処理装置の機能構成例を示すブロック図本実施形態に係る画像処理の一連の動作を示すフローチャート本実施形態に係る褥瘡を含む患部の画像例を模式的に示す図本実施形態に係る機械学習による領域推定結果の一例を示す図本実施形態に係るエッジ抽出結果の一例を示す図本実施形態に係る制御点配置の一例を示す図本実施形態に係る制御点選択の処理例を説明するための図本実施形態に係る制御点選択の結果の一例を示す図本実施形態に係る制御点再構成について説明するための図本実施形態に係る画像のＸ方向の距離の算出方法を説明するための図本実施形態に係る画像形成手段から出力される画像例を示す図

本発明の例示的な実施形態について、図面を参照して詳細に説明する。但し、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更され得る。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

（計測システム１の構成）
まず、図１を参照して、実施形態に係る画像処理を用いて被験者８の患部９の面積を計測する患部面積計測システム（単に計測システムともいう）について説明する。計測システム１は、患部９の画像を撮影して被写体距離を測定し、次に画像内の患部の領域を領域分割する。そして、被写体距離とカメラの画角に基づき１ピクセルあたりの面積を計測したうえで、領域分割の結果と１ピクセルあたりの面積に基づいて、患部９の面積を計測する。

本実施形態では、被験者８の臀部（背中の下部の膨らんだ部分をいう）に生じた患部９の病態の一例を褥瘡（所謂床ずれ）として説明する。褥瘡は、患者が寝たきりによって、体の特定の箇所に圧迫が続き、その結果として血行不全を生じて組織が壊死し、皮膚組織が欠損することによって生じる。ひとたび褥瘡になると、その後定期的に病状を評価、管理する必要がある。褥瘡の評価指標の一つとして褥瘡の大きさが用いられている。褥瘡の病状の変化を確かめるために評価には正確性が要求され、褥瘡の大きさを容易に精度よく計測するためのシステムが求められている。本実施形態では、患部の例として褥瘡を例に説明するが、患部の対象は褥瘡に限定されるものではなく、やけど、裂傷、などであってもよい。また、計測対象は患部に限定されるものではなく、画像中のオブジェクトであってもよい。

図１を参照して、本実施形態による計測システム１の機能構成例について説明する。計測システム１は、例えば、計測モジュール２と、画像処理装置３と、表示装置４とを含む。計測モジュール２は、測距モジュール５と、カメラモジュール６と、通信インターフェース７とを含む。測距モジュール５は、ＴＯＦセンサ（不図示）とＴＯＦセンサを駆動するドライバボード（不図示）から構成され、不図示の撮像レンズの焦点から被検体などの被写体までの距離（以後、被写体距離という）を取得することができる。なお、測距モジュール５は、ＴＯＦ方式を用いたものに限らず、超音波測距方式、三角測量の原理を応用した光学式センサを用いた方法などの他の方法を用いたものであってもよい。

カメラモジュール６は、被写界深度の深い画像を得ることができる固定焦点方式を用いており、フォーカス範囲は例えば１ｍから無限遠である。Ｘ方向の画像サイズをＸｐｉｘ、Ｙ方向の画像サイズをＹｐｉｘとすると、撮影される画像サイズは、例えばＸｐｉｘが６４０、Ｙｐｉｘが４８０である。カメラモジュール６は被検体をカラーで撮影し、カラーの画像を出力する。視野角は５４×４１度であり、画像の歪みは無視できるほど小さい。なお、画像の歪みが小さいものであれば、画像サイズ、視野角はこの例に限定されない。

通信インターフェース７は、測距モジュール５より取得した被写体距離のデータとカメラモジュール６が取得した画像データとを、例えばＵＳＢ通信インターフェース７を介して画像処理装置３に転送する。なお、通信インターフェース７は、ＵＳＢに限らず、ＬＡＮなど他の有線インターフェースであってもよいし、例えばＷｉ－Ｆｉなどの無線通信用のインターフェースであってもよい。

画像処理装置３は、画像データと被写体距離のデータとを計測モジュール２から取得して、画像データにおける患部の領域を領域分割し、画像データに対して患部領域を示す情報を重畳した画像（以下、患部領域オーバーレイ画像という）を生成する。更に、画像処理装置３は、被写体距離とカメラの画角から１ピクセルあたりの面積を計測し、領域分割結果と１ピクセルあたりの面積とに基づいて患部の面積を算出する。

表示装置４は、ＯＬＥＤ又はＬＣＤ表示パネルを含み、画像処理装置３が生成した患部領域オーバーレイ画像と距離データを表示する。表示装置４は、患部オーバーレイ画像と距離データを表示するものであれば、他の表示パネルを用いてもよい。なお、本実施形態の例では、表示装置４は測定モジュール２と別体である場合を例に説明するが、表示装置４が測定モジュール２の一部として構成されていてもよい。

（画像処理装置の構成）
次に、図２を参照して、画像処理装置３の機能構成について説明する。画像処理装置３は、ＣＰＵ、ＭＰＵ或いはＧＰＵで構成される演算回路と、ＲＡＭとＲＯＭとを含む制御部１０を有する。制御部１０は、ＲＯＭに記録されたプログラムを、ＲＡＭに展開、実行することにより、画像処理装置３を構成する後述の各部の機能を実現する。なお、画像処理装置３の機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイなどのハードウェアによって実現されてもよいし、上述のＣＰＵやＧＰＵなどのハードウェアがソフトウェアを実行することによって実現されてもよい。また、ＰＣなどの電子機器によって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。また、ＲＯＭの代わりに制御部１０の外部に設けられた不図示の不揮発性の記録媒体を使用したり、ＲＡＭの代わりに制御部１０の外部に設けられた不図示の揮発性メモリを使用したりしてもよい。

画像処理装置３は、通信部１１、領域推定部１２、エッジ抽出部１３、制御点配置部１４、選択部１５、閉曲線再構成部１６、面積算出部１７、画像形成部１８、及び表示制御部１９を含む。また、画像処理装置３は、機械学習の推論演算等の数学的或いは統計的な演算装置として機能する。

通信部１１は、計測モジュール２と通信インターフェース７を介して通信し、被写体距離データと計測モジュールにおいて撮像された入力画像データとを、計測モジュール２から受信する。

領域推定部１２は、機械学習を用いた推論処理を行う。すなわち、褥瘡の画像を教師付データとする教師あり学習によって学習させた学習済モデルに基づき、入力画像から褥瘡の領域を推定する。このとき、本実施形態では、画像内の褥瘡の領域をピクセル単位で推定する。領域推定部１２は、閉曲線で表され、褥瘡の領域を粗く推定した領域推定結果を出力する。領域推定部１２で推定された褥瘡の領域に対し、後の手順においてより高精度な領域分割処理が施される。

なお、領域推定部１２で行う推論処理には公知の手法を用いることができる。本実施形態では、例えば、非特許文献１に記載のＦＣＮ（Ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ）を適用することができる。さらに、ＦＣＮを適用するニューラルネットワークには、２０１４年のＩｍａｇｅＮｅｔＬａｒｇｅＳｃａｌｅＶｉｓｕａｌＲｅｃｏｇｎｉｔｉｏｎＣｈａｌｌｅｎｇｅで提案されたＶＧＧ１６を用いることができる。このＶＧＧ１６は、計１６層から成る畳み込みニューラルネットワーク（所謂ＣＮＮ）である。また、本実施形態では、ＰＡＳＣＡＬＶＯＣ２０１１の領域分割トレーニングデータセットを予め学習させたＦＣＮ－ＶＧＧ１６の学習済モデルに例えば２００の褥瘡画像を追加学習させる、所謂ＦｉｎｅＴｕｎｉｎｇを行ったモデルを用いる。

エッジ抽出部１３は、入力画像データにソーベルフィルタに代表される微分フィルタまたはハイパスフィルタを施し、画像内の褥瘡の境界部分であるエッジ成分を検出する。その後、検出したデータに２値化処理を施し、モルフォロジー処理、粒子分析による一般的な処理によりエッジでない信号を除去して、最終的なエッジを抽出する。

制御点配置部１４は、領域推定部１２で得られた褥瘡領域の境界がなす閉曲線の幾何中心から等間隔に放射される１２本の放射状補助線（参照線ともいう）と閉曲線との交点を制御点として求め、求めた制御点を画像中に配置する。さらに、放射状補助線（参照線）とエッジ抽出部１３で得られた褥瘡の境界の線分との交点を、別個の制御点として画像中に配置する。選択部１５は、放射状補助線上の複数の制御点（領域推定部１２による推定領域の境界の閉曲線上の制御点もしくはエッジ抽出部１３によるエッジ上の制御点）のうち、どちらかを選択する。閉曲線再構成部１６は、選択部１５が選択した制御点に基づき、閉曲線を再構成する。本実施形態では、選択部１５が選択した複数の制御点をベジェ曲線で滑らかな結び、閉曲線を再構成する。閉曲線によって囲まれた領域はピクセル単位で求められるため、閉曲線によって囲まれた領域の面積はピクセル数によって求められる。すなわち、制御点配置部１４、選択部１５、および閉曲線再構成部１６は、推定領域の境界上の位置を補正する補正手段として機能する。なお、制御点から閉曲線を再構成する方法はベジェ曲線を用いる方法に限らず、スプライン曲線などの他の曲線を用いる方法でもよい。

面積算出部１７は、通信部１１が受信した被写体距離とカメラの画角から１ピクセルあたりの面積を算出する。さらに、閉曲線再構成部１６が構成した閉曲線のピクセル数を算出し、１ピクセルあたりの面積と閉曲線のピクセル数を掛け合わせることによって、褥瘡部分の面積を算出する。

画像形成部１８は、閉曲線再構成部１６が生成した閉曲線領域を入力画像データに重畳した患部領域オーバーレイ画像を生成する。また、面積算出部１７が算出した、褥瘡の面積の値を画像の一部の領域に表示する。表示制御部１９は、画像形成部１８が生成した患部領域オーバーレイ画像を、表示装置４に表示させるために出力する。

（画像処理に係る一連の動作）
次に、図３を参照して、本実施形態に係る画像処理の一連の動作について説明する。なお、本画像処理は、例えば画像処理装置３の制御部１０が上述のプログラムをＲＡＭに展開、実行することにより、制御部１０自身により、又は制御部１０が計測システムを構成する各部を制御することにより、実現される。また、本画像処理は、例えば、不図示の操作部を介してユーザから動作開始指示を受け取ったときに開始される。

Ｓ１０１において、通信部１１は、測定モジュール２が撮像した被験者８の患部９を含む褥瘡画像を、入力画像データとして取得する。図４は、Ｓ１０１において取得される褥瘡の画像の一例を示している。

褥瘡の画像２０には、臀部の皮膚２３と、皮膚２３上の褥瘡２１とが撮像されている。そして、褥瘡は面で生じており、一般に褥瘡領域の内側は赤色などに変色しておりその外側の領域は正常な皮膚である。一般に、褥瘡２１は、褥瘡の領域と褥瘡でない皮膚の領域とを分かつ境界がはっきりしている褥瘡の境界線（例えば境界線ｂ１、ｂ２、ｂ３）と、褥瘡の内側と外側の態様が徐々に変化しており、境界がはっきりしていない部分（例えば部分ａ）を有する。

Ｓ１０２において、通信部１１は、測定モジュール２が測定した被写体距離、すなわちカメラモジュール６の撮像レンズ（不図示）の焦点から被写体までの距離を取得する。

Ｓ１０３において、領域推定部１２は、Ｓ１０１が取得した褥瘡画像に機械学習における学習済モデルを用いて、推定対象である褥瘡２１の領域を推定する。ここで、Ｓ１０３の領域推定結果の一例を、図５を参照して説明する。図５では、Ｓ１０１で取得した入力画像データに、領域推定部１２によって推定された褥瘡２１の領域（推定領域３１）を重畳した様子を示しており、推定領域３１は閉曲線によって閉じられている。図５に示す例では、推定領域３１は褥瘡の境界線ｂ１，ｂ２，ｂ３を包含する領域まで広がっている。なお、推定領域３１は、褥瘡の内側に褥瘡の境界線から乖離して広がる場合もある。

機械学習による領域推定の処理では、（使用した教師付データの内容や量に応じて）領域推定部１２による領域推定結果と実際の対象の領域に乖離がみられる場合がある。機械学習において、対象のＦｉｎｅＴｕｎｉｎｇに用いる追加画像の数を増やすことで、乖離は小さくなる（すなわち推定精度の誤差が小さくなる）が、そのためには少なくとも１０００以上に及ぶ大量の教師付データが必要となり、学習の負荷が大きくなる。もっとも、対象となる患部によっては、撮影した画像を大量に収集して教師付データを用意できない場合もある。このような場合に対し、本画像処理を適用することで、（特定する領域を人が指定することなく）自動的に褥瘡の領域を領域分割することができる。

Ｓ１０４において、エッジ抽出部１３は、Ｓ１０１で取得した入力画像データから褥瘡２１のエッジを抽出し、２値画像を生成する。エッジ抽出部１３は、例えば、ソーベルフィルタに代表される微分フィルタまたはハイパスフィルタによりエッジを抽出し、２値化処理を施す。更に、モルフォロジー処理、粒子分析による処理によりエッジでない信号を除去し、画像に存在する代表的なエッジの画像を生成する。ここで、Ｓ１０４のエッジ抽出結果の一例を、図６を参照して説明する。

図６は、Ｓ１０１において取得した入力画像データに対してエッジ抽出処理を行った結果の２値画像を示している。エッジ抽出処理の結果、臀部の皮膚２３の境界線上のエッジ６１と、褥瘡２１の境界のエッジｂ１，ｂ２，ｂ３が抽出されている。

Ｓ１０５において、制御点配置部１４は、Ｓ１０３において推定した褥瘡の領域の閉曲線上と、Ｓ１０４にて抽出したエッジ上に制御点を配置する。ここで、Ｓ１０５の制御点配置について図７を参照して説明する。制御点配置部１４は、褥瘡の画像２０において、領域推定部１２で推定した褥瘡の推定領域３１の領域内に、推定領域３１がなす閉曲線の幾何中心４１をポイントｃとして配置する。そして、ポイントｃを中心として等間隔に１２本の参照線ｌ１～ｌ１２を放射状に配置する。なお、本実施形態では参照線の数を１２としたが、１２に限らず他の本数であってもよい。参照線の数が多いほど、精度の高い領域分割結果が得られる一方、画像処理装置の計算負荷が大きくなり、処理にかかる時間が長くなる。

次に、制御点配置部１４は、参照線ｌ１～ｌ１２と推定領域３１の閉曲線（境界上の位置）の交点のそれぞれに制御点ｐ１～ｐ１２を配置する。更に、制御点配置部１４は、参照線ｌ１～ｌ１２とエッジｂ１，ｂ２，ｂ３の交点に制御点ｑ１～ｐ７およびｑ１１、ｑ１２を配置する。また、制御点配置部１４は、参照線ｌ１～ｌ１２と臀部の皮膚２３の境界線のエッジ６１上に制御点ｒ１，ｒ２およびｒ９～ｒ１２を配置する。すなわち、制御点配置部１４は、推定領域３１の所定の範囲ごとに、推定領域３１の境界上にある位置と、当該推定領域３１の境界上にある位置と対応付けられるエッジ上の位置に、制御点を配置している。

次に、Ｓ１０６において、選択部１５は、同一の参照線上に配置された複数の制御点から１つを選択する。この制御点の選択について、図８を参照して説明する。なお、選択部１５による制御点の選択は、すべての参照線につき一度ずつ行われるが、ここでは、参照線ｌ８、ｌ１０、ｌ１１における制御点の選択について代表として説明する。

まず、参照線ｌ１８上の制御点の選択について説明する。参照線ｌ８には、参照点ｌ８上には制御点が１つ（すなわちｐ８のみ）存在するため、選択部１５は制御点ｐ８を新しい制御点として選択する。換言すれば、参照線上に制御点が１つだけ存在する場合には、推定領域３１の境界上にある制御点の位置のままになる。

次に、参照線ｌ１０上の制御点の選択について説明する。参照線ｌ１０上には、制御点が２つ（すなわちｐ１０、ｒ１０）が存在する。参照線上に制御点が複数存在する場合、推定領域３１の閉曲線上の交点にある制御点ｐ１０から他の制御点（ここではｒ１０）までの距離が、予め設定された一定のピクセル距離範囲より近いかを判定する。選択部１５は、制御点ｐ１０から他の制御点ｒ１０までの距離が予め設定された一定のピクセル距離範囲Ｌより近い場合には、その近い制御点を新しい制御点として選択する。一方、制御点ｐ１０から他の制御点ｒ１０までの距離が、当該ピクセル距離範囲Ｌより遠い場合には、制御点ｐ１０を新しい制御点として選択する。ここで、一定のピクセル距離範囲Ｌはユーザが設定する任意のパラメータである。一定のピクセル距離範囲Ｌが大きいと、制御点として褥瘡のエッジ上を選択できる範囲（すなわち補正可能範囲）は広いが、褥瘡２１のエッジを誤検出する可能性が高くなる。図８においてｓ１０は、ｐ１０から一定のピクセル距離範囲Ｌ内の範囲を表している。参照線ｌ１０における制御点の選択では、円ｓ１０内に制御点ｒ１０が存在しないため、新しい制御点として制御点ｐ１０が選択される。このように、（推定領域３１の所定の範囲ごとに）推定領域３１の境界上にある制御点の位置を当該制御点の位置と対応付けられるエッジ上の制御点の位置と置き換えるか否かを、ピクセル距離範囲を用いて判定する。この制御点同士の距離が近いことにより新たな制御点として制御点ｒを選択した場合には、制御点の位置をエッジ上の制御点の位置で置き換える（つまり補正する）。

更に、参照線ｌ１１上の制御点の選択について説明する。参照線ｌ１１上には制御点が３つ（すなわちｐ１１、ｑ１１、ｒ１１）が存在する。ｐ１１は、推定領域３１の閉曲線上と参照線ｌ１１との交点であり、ｑ１１は、Ｓ１０４で検出された褥瘡２１の境界線を表すエッジと参照線ｌ１１との交点である。また、ｒ１１は、Ｓ１０４において抽出された臀部の皮膚２３の境界線を表すエッジ６１と参照線ｌ１１との交点を表す。選択部１５は、参照線ｌ１０上の制御点の選択方法と同様に、推定領域上の制御点ｐ１１から一定のピクセル距離範囲Ｌの範囲内（円ｓ１１で表す）に存在するｑ１１を、参照線ｌ１１上の制御点として選択する。

選択部１５は、参照線ｌ８，ｌ１０，ｌ１１上の制御点の選択方法と同様に、ｌ１～ｌ１２で示すそれぞれの参照線上の制御点を選択する。図９には、選択部１５によって選択された制御点を示す。図９では、褥瘡２１において、新しい制御点が配置されている。褥瘡の境界がはっきりしている境界線ｂ１，ｂ２，ｂ３においては制御点がその境界線上に配置され、境界がはっきりしない領域ａにおいては、機械学習による推定領域３１の境界に制御点が配置されている。すなわち、実際の褥瘡２１の領域により精度良く合致するように、機械学習の手法を用いて推定した推定領域３１を補正することができている。

なお、一定のピクセル距離範囲Ｌが小さいと褥瘡２１のエッジを誤検出する可能性は低くなるが、補正可能範囲が狭くなる。このため、ピクセル距離範囲Ｌをより適切に設定することができるように、学習済モデルを生成する際の、推定対象である褥瘡に関する学習の程度に応じて、ピクセル距離範囲Ｌを異ならせてもよい。すなわち、推定対象である褥瘡に関する追加学習（ＦｉｎｅＴｕｎｉｎｇ）に用いる学習用データのサンプル数（褥瘡に関する学習用データの画像数）や追加学習を行う際のイテレーション数に応じてピクセル距離範囲Ｌを設定してもよい。また、追加学習に用いる教師付データを、モデルを学習させためのトレーニングセットと学習済モデルの推定精度をテストするためのテストデータとに分ける場合、テストデータに対する学習済モデルの正答率の高さに応じてピクセル距離範囲Ｌを設定してもよい。

例えば、褥瘡等の推定対象に関する追加学習の程度が低い（すなわちデータサンプル数が少ない）ほど、褥瘡の推定領域３１の精度が低くなるためピクセル距離範囲を大きくする。或いは、追加学習の程度が高いほど（すなわちデータサンプル数が多い）ほど、領域推定の精度が高くなるためピクセル距離範囲Ｌを小さくするようにしてもよい。このように、学習済モデルを生成する際の推定対象に関する学習の程度に応じてエッジ抽出結果の優先度を低くすることができる。つまり、機械学習による結果に対する補正範囲と誤検出のバランスを調整することができるようになる。このような制御点の選択を行うことにより、ｂ１、ｂ２、ｂ３のように褥瘡の境界がはっきりしている部分、ａのように褥瘡の境界がはっきりしていない部分が１画像中に存在する場合に、褥瘡領域の境界位置をより精度良く検出することができる。

Ｓ１０７において、閉曲線再構成部１６は、Ｓ１０６において選択部１５が選択した新しい制御点から新たな閉曲線を構成（すなわち新たな褥瘡２１の閉領域を特定する）し、褥瘡２１の領域として特定する。本ステップにおける閉曲線再構成処理について、図１０を参照して説明する。本実施形態の例では、Ｓ１０７の結果として特定された閉領域５１は、図５に示したＳ１０３における機械学習による推定領域３１に比べて、本来の褥瘡２１の領域との相違が少なくなっている。すなわち、（褥瘡のように）機械学習によって推定する推定対象が一般的でなく、推定対象に関する学習用の画像数が少ない場合であっても、推定対象に対する領域の特定をより精度良く行うことができる。

Ｓ１０８において、面積算出部１７は、通信部１１が受信した被写体距離とカメラの画角から１ピクセルあたりの面積を計測し、Ｓ１０７で構成された閉曲線が示す褥瘡２１の領域に相当する領域の面積を算出する。ここでは、画像のＸ方向における距離の算出方法について、図１１を参照して説明する。

被写体距離をＬ［ｍｍ］、画像のＸ方向の距離をＷ［ｍｍ］、画角をθとすると、Ｗは、図１１の幾何学的関係より式（１）のように求められる。
Ｗ［ｍｍ］＝２Ｌ＊ｔａｎ（θ／２） ……（１）

さらに、Ｘ方向の画像サイズをＸｐｉｘとすると、１ピクセル面積Ｓｐｉｘは式（２）のように求められる。
Ｓｐｉｘ［ｍｍ＾２］＝［Ｗ／Ｘｐｉｘ］＾２ ……（２）

面積算出部１７は、Ｓｐｉｘに、Ｓ１０７で構成された閉曲線が示す褥瘡２１の領域に相当する領域のピクセル数を乗算することで、領域の特定された褥瘡領域の面積を算出する。

Ｓ１０９において、画像形成部１８は、Ｓ１０７で得られた閉曲線の領域に半透明のオブジェクトで重畳し、さらにＳ１０８で得られた面積の値を示す情報を付加した一つの画像を形成する。図１２には、画像形成部１８が形成した画像の一例を示している。画像形成部１８は、褥瘡の画像２０に対して、Ｓ１０７において再構成された閉曲線の領域を半透明のオブジェクト１２０１でオーバーレイする。さらに、面積の値を１２０２として、褥瘡の画像に付加する（重畳する）。

Ｓ１１０において、表示制御部１９は、Ｓ１０９で形成した画像を表示装置４に送信し、表示装置４に表示させる。

以上説明したように、上述の実施形態によれば、機械学習における学習済モデルを用いて入力画像内の推定対象の領域を推定したうえで、当該入力画像から抽出されるエッジ上の位置を用いて推定された推定対象の領域を補正するようにした。このようにすることで、（褥瘡のように）機械学習によって推定する推定対象が一般的でなく、推定対象に関する学習用の画像数が少ない場合であっても、特定の対象について精度のよい領域分割を行うことができる。また、機械学習の手法によって推定された領域をエッジ上の位置を用いて補正する際に、推定された領域の境界上の位置と対応付けられるエッジ上の位置との位置関係に応じて、当該境界上の位置の少なくとも一部をエッジ上の位置で置き換えるようにした。このとき、学習済モデルを生成する際の推定対象に関する学習の程度が低いほど、エッジ上の点がより遠い位置関係にあっても補正（置き換え）を行うようにした。このようにすることで、推定対象に関する学習の程度が低いほど、エッジ抽出結果の優先度を高くすることができるようになる。すなわち、学習済モデルによる推定領域に対して局所的に境界位置を最適に補正することができる。

なお、上述の実施形態では、推定領域３１の閉曲線上の位置に制御点を配置する例を説明した。しかし、領域推定部１２の特性により推定領域３１の境界が複雑な形状（例えばギザギザするような形状）で出力される場合、推定領域３１の境界をやや平滑化した形状の閉曲線に修正したうえで当該閉曲線上に制御点を配置するようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２…計測モジュール、３…画像処理装置、１２…領域推定部、１３…エッジ抽出部、１４…制御点配置部、１５…閉曲線再構成部、１６…選択部、１７…面積算出部、１８…画像形成部、１９…表示制御部、２０…制御部

Claims

機械学習における学習済モデルを用いて、入力画像内における推定対象の領域を推定する推定手段と、
前記入力画像におけるエッジを抽出するエッジ抽出手段と、
前記推定された推定対象の領域を、前記抽出されたエッジ上の位置に基づいて補正する補正手段とを有し、
前記補正手段は、前記推定された推定対象の領域の境界上の位置の少なくとも一部を、該境界上の位置と対応付けられる前記抽出されたエッジ上の位置で置き換え、
前記補正手段は、更に、前記学習済モデルを生成する際の前記推定対象に関する学習の程度に応じて、前記抽出されたエッジ上の位置による置き換えの基準を異ならせる、ことを特徴とする画像処理装置。
前記補正手段は、前記推定された推定対象の領域の所定の範囲ごとの、前記推定された推定対象の領域の境界上にある第１の位置を前記第１の位置と対応付けられる前記抽出されたエッジ上の第２の位置と置き換えるか否かの判定に応じて、前記推定された推定対象の領域の境界上の位置の少なくとも一部を補正する、ことを特徴とする請求項１に記載の画像処理装置。
前記補正手段は、前記推定された推定対象の領域の境界上にある第１の位置と対応付けられる前記抽出されたエッジ上の第２の位置が、前記推定された推定対象の領域の境界上にある前記第１の位置から所定の距離の範囲内にある場合に、前記推定された推定対象の領域の境界上にある前記第１の位置を前記抽出されたエッジ上の前記第２の位置と置き換えると判定する、ことを特徴とする請求項１に記載の画像処理装置。
前記置き換えの基準は、前記推定された推定対象の領域の境界上にある第１の位置からの距離の範囲であり、
前記補正手段は、前記学習済モデルを生成する際の前記推定対象に関する学習の程度に応じて、前記距離の範囲を異ならせる、ことを特徴とする請求項１に記載の画像処理装置。
前記補正手段は、前記学習済モデルを生成する際の前記推定対象に関する学習の程度が低いほど前記距離の範囲を大きくする、ことを特徴とする請求項４に記載の画像処理装置。
前記推定対象に関する学習に用いる学習用データのサンプル数が少ないほど、前記推定対象に関する学習を行う際のイテレーション数が少ないほど、又は、前記学習済モデルの教師付データに対する正答率が低いほど、前記推定対象に関する学習の程度が低い、ことを特徴とする請求項５に記載の画像処理装置。
前記推定された推定対象の領域の境界上にある第１の位置と対応付けられる前記抽出されたエッジ上の第２の位置は、前記抽出されたエッジと、前記推定された推定対象の領域の境界上にある前記第１の位置と、前記推定された推定対象の領域内に定められる所定の点の位置とによって特定される、ことを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
前記推定対象の被写体距離と、前記入力画像を撮像した際の画角とを取得する取得手段と、
前記取得された前記被写体距離および前記画角と、前記補正された推定対象の領域とを用いて、前記推定対象の領域の実際の面積を算出する算出手段と、を更に有する、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
前記補正された推定対象の領域を表す情報を前記入力画像内の前記推定対象の領域に重畳した画像を生成する表示制御手段を更に有する、ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
前記推定対象の被写体距離と、前記入力画像を撮像した際の画角とを取得する取得手段と、
前記取得された前記被写体距離および前記画角と、前記補正された推定対象の領域とを用いて、前記推定対象の領域の実際の面積を算出する算出手段と、
前記補正された推定対象の領域を表す情報を、前記入力画像内の前記推定対象の領域に重畳すると共に、前記算出された実際の面積を表す情報を前記入力画像の所定の領域に表示するようにした画像を生成する表示制御手段と、を更に有することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
画像処理装置の制御方法であって、
機械学習における学習済モデルを用いて、入力画像内における推定対象の領域を推定する推定工程と、
前記入力画像におけるエッジを抽出するエッジ抽出工程と、
前記推定された推定対象の領域を、前記抽出されたエッジ上の位置に基づいて補正する補正工程とを有し、
前記補正工程では、前記推定された推定対象の領域の境界上の位置の少なくとも一部を、該境界上の位置と対応付けられる前記抽出されたエッジ上の位置で置き換え、
前記補正工程では、更に、前記学習済モデルを生成する際の前記推定対象に関する学習の程度に応じて、前記抽出されたエッジ上の位置による置き換えの基準を異ならせる、ことを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。