JPWO2021078823A5 - - Google Patents

Claims (13)

1. 画像内の特徴をセグメント化する方法であって、
   機械学習ベースのセグメンテーションプロセスを用いて前記画像の初期セグメンテーションを行うステップと、
   機械学習プロセスを用いて訓練されるモデルに、前記機械学習ベースのセグメンテーションプロセスによって生成されるセグメントを有する画像プロダクトを提供するステップであって、前記モデルは、ｉ）事例画像プロダクトと、ｉｉ）各事例画像プロダクトごとの対応するグランドトゥルース形状記述子と、を有する訓練データに基づいて、モデルベースのセグメンテーションを初期化するのに使用するための形状記述子を予測するように訓練される、ステップと、
   前記画像プロダクトに基づいて、前記モデルから前記画像内の前記特徴の形状記述子を受け取るステップと、
   前記画像のモデルベースのセグメンテーションにおいて前記形状記述子を使用して当該モデルベースのセグメンテーションを初期化し、前記画像内の前記特徴に反復的に適応されるターゲット構造のメッシュを使用するステップと、
   を有する方法。
2. 前記モデルベースのセグメンテーションにおいて前記形状記述子を使用する前記ステップが、前記形状記述子を使用して、前記モデルベースのセグメンテーションに関連付けられた平均モデルメッシュの形状を、前記機械学習ベースのセグメンテーションプロセスによって生成された前記セグメントの形状にアラインすることによって、前記モデルベースのセグメンテーションを初期化することを含む、請求項１に記載の方法。
3. 機械学習プロセスを使用して訓練された前記モデルが、回帰ニューラルネットワークを含む、請求項１又は２に記載の方法。
4. 機械学習プロセスを使用して訓練された前記モデルが、分類ニューラルネットワークを含み、前記形状記述子の出力される標示が離散値に区分される、請求項１乃至３のいずれか１項に記載の方法。
5. 前記モデルから前記形状記述子を受け取る前記ステップが、前記分類ニューラルネットワークから、区分された離散値に関連する区分要素を受け取ることを含み、前記区分要素が、前記画像内の前記特徴に関する前記形状記述子の上限又は下限を表す、請求項４に記載の方法。
6. 前記方法が更に、
   前記区分要素の重心を決定し、前記重心を前記特徴に関する前記形状記述子として使用すること、又は
   前記区分要素を中心とした分布のランダムサンプリングに基づいて前記形状記述子の推定値を決定し、前記形状記述子の推定値を、前記特徴に関する形状記述子として使用すること、
   のいずれかによって、前記区分要素から前記画像内の前記特徴に関する前記形状記述子を決定するステップを有する、請求項５に記載の方法。
7. 前記画像プロダクトが、前記画像の部分、又は前処理プロセスを経た前記画像の部分の一方を有する、請求項３、４、５又は６に記載の方法。
8. 前記形状記述子が、
   前記モデルベースのセグメンテーションの形状を初期化するために使用され得る１又は複数の重み又は固有値、
   前記モデルベースのセグメンテーションにおける頂点のオフセット、及び／又は
   前記メッシュに適用されるアフィン変換
   を含む、請求項１乃至７のいずれか１項に記載の方法。
9. 画像内の特徴をセグメント化するためのセグメンテーションプロセスにおいて使用される機械学習モデルを訓練する方法であって、
   訓練データを取得するステップであって、前記訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像の初期セグメンテーションにおいて行われる機械学習ベースのセグメンテーションプロセスによって生成されるセグメントを有する該事例画像プロダクトと、ｉｉ）各事例画像プロダクト内の特徴に対しモデルベースのセグメンテーションを初期化するのに使用するための対応するグランドトゥルース形状記述子と、を有する、ステップと、
   前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記機械学習モデルを訓練するステップであって、前記新しい形状記述子は、それぞれの新しい画像のモデルベースのセグメンテーションを初期化するのに使用される、ステップと、
   を有する方法。
10. 前記方法が更に、前記訓練データ内のグランドトゥルース形状記述子の値を、前記グランドトゥルース形状記述子の上限又は下限を表す離散値に区分するステップを有し、
    前記新しい画像プロダクトの新しい形状記述子を予測するように前記機械学習モデルを訓練する前記ステップが、前記訓練データに基づいて、新しい画像プロダクトのための形状記述子の区分値を予測するように前記機械学習モデルを訓練することを含む、請求項９に記載の方法。
11. 画像内の特徴をセグメント化するシステムであって、
    命令セットを表す命令データを含むメモリと、
    前記メモリと通信し、前記命令セットを実行するように構成されるプロセッサと、を有し、
    前記命令セットは、前記プロセッサによって実行される場合、前記プロセッサに、
    機械学習ベースのセグメンテーションプロセスを用いて前記画像の初期セグメンテーションを行うステップと、
    前記機械学習ベースのセグメンテーションプロセスによって生成されるセグメントを有する画像プロダクトを、機械学習プロセスを用いて訓練されたモデルに提供するステップであって、前記モデルは、ｉ）事例画像プロダクトと、ｉｉ）各事例画像プロダクトの対応するグランドトゥルース形状記述子と、を有する訓練データに基づいて、モデルベースのセグメンテーションを初期化するのに使用するための形状記述子を予測するように訓練されている、ステップと、
    前記画像プロダクトに基づいて、前記モデルから、前記画像内の前記特徴の前記形状記述子を受け取るステップと、
    前記画像のモデルベースのセグメンテーションにおいて前記形状記述子を使用して前記モデルベースのセグメンテーションを初期化し、前記画像内の特徴に反復的に適応されるターゲット構造のメッシュを使用するステップと、
    を実行させる、システム。
12. 画像内の特徴をセグメント化するセグメンテーションプロセスで使用される機械学習モデルを訓練するシステムであって、
    命令セットを表す命令データを含むメモリと、
    前記メモリと通信し、前記命令セットを実行するように構成されるプロセッサと、
    を有し、前記命令セットは、前記プロセッサによって実行される場合、前記プロセッサに、
    訓練データを取得するステップであって、前記訓練データが、ｉ）事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像の初期セグメンテーションにおいて行われる機械学習ベースのセグメンテーションプロセスによって生成されるセグメントを有する該事例画像プロダクトと、ｉｉ）各事例画像プロダクトにおける特徴に対しモデルベースのセグメンテーションを初期化するのに使用するための対応するグランドトゥルース形状記述子と、を有する、ステップと、
    前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記機械学習モデルを訓練するステップであって、前記新しい形状記述子は、それぞれの新しい画像のモデルベースのセグメンテーションを初期化するのに使用される、ステップと、
    を実行させる、システム。
13. コンピュータ可読媒体であって、その中に具体化されたコンピュータ可読コードを有し、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、前記コンピュータ又はプロセッサに、請求項１乃至９のいずれか１項に記載の方法を実行させる、コンピュータ可読媒体。