JP2023504957A - 歯画像の処理方法、装置、電子機器、記憶媒体及びプログラム - Google Patents
歯画像の処理方法、装置、電子機器、記憶媒体及びプログラム Download PDFInfo
- Publication number
- JP2023504957A JP2023504957A JP2021576347A JP2021576347A JP2023504957A JP 2023504957 A JP2023504957 A JP 2023504957A JP 2021576347 A JP2021576347 A JP 2021576347A JP 2021576347 A JP2021576347 A JP 2021576347A JP 2023504957 A JP2023504957 A JP 2023504957A
- Authority
- JP
- Japan
- Prior art keywords
- tooth
- pixel
- instance
- image
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本願の実施例は、歯画像の処理方法、装置、電子機器、記憶媒体及びプログラムに関する。前記方法は、処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得ることであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、ことと、前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得ることと、を含む。このように、本願の実施例において、歯と背景を区別するだけでなく、異なる歯の歯インスタンスの分割結果を区別して歯の位置決めを行うこともでき、歯の位置決めの正確性を向上させることができる。
Description
(関連出願の相互参照)
本願は、2020年11月10日に提出された、出願番号が202011246718.0であり、発明名称が「歯画像の処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、2020年11月10日に提出された、出願番号が202011246718.0であり、発明名称が「歯画像の処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、コンピュータビジョン技術分野に関し、特に歯画像の処理方法、装置、電子機器、記憶媒体及びプログラムに関する。
コーンビームコンピュータ断層撮影(Cone Beam Computed Tomography:CBCT)は、三次元映像を得る方法である。コンピュータ断層撮影(Computed Tomography:CT)に比べて、CBCTは、放射線量が小さく、走査時間が短く、画像空間解像度が高いなどの利点を有し、歯科分野において、ますます広く用いられている。CBCT画像に対して、歯の自動的な位置決めを行うことは、歯科分野に対して重大な意義を有する。
本願の実施例は少なくとも、歯画像の処理方法、装置、電子機器、記憶媒体及びプログラムを提供する。
本願の実施例は、歯画像の処理方法を提供する。前記方法は、電子機器により実行され、前記方法は、
処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得ることであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、ことと、
前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得ることと、を含む。このように、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得て、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得ることによって、歯と背景を区別するだけでなく、異なる歯の歯インスタンスの分割結果を区別して歯の位置決めを行うこともでき、歯の位置決めの正確性を向上させることができる。
処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得ることであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、ことと、
前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得ることと、を含む。このように、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得て、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得ることによって、歯と背景を区別するだけでなく、異なる歯の歯インスタンスの分割結果を区別して歯の位置決めを行うこともでき、歯の位置決めの正確性を向上させることができる。
本願の幾つかの実施例において、処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得ることは、前記処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、前記処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得ることと、前記複数の歯インスタンスに含まれる複数の画素集合の予測結果に基づいて、前記処理対象画像の歯インスタンスの分割結果を得ることと、を含む。このように、処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得て、複数の歯インスタンスに含まれる複数の画素集合の予測結果に基づいて、処理対象画像の歯インスタンスの分割結果を得ることによって、正確な歯インスタンスの分割結果を得て、CBCT画像における雑音干渉があり、歯限界が不明瞭であり、歯根と顎骨の階調値が近いなどの複雑な状況に効果的に対処することができる。
本願の幾つかの実施例において、前記処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、前記処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得ることは、前記処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測することであって、前記処理待ち画素は、前記処理対象画像における、いずれか1つの歯インスタンスに属するかと予測されていない画素を表し、前記目標歯インスタンスは、現在予測されている歯インスタンスを表す、ことと、前記目標歯インスタンスの中心画素の座標に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測し、前記目標歯インスタンスに含まれる画素集合の予測結果を得ることと、を含む。このように、処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測し、目標歯インスタンスの中心画素の座標に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測し、目標歯インスタンスに含まれる画素集合の予測結果を得ることによって、得られるいずれか1つの歯インスタンスに含まれる画素の予測結果の正確性を向上させることができる。
本願の幾つかの実施例において、前記処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測することは、前記処理対象画像の複数の処理待ち画素から、歯インスタンス中心に位置する確率が最も大きい第1画素を決定することと、前記第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、前記第1画素を前記目標歯インスタンスの中心画素として予測することと、を含む。このように、処理対象画像の複数の処理待ち画素から、歯インスタンス中心に位置する確率が最も大きい第1画素を決定し、第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測することによって、歯インスタンスの中心画素を比較的正確に決定することができ、それにより正確な歯インスタンスの分割に寄与する。
本願の幾つかの実施例において、前記第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、前記第1画素を前記目標歯インスタンスの中心画素として予測することは、複数の前記処理待ち画素のうち、前記歯インスタンス中心に位置する確率が前記第1所定値以上である画素の数が第2所定値以上であり、且つ前記第1画素が前記歯インスタンス中心に位置する確率が前記第1所定値以上である場合、前記第1画素を目標歯インスタンスの中心画素として予測することを含む。このように、複数の処理待ち画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数が第2所定値以上であり、且つ第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、前記第1画素を目標歯インスタンスの中心画素として予測し、第1画素に基づいて、引き続き予測を行い、複数の処理待ち画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数が第2所定値未満である場合、予測を停止することができる。これにより予測の効率及び正確性を向上させることができる。
本願の幾つかの実施例において、前記目標歯インスタンスの中心画素の座標に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測することは、複数の前記処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定することであって、前記第2画素は、複数の前記処理対象画像のうちのいずれか1つの画素を表し、前記第2画素によって指し示される歯インスタンス中心の予測座標は、前記第2画素に基づいて予測される、前記第2画素が属する歯インスタンスの中心画素の座標を表す、ことと、前記第2画素によって指し示される歯インスタンス中心の予測座標及び前記目標歯インスタンスの中心画素の座標に基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測することと、前記第2画素が前記目標歯インスタンスの中心に属する確率に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測することと、を含む。このように、複数の処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定し、第2画素によって指し示される歯インスタンス中心の予測座標及び目標歯インスタンスの中心画素の座標に基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測し、第2画素が目標歯インスタンスの中心に属する確率に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測することによって、複数の処理待ち画素から、目標歯インスタンスに属する画素を正確に予測することができる。
本願の幾つかの実施例において、複数の前記処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定することは、複数の前記処理待ち画素のうちの第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量を決定することと、前記第2画素の座標及び前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量に基づいて、前記第2画素によって指し示される歯インスタンス中心の予測座標を決定することと、を含む。このように、第2画素の座標及び第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量に基づいて、第2画素によって指し示される歯インスタンス中心の予測座標を決定することによって、比較的正確な、第2画素によって指し示される歯インスタンス中心の予測座標を得ることができる。
本願の幾つかの実施例において、前記第2画素によって指し示される歯インスタンス中心の予測座標及び前記目標歯インスタンスの中心画素の座標に基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測することは、前記目標歯インスタンスに対応するクラスタリングパラメータを予測することであって、前記クラスタリングパラメータは、前記目標歯インスタンスの中心画素の予測座標の離散度合を表すためのものである、ことと、前記第2画素によって指し示される歯インスタンス中心の予測座標、前記目標歯インスタンスの中心画素の座標及び前記目標歯インスタンスに対応するクラスタリングパラメータに基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測することと、を含む。このように、目標歯インスタンスに対応するクラスタリングパラメータを予測し、第2画素によって指し示される歯インスタンス中心の予測座標、目標歯インスタンスの中心画素の座標及び目標歯インスタンスに対応するクラスタリングパラメータに基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測することによって、本願の幾つかの実施例において、予測される、第2画素が目標歯インスタンスの中心に属する確率の正確性を向上させることができる。
本願の幾つかの実施例において、前記方法は、前記処理対象画像を第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量、前記第2画素が属する歯インスタンスのクラスタリングパラメータ、及び前記第2画素が歯インスタンス中心に位置する確率を得ることを更に含む。このように、第1ニューラルネットワークにより、処理対象画像を処理することによって、得られる予測オフセット量、クラスタリングパラメータ及び画素が歯インスタンス中心に位置する確率の正確性を向上させることができ、予測オフセット量、クラスタリングパラメータ及び画素が歯インスタンス中心に位置する確率を得る速度を向上させることができる。
本願の幾つかの実施例において、前記第1ニューラルネットワークは、第1デコーダと、第2デコーダと、を含み、前記処理対象画像を第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量、前記第2画素が属する歯インスタンスのクラスタリングパラメータ、及び前記第2画素が歯インスタンス中心に位置する確率を得ることは、前記処理対象画像を第1ニューラルネットワークに入力し、前記第1デコーダにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量及び前記第2画素が属する歯インスタンスのクラスタリングパラメータを得て、前記第2デコーダにより、前記第2画素が歯インスタンス中心に位置する確率を得ることを含む。このように、本願の幾つかの実施例において、得られる予測オフセット量、クラスタリングパラメータ及び画素が歯インスタンス中心に位置する確率の正確性を向上させることができる。
本願の幾つかの実施例において、前記処理対象画像を第1ニューラルネットワークに入力する前に、前記方法は、訓練画像を前記第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記訓練画像における第3画素から前記第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、前記第1歯インスタンスに対応するクラスタリングパラメータ及び前記第3画素が歯インスタンス中心に位置する確率を得ることであって、前記第3画素は、前記訓練画像におけるいずれか1つの画素を表し、前記第1歯インスタンスは、前記第3画素が属する歯インスタンスを表す、ことと、前記第3画素の座標及び前記第3画素から前記第1歯インスタンスの中心画素までの予測オフセット量に基づいて、前記第3画素によって指し示される歯インスタンス中心の予測座標を決定することであって、前記第3画素によって指し示される歯インスタンス中心の予測座標は、前記第3画素に基づいて予測された前記第1歯インスタンスの中心画素の座標を表す、ことと、前記第3画素によって指し示される歯インスタンス中心の予測座標、前記第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標、及び前記第1歯インスタンスに対応するクラスタリングパラメータに基づいて、前記第3画素が前記第1歯インスタンスの中心に属する確率を決定することと、前記第3画素が歯インスタンス中心に位置する確率、前記第3画素が前記第1歯インスタンスの中心に属する確率、及び前記第3画素が歯内部に属する真値に基づいて、前記第1ニューラルネットワークを訓練することと、を更に含む。このように、第1ニューラルネットワークを訓練することによって、第1ニューラルネットワークに、歯画像における異なる歯インスタンスを分割する能力を学習させることができる。該実現方式で訓練された第1ニューラルネットワークを用いて歯インスタンスの分割を行うことによって、複雑な場面において、安定した正確な歯インスタンスの分割結果を得ることができる。例えば、CBCT画像における歯の階調分布が不均一であり、歯境界が不明瞭であり、非一般的な形態の歯があり、歯内の低密度影があるなどの状況に対応することができる。
本願の幾つかの実施例において、前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得ることは、前記歯インスタンスの分割結果における第2歯インスタンスに含まれる画素が属する歯位置カテゴリを予測することであって、前記第2歯インスタンスは、前記歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、ことと、前記第2歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、前記第2歯インスタンスが属する歯位置カテゴリを決定することと、を含む。このように、歯インスタンスの分割結果における第2歯インスタンスに含まれる画素が属する歯位置カテゴリを予測し、第2歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、第2歯インスタンスが属する歯位置カテゴリを決定することによって、前記第2歯インスタンスが属する歯位置カテゴリを正確に決定することができる。
本願の幾つかの実施例において、処理対象画像に対して歯インスタンスの分割を行う前に、前記方法は、分割対象画像を第1解像度にダウンサンプリングし、第1画像を得ることと、前記第1画像に基づいて、前記処理対象画像を得ることと、を更に含み、前記処理対象画像の歯インスタンスの分割結果を得た後、前記方法は、前記分割対象画像に基づいて、第2画像を得ることであって、前記第2画像の解像度は、第2解像度であり、前記第2解像度は、前記第1解像度よりも高い、ことと、前記歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、前記第2画像から、前記第3歯インスタンスに対応する画像を切り出すことであって、前記第3歯インスタンスは、前記歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、ことと、前記第3歯インスタンスに対応する画像に対して分割を行い、前記第2解像度における前記第3歯インスタンスの分割結果を得ることと、を更に含む。このように、まず、低い解像度で、歯インスタンスの分割及び歯の位置決めを迅速に行うことができ、各歯インスタンスの、高い解像度での分割結果を得ることができる。
本願の幾つかの実施例において、処理対象画像に対して歯インスタンスの分割を行う前に、前記方法は、分割対象画像に基づいて、上下歯の分割を行い、前記分割対象画像における関心領域を決定することと、前記関心領域に基づいて、前記分割対象画像に対してトリミングを行い、前記処理対象画像を得ることと、を更に含む。このように、得られる処理対象画像は、分割対象画像における大部分の歯情報を保持することができ、且つ分割対象画像における大部分の無関係な情報(例えば、背景情報)を除去することができ、それにより後続の歯インスタンスの分割、歯の位置決めなどの効率及び正確性に寄与する。
下記装置、電子機器などの効果に関する記述は、上記方法に関する説明を参照する。
本願の実施例は、歯画像の処理装置を更に提供する。前記装置は、
処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得るように構成される歯インスタンスの分割モジュールであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、歯インスタンスの分割モジュールと、
前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得るように構成される歯の位置決めモジュールと、を備える。
処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得るように構成される歯インスタンスの分割モジュールであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、歯インスタンスの分割モジュールと、
前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得るように構成される歯の位置決めモジュールと、を備える。
本願の幾つかの実施例において、前記歯インスタンスの分割モジュールは、前記処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、前記処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得て、前記複数の歯インスタンスに含まれる複数の画素集合の予測結果に基づいて、前記処理対象画像の歯インスタンスの分割結果を得るように構成される。
本願の幾つかの実施例において、前記歯インスタンスの分割モジュールは、前記処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測し、前記処理待ち画素は、前記処理対象画像における、いずれか1つの歯インスタンスに属するかと予測されていない画素を表し、前記目標歯インスタンスは、現在予測されている歯インスタンスを表し、前記目標歯インスタンスの中心画素の座標に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測し、前記目標歯インスタンスに含まれる画素集合の予測結果を得るように構成される。
本願の幾つかの実施例において、前記歯インスタンスの分割モジュールは、前記処理対象画像の複数の処理待ち画素から、歯インスタンス中心に位置する確率が最も大きい第1画素を決定し、前記第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、前記第1画素を前記目標歯インスタンスの中心画素として予測するように構成される。
本願の幾つかの実施例において、前記歯インスタンスの分割モジュールは、複数の前記処理待ち画素のうち、前記歯インスタンス中心に位置する確率が前記第1所定値以上である画素の数が第2所定値以上であり、且つ前記第1画素が前記歯インスタンス中心に位置する確率が前記第1所定値以上である場合、前記第1画素を目標歯インスタンスの中心画素として予測するように構成される。
本願の幾つかの実施例において、前記歯インスタンスの分割モジュールは、複数の前記処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定し、前記第2画素は、複数の前記処理対象画像のうちのいずれか1つの画素を表し、前記第2画素によって指し示される歯インスタンス中心の予測座標は、前記第2画素に基づいて予測される、前記第2画素が属する歯インスタンスの中心画素の座標を表し、前記第2画素によって指し示される歯インスタンス中心の予測座標及び前記目標歯インスタンスの中心画素の座標に基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測し、前記第2画素が前記目標歯インスタンスの中心に属する確率に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測するように構成される。
本願の幾つかの実施例において、前記歯インスタンスの分割モジュールは、複数の前記処理待ち画素のうちの第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量を決定し、前記第2画素の座標及び前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量に基づいて、前記第2画素によって指し示される歯インスタンス中心の予測座標を決定するように構成される。
本願の幾つかの実施例において、前記歯インスタンスの分割モジュールは、前記目標歯インスタンスに対応するクラスタリングパラメータを予測し、前記クラスタリングパラメータは、前記目標歯インスタンスの中心画素の予測座標の離散度合を表すためのものであり、前記第2画素によって指し示される歯インスタンス中心の予測座標、前記目標歯インスタンスの中心画素の座標及び前記目標歯インスタンスに対応するクラスタリングパラメータに基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測するように構成される。
本願の幾つかの実施例において、前記装置は、
前記処理対象画像を第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量、前記第2画素が属する歯インスタンスのクラスタリングパラメータ、及び前記第2画素が歯インスタンス中心に位置する確率を得るように構成される第1予測モジュールを更に備える。
前記処理対象画像を第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量、前記第2画素が属する歯インスタンスのクラスタリングパラメータ、及び前記第2画素が歯インスタンス中心に位置する確率を得るように構成される第1予測モジュールを更に備える。
本願の幾つかの実施例において、前記第1ニューラルネットワークは、第1デコーダと、第2デコーダと、を含み、
前記第1予測モジュールは、前記処理対象画像を第1ニューラルネットワークに入力し、前記第1デコーダにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量及び前記第2画素が属する歯インスタンスのクラスタリングパラメータを得て、前記第2デコーダにより、前記第2画素が歯インスタンス中心に位置する確率を得るように構成される。
前記第1予測モジュールは、前記処理対象画像を第1ニューラルネットワークに入力し、前記第1デコーダにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量及び前記第2画素が属する歯インスタンスのクラスタリングパラメータを得て、前記第2デコーダにより、前記第2画素が歯インスタンス中心に位置する確率を得るように構成される。
本願の幾つかの実施例において、前記装置は、
訓練画像を前記第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記訓練画像における第3画素から前記第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、前記第1歯インスタンスに対応するクラスタリングパラメータ及び前記第3画素が歯インスタンス中心に位置する確率を得るように構成される第2予測モジュールであって、前記第3画素は、前記訓練画像におけるいずれか1つの画素を表し、前記第1歯インスタンスは、前記第3画素が属する歯インスタンスを表す、第2予測モジュールと、
前記第3画素の座標及び前記第3画素から前記第1歯インスタンスの中心画素までの予測オフセット量に基づいて、前記第3画素によって指し示される歯インスタンス中心の予測座標を決定するように構成される第1決定モジュールであって、前記第3画素によって指し示される歯インスタンス中心の予測座標は、前記第3画素に基づいて予測された前記第1歯インスタンスの中心画素の座標を表す、第1決定モジュールと、
前記第3画素によって指し示される歯インスタンス中心の予測座標、前記第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標、及び前記第1歯インスタンスに対応するクラスタリングパラメータに基づいて、前記第3画素が前記第1歯インスタンスの中心に属する確率を決定するように構成される第2決定モジュールと、
前記第3画素が歯インスタンス中心に位置する確率、前記第3画素が前記第1歯インスタンスの中心に属する確率、及び前記第3画素が歯内部に属する真値に基づいて、前記第1ニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
訓練画像を前記第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記訓練画像における第3画素から前記第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、前記第1歯インスタンスに対応するクラスタリングパラメータ及び前記第3画素が歯インスタンス中心に位置する確率を得るように構成される第2予測モジュールであって、前記第3画素は、前記訓練画像におけるいずれか1つの画素を表し、前記第1歯インスタンスは、前記第3画素が属する歯インスタンスを表す、第2予測モジュールと、
前記第3画素の座標及び前記第3画素から前記第1歯インスタンスの中心画素までの予測オフセット量に基づいて、前記第3画素によって指し示される歯インスタンス中心の予測座標を決定するように構成される第1決定モジュールであって、前記第3画素によって指し示される歯インスタンス中心の予測座標は、前記第3画素に基づいて予測された前記第1歯インスタンスの中心画素の座標を表す、第1決定モジュールと、
前記第3画素によって指し示される歯インスタンス中心の予測座標、前記第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標、及び前記第1歯インスタンスに対応するクラスタリングパラメータに基づいて、前記第3画素が前記第1歯インスタンスの中心に属する確率を決定するように構成される第2決定モジュールと、
前記第3画素が歯インスタンス中心に位置する確率、前記第3画素が前記第1歯インスタンスの中心に属する確率、及び前記第3画素が歯内部に属する真値に基づいて、前記第1ニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
本願の幾つかの実施例において、前記歯の位置決めモジュールは、前記歯インスタンスの分割結果における第2歯インスタンスに含まれる画素が属する歯位置カテゴリを予測し、前記第2歯インスタンスは、前記歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表し、前記第2歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、前記第2歯インスタンスが属する歯位置カテゴリを決定するように構成される。
本願の幾つかの実施例において、前記装置は、
分割対象画像を第1解像度にダウンサンプリングし、第1画像を得て、前記第1画像に基づいて、前記処理対象画像を得るように構成されるダウンサンプリングモジュールと、
前記分割対象画像に基づいて、第2画像を得るように構成される第3決定モジュールであって、前記第2画像の解像度は、第2解像度であり、前記第2解像度は、前記第1解像度よりも高い、第3決定モジュールと、
前記歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、前記第2画像から、前記第3歯インスタンスに対応する画像を切り出すように構成される第1トリミングモジュールであって、前記第3歯インスタンスは、前記歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、第1トリミングモジュールと、
前記第3歯インスタンスに対応する画像に対して分割を行い、前記第2解像度における前記第3歯インスタンスの分割結果を得るように構成される第1分割モジュールと、を更に備える。
分割対象画像を第1解像度にダウンサンプリングし、第1画像を得て、前記第1画像に基づいて、前記処理対象画像を得るように構成されるダウンサンプリングモジュールと、
前記分割対象画像に基づいて、第2画像を得るように構成される第3決定モジュールであって、前記第2画像の解像度は、第2解像度であり、前記第2解像度は、前記第1解像度よりも高い、第3決定モジュールと、
前記歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、前記第2画像から、前記第3歯インスタンスに対応する画像を切り出すように構成される第1トリミングモジュールであって、前記第3歯インスタンスは、前記歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、第1トリミングモジュールと、
前記第3歯インスタンスに対応する画像に対して分割を行い、前記第2解像度における前記第3歯インスタンスの分割結果を得るように構成される第1分割モジュールと、を更に備える。
本願の幾つかの実施例において、前記装置は、
分割対象画像に基づいて、上下歯の分割を行い、前記分割対象画像における関心領域を決定するように構成される第2分割モジュールと、
前記関心領域に基づいて、前記分割対象画像に対してトリミングを行い、前記処理対象画像を得るように構成される第2トリミングモジュールと、を更に備える。
分割対象画像に基づいて、上下歯の分割を行い、前記分割対象画像における関心領域を決定するように構成される第2分割モジュールと、
前記関心領域に基づいて、前記分割対象画像に対してトリミングを行い、前記処理対象画像を得るように構成される第2トリミングモジュールと、を更に備える。
本願の実施例は、電子機器を更に提供する。前記電子機器は、1つ又は複数のプロセッサと、実行可能な命令を記憶するように構成されるメモリと、を備え、前記1つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出し、上記方法を実行するように構成される。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。
本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器のプロセッサは、上記いずれか1つの実施例に記載の画像ターゲット分割方法を実行する。
本願の実施例で提供される歯画像の処理方法、装置、機器、記憶媒体及びプログラムは、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得て、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得ることによって、歯と背景を区別するだけでなく、異なる歯の歯インスタンスの分割結果を区別して歯の位置決めを行うこともでき、歯の位置決めの正確性を向上させることができる。
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の実施例の技術的解決手段を解釈するために用いられる。
本願の実施例による歯画像の処理方法の適用場面を示す概略図である。
本願の実施例による歯画像の処理方法を示すフローチャートである。
本願の実施例による処理対象画像の歯インスタンスの分割結果を示す概略図である。
本願の実施例による歯画像の処理方法を適用できるシステムアーキテクチャを示す概略図である。
本願の実施例による高輝度アーチファクトと欠歯が存在するCBCT横断面画像を示す概略図である。
本願の実施例による歯画像の処理装置600を示すブロック図である。
本願の実施例による電子機器700を示すブロック図である。
本願の実施例による電子機器1900を示すブロック図である。
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
ここで使用した「例示的」という用語は、「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
本明細書において、用語「及び/又は」は、関連対象の関連関係を説明するためのものであり、3通りの関係が存在することを表す。例えば、A及び/又はBは、Aのみが存在すること、AとBが同時に存在すること、Bのみが存在するという3つのケースを表す。また、本明細書において、用語「少なくとも1つ」は、複数のうちのいずれか1つ又は複数のうちの少なくとも2つの任意の組み合わせを表す。例えば、A、B、Cのうちの少なくとも1つを含むことは、A、B及びCからなる集合から選ばれるいずれか1つ又は複数の要素を含むことを表す。
なお、本願の実施例をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本願の実施例の主旨を明確にするために、幾つかの実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
関連技術において、CBCT画像は、現代歯科分野、特に歯科において、ますます広く用いられている。臨床的診断、歯修復、インプラント材料の製造などの工程において、医者は、診断を行い、個別化医療案を決定するために、正確な歯の三次元形態などの幾何的情報を利用する必要がある。アルゴリズムにより、患者の歯の解剖学的情報及び歯位置情報を自動的に得ることによって、医者の読影効率を向上させると同時に、歯の修復材料の製造のために情報を提供することができる。従って、CBCT画像に基づく自動的な歯分割及び歯位置決定アルゴリズムは、臨床において重大な意義を有する。CBCT画像に、雑音干渉が存在し、歯境界が不明瞭であり、歯根と顎骨の階調値が近いなどの要因が存在するため、歯に対する正確な分割に、多くの困難が存在する。それと同時に、異なる患者に、異なる欠歯、インプラント体又は残根などの状況があるため、歯位置に対する自動的な判定も解決しにくい問題である。
なお、歯科医による手動描画に依存する歯三次元モデルの取得方法は、大量の時間を必要とし、しかも偶発的誤差が存在する。閾値に基づく方法は、CBCT画像における歯の階調分布が不均一であり、境界が不明瞭であるという問題を処理しにくい。インタラクティブ的な分割方法は、手作業を必要とし、非一般的な形態があり、境界が不明瞭である歯に対処しにくい。レベル集合に基づく自動分割方法は、初期化に対して敏感であり、しかも歯の異なる部位で分割境界の決定を自己適応的に行うことが困難である。動的輪郭モデルに基づく方法は、好適な初期化曲線を決定する必要もあり、不明瞭な歯境界、歯内の低密度部位の映像など状況に対する効果が好ましくない。従って、従来のアルゴリズム設計が一般的に対処できる状況が限られており、複雑な場面において安定して実行して好適な効果を得ることが困難である。近年では、深層学習方法の台頭に伴い、深層学習方法を歯分割における作業に用いてきた。これらの方法は一般的には、正常な歯サンプルに基づいてモデルの訓練と試験を行う。しかしながら、実際に、臨床において、患者の歯形態、欠歯、歯修復、インプラントの状況が複雑であり、従来の方法は、このような場面において、理想的な効果を得ることができない。
上記と類似する技術的課題を解決するために、本願の実施例は、歯画像の処理方法、装置、電子機器、記憶媒体及びプログラムを提供する。処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得て、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得ることによって、歯と背景を区別するだけでなく、異なる歯の歯インスタンスの分割結果を区別して歯の位置決めを行うこともでき、歯の位置決めの正確性を向上させることができる。
以下では、具体的な適用場面を参照しながら、本願の実施例で提供される歯画像の処理方法を説明する。図1は、本願の実施例による歯画像の処理方法の適用場面を示す概略図である。図1に示すように、まず、分割対象画像101(即ち、オリジナルデータ)を取得することができる。分割対象画像を取得した後、分割対象画像に基づいて、上下歯の分割を行い、分割対象画像における歯関心領域を決定することができ、即ち102を実行する。それと同時に、分割対象画像を第1解像度にダウンサンプリングし、低い空間解像度における第1画像を得ることができ、即ち103を実行する。関心領域に基づいて、第1画像に対してトリミングを行い、処理対象画像を得て、即ち104を実行する。次に、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得て、即ち105を実行する。処理対象画像の歯インスタンスの分割結果を得た後、処理対象画像における片側の歯(例えば、右側歯)に対して歯位置分類(即ち、歯の位置決め)を行い、続いて、処理対象画像を左右反転した後、他方側の歯(例えば、左側歯)に対して歯位置分類を行い、処理対象画像の歯の位置決め結果を得ることができ、即ち106を実行する。更に、歯の位置決め結果を得た後、分割画像に基づいて、第2画像を得ることができ、即ち107を実行する。第2画像の解像度は、第2解像度であり、第2解像度は、第1解像度よりも高い。続いて、歯の位置決め結果におけるいずれか1つの歯インスタンスの中心画素の座標に基づいて、第2画像から、該歯インスタンスに対応する画像を切り出し、即ち108を実行する。該歯インスタンスに対応する画像に対して単一歯分割を行い、第2解像度における該歯インスタンスの分割結果を得て出力することができ、即ち109を実行する。それにより、各歯インスタンスの、高い解像度での分割結果を得ることができる。
以下では、図面を参照しながら、本願の実施例で提供される歯画像の処理方法を詳しく説明する。
図2は、本願の実施例による歯画像の処理方法を示すフローチャートである。本願の幾つかの実施例において、歯画像の処理方法は、端末機器、サーバ又は他の処理機器により実行されてもよい。端末機器は、ユーザ装置(User Equipment:UE)、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント(Personal Digital Assistant:PDA)、ハンドヘルドデバイス、コンピューティングデバイス、車載機器又はウェアブル機器などであってもよい。本願の幾つかの実施例において、歯画像の処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図2に示すように、歯画像の処理方法は、ステップS21からステップS22を含む。
ステップS21において、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得る。
ここで、1つの歯インスタンスは、1本の歯に対応し、歯インスタンスの分割結果は、処理対象画像における画素が属する歯インスタンスの情報を含む。
本願の幾つかの実施例において、処理対象画像は、処理する必要がある歯画像を指すことができる。歯画像は、少なくとも一部の歯情報を含む画像を表すことができる。処理対象画像は、CBCT画像であってもよい。CBCT画像は、コーンビームコンピュータ断層撮影機器などの機器により収集されてもよい。無論、処理対象画像は、CT画像又は歯情報を含む他の画像であってもよく、ここで限定しない。処理対象画像は、三次元画像又は二次元画像であってもよい。例えば、処理対象画像は、三次元のCBCT画像であってもよい。
本願の幾つかの実施例において、歯インスタンスの分割は、異なる歯を分割することを指すことができる。即ち、歯インスタンスの分割により、歯と背景を区別することができるだけでなく、異なる歯を区別することもできる。処理対象画像に対して歯インスタンスの分割を行うことは、処理対象画像における異なる歯を分割し、処理対象画像における各歯に含まれる画素集合を得ることを指すことができる。
本願の幾つかの実施例において、歯インスタンスの分割結果において、処理対象画像における画素が属する歯インスタンスの情報は、カテゴリで表されてもよい。例えば、処理対象画像に32個の歯インスタンスが含まれ、その場合、歯インスタンスの分割結果は、33個のカテゴリを含んでもよく、それらはそれぞれ、32個の歯インスタンスカテゴリ及び背景カテゴリである。いずれか1つの歯インスタンスカテゴリは、1つの歯インスタンスに対応し、背景カテゴリは、歯内部に属しないことを表す。歯インスタンスの分割結果において、処理対象画像におけるいずれか1つの画素は、33個のカテゴリのうちのいずれか1つのカテゴリに属してもよい。
本願の幾つかの実施例において、歯インスタンスの分割結果は、画像、テーブル、行列などのデータ形式で表わされてもよく、処理対象画像における画素が属する歯インスタンスの情報を表すことができるものであればよい。本願の実施例はこれを限定しない。図3は、本願の実施例による処理対象画像の歯インスタンスの分割結果を示す概略図である。図3において、処理対象画像における、歯内部に属しない(即ち、背景部分に属する)画素の画素値は、0であり、異なる歯インスタンスに属する画素の画素値の階調値は異なり、同一の歯インスタンスに属する画素の画素値は同じである。
ステップS22において、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得る。
本願の幾つかの実施例において、歯の位置決めは、歯インスタンスが属する歯位置の情報を決定することと、処理対象画像における画素が属する歯位置の情報を決定することと、のうちの少なくとも1つを指すことができる。即ち、歯インスタンスの分割結果に基づいて、歯の位置決めを行うことによって、処理対象画像における各歯インスタンスがそれぞれどの歯位置に属するかを決定することができる。歯の位置決め結果は、処理対象画像における歯インスタンスが属する歯位置の情報と、処理対象画像における画素が属する歯位置の情報との、うちの少なくとも1つを含んでもよい。
本願の幾つかの実施例において、歯の位置決め結果は、国際歯科連盟(
Dentaire Internationale:FDI)の歯位置表記法で表記されてもよい。該FDI歯位置表記法も国際標準化機構(International Organization for Standardization:ISO)-3950表記法とも呼ばれる。他の可能な実現形態において、歯の位置決め結果は、部位記録法(Palmer歯位置表記法)、汎用記録法(Universal Numbering System:UNS)などの歯位置表記法で表記されてもよい。
Dentaire Internationale:FDI)の歯位置表記法で表記されてもよい。該FDI歯位置表記法も国際標準化機構(International Organization for Standardization:ISO)-3950表記法とも呼ばれる。他の可能な実現形態において、歯の位置決め結果は、部位記録法(Palmer歯位置表記法)、汎用記録法(Universal Numbering System:UNS)などの歯位置表記法で表記されてもよい。
本願の幾つかの実施例において、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得て、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得ることによって、歯と背景を区別するだけでなく、異なる歯の歯インスタンスの分割結果を区別して歯の位置決めを行うこともでき、歯の位置決めの正確性を向上させることができる。本願の実施例は、まず、歯インスタンスの分割を行い、続いて、歯インスタンスの分割結果に基づいて、歯の位置決めを行うことによって、異なる歯形態、欠歯、インプラント体などの複雑な状況に対して、いずれも比較的正確な歯の位置決め結果を得ることができる。
図4は、本願の実施例の歯画像の処理方法を適用できるシステムアーキテクチャを示す概略図である。図4に示すように、該システムアーキテクチャに、画像取得端末401と、ネットワーク402と、歯画像の処理端末403と、が備えられる。例示的なアプリケーションを実現するために、画像取得端末401と歯画像の処理端末403は、ネットワーク402を介して通信接続を確立し、画像取得端末401は、ネットワーク402を経由して、歯画像の処理端末403に処理対象画像を送信し、歯画像の処理端末403は、処理対象画像に応答して、歯インスタンスの分割モデル及び歯の位置決めモデルを利用して、処理対象画像に対して歯インスタンスの分割及び歯の位置決めを行い、処理対象画像の歯の位置決め結果を得る。最後に、歯画像の処理端末403は、処理対象画像の歯の位置決め結果をネットワーク402にアップロードし、ネットワークを経由して、画像取得端末401に送信する。
例として、画像取得端末401は、画像収集機器を備えてもよく、歯画像の処理端末403は、ビジョン情報処理能力を有するビジョン処理機器又はリモートサーバを備えてもよい。ネットワーク402は、有線又は無線接続方式を用いることができる。歯画像の処理端末403がビジョン処理機器である場合、画像取得端末401は、有線接続の方式で、ビジョン処理機器と通信接続することができ、例えば、バスを介してデータ通信を行う。歯画像の処理端末403がリモートサーバである場合、画像取得端末401は、無線ネットワークを経由して、リモートサーバとデータインタラクションを行うことができる。
又は、幾つかの場面において、画像取得端末401は、画像収集モジュールを持つビジョン処理機器であってもよく、具体的には、カメラを持つホストとして実現される。この場合、本願の実施例の歯画像の処理方法は、画像取得端末401により実行されてもよく、上記システムアーキテクチャは、ネットワーク402及び歯画像の処理端末403を含まなくてもよい。
本願の幾つかの実施例において、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得ることは、処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得ることと、複数の歯インスタンスに含まれる複数の画素集合の予測結果に基づいて、処理対象画像の歯インスタンスの分割結果を得ることと、を含む。
本願の幾つかの実施例において、いずれか1つの歯インスタンスに属する画素集合は、該歯インスタンスに含まれる画素の集合を表すことができる。処理対象画像の複数の画素から、異なる歯インスタンスに属する画素を順に予測し、処理対象画像における複数の歯インスタンスに含まれる画素集合を得ることができる。例えば、まず、1番目の歯インスタンスに属する画素集合を予測し、1番目の歯インスタンスに属する画素集合の予測を完了した後、2番目の歯インスタンスに属する画素集合を予測し、2番目の歯インスタンスに属する画素集合の予測を完了した後、3番目の歯インスタンスに属する画素集合を予測する。このように類推する。即ち、該実現形態において、1回当たり、1の歯インスタンスのみに対して予測を行うことができる。
本願の幾つかの実施例において、いずれか1つの歯インスタンスに含まれる画素集合の予測結果は、予測された、該歯インスタンスに属する画素の情報を含んでもよい。例えば、予測された、該歯インスタンスに属する画素の座標を含んでもよい。
本願の幾つかの実施例において、処理対象画像の複数の画素から、各歯インスタンスに属する画素集合を順に予測し、処理対象画像における各歯インスタンスに含まれる画素集合の予測結果を得て、各歯インスタンスに含まれる画素集合の予測結果に基づいて、処理対象画像の歯インスタンスの分割結果を得ることができる。無論、他の例において、各歯インスタンスに属する画素集合を予測する必要がなく、処理対象画像の複数の画素のみから、一部の歯インスタンスに属する画素集合を予測してもよい。
本願の幾つかの実施例において、いずれか1つの歯インスタンスに含まれる画素集合の予測結果は、該歯インスタンスに対応する予測マスク(mask)で表されてもよい。該歯インスタンスに対応する予測マスクのサイズは、処理対象画像と同じであってもよい。該歯インスタンスに対応する予測マスクにおいて、予測された、該歯インスタンスに属する画素の画素値は、予測された、該歯インスタンスに属しない画素の画素値と異なる。例えば、該歯インスタンスに対応する予測マスクにおいて、予測された、該歯インスタンスに属する画素の画素値が1であり、予測された、該歯インスタンスに属しない画素の画素値が0である。無論、テーブル、行列などのデータ形式で、いずれか1つの歯インスタンスに含まれる画素集合の予測結果を表すこともできる。
CBCT画像に、雑音干渉が存在し、歯境界が不明瞭であり、歯根と顎骨の階調値が近いなどの要因が存在するため、歯に対する正確な分割に、多くの困難が存在する。本願の幾つかの実施例において、処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得て、複数の歯インスタンスに含まれる複数の画素集合の予測結果に基づいて、処理対象画像の歯インスタンスの分割結果を得ることによって、正確な歯インスタンスの分割結果を得て、CBCT画像における雑音干渉があり、歯限界が不明瞭であり、歯根と顎骨の階調値が近いなどの複雑な状況に効果的に対処することができる。
本願の幾つかの実施例において、異なる歯インスタンスに対して並行して予測を行うこともできる。例えば、各歯インスタンスに属する画素集合を同時に予測し、処理対象画像における各歯インスタンスに含まれる画素集合の予測結果を得て、更に、各歯インスタンスに含まれる画素集合の予測結果に基づいて、処理対象画像の歯インスタンスの分割結果を得ることができる。
本願の幾つかの実施例において、処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得ることは、処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測することであって、処理待ち画素は、処理対象画像における、いずれか1つの歯インスタンスに属するかと予測されていない画素を表し、目標歯インスタンスは、現在予測されている歯インスタンスを表す、ことと、目標歯インスタンスの中心画素の座標に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測し、目標歯インスタンスに含まれる画素集合の予測結果を得ることと、を含む。
本願の幾つかの実施例において、いずれか1つの歯インスタンスの予測が実行されていない場合、処理対象画像の全ての画素から、目標歯インスタンスの中心画素を予測することができる。即ち、いずれか1つの歯インスタンスの予測が実行されていない場合、処理対象画像の全ての画素をいずれも処理待ち画素とすることができる。いずれか1つの歯インスタンスに属する画素集合の予測を完了した後に、処理対象画像の複数の処理待ち画素から、次の歯インスタンス(即ち、目標歯インスタンス)の中心画素を予測することができる。
本願の幾つかの実施例において、いずれか1つの歯インスタンスに属すると予測された画素集合は、予測された該歯インスタンスの中心画素、及び該歯インスタンスに属すると予測された他の画素(即ち、非中心画素)を含む。
本願の幾つかの実施例において、処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測し、目標歯インスタンスの中心画素の座標に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測し、目標歯インスタンスに含まれる画素集合の予測結果を得ることによって、得られるいずれか1つの歯インスタンスに含まれる画素の予測結果の正確性を向上させることができる。
本願の幾つかの実施例において、処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測することは、処理対象画像の複数の処理待ち画素から、歯インスタンス中心に位置する確率が最も大きい第1画素を決定することと、第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測することと、を含んでもよい。
本願の幾つかの実施例において、処理対象画像の画素iが歯インスタンス中心に位置する確率は、siと記されてもよい。
該例において、第1画素は、複数の処理待ち画素のうちの、歯インスタンス中心に位置する確率が最も大きい画素を表す。
本願の幾つかの実施例において、第1所定値は、0.5であってもよい。無論、当業者は、実際の適用場面に応じて、第1所定値を柔軟に設定することができ、ここで、限定しない。
該例において、処理対象画像の複数の処理待ち画素から、歯インスタンス中心に位置する確率が最も大きい第1画素を決定し、第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測することによって、歯インスタンスの中心画素を比較的正確に決定することができ、それにより正確な歯インスタンスの分割に寄与する。
本願の幾つかの実施例において、第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測することは、複数の処理待ち画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数が第2所定値以上であり、且つ第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測することを含む。該例において、複数の処理待ち画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数は、処理対象画像における、いずれか1つの歯インスタンスに属するかと予測されていない画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数を表す。該例において、1本の歯に含まれる画素の数の平均値又は経験値に基づいて、第2所定値を決定することができる。例えば、第2所定値は、32であってもよい。無論、当業者は、実際の適用場面の需要と経験との少なくとも1つに基づいて、第2所定値を柔軟に決定することもできる。ここで、限定しない。該例において、複数の処理待ち画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数が第2所定値以上であり、且つ第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測し、第1画素に基づいて、引き続き予測を行い、複数の処理待ち画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数が第2所定値未満である場合、予測を停止することができる。これにより予測の効率及び正確性を向上させることができる。
本願の幾つかの実施例において、目標歯インスタンスの中心画素の座標に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測することは、複数の処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定することであって、第2画素は、複数の処理対象画像のうちのいずれか1つの画素を表し、第2画素によって指し示される歯インスタンス中心の予測座標は、第2画素に基づいて予測される、第2画素が属する歯インスタンスの中心画素の座標を表す、ことと、第2画素によって指し示される歯インスタンス中心の予測座標及び目標歯インスタンスの中心画素の座標に基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測することと、第2画素が目標歯インスタンスの中心に属する確率に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測することと、を含んでもよい。
本願の幾つかの実施例において、第2画素が画素iである場合、第2画素によって指し示される歯インスタンス中心の予測座標は、eiと記されてもよい。
本願の幾つかの実施例において、第2画素によって指し示される歯インスタンス中心の予測座標と目標歯インスタンスの中心画素の座標との差に基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測することができる。例えば、第2画素が画素iであり、第2画素によって指し示される歯インスタンス中心の予測座標がeiであり、目標歯インスタンスの中心画素の座標が
であり、この場合、第2画素によって指し示される歯インスタンス中心の予測座標と目標歯インスタンスの中心画素の座標との差は、
で表されてもよい。
であり、この場合、第2画素によって指し示される歯インスタンス中心の予測座標と目標歯インスタンスの中心画素の座標との差は、
で表されてもよい。
該例において、第2画素が目標歯インスタンスの中心に属する確率は、第2画素によって指し示される歯インスタンス中心の予測座標と目標歯インスタンスの中心画素の座標との距離と逆相関してもよい。即ち、第2画素によって指し示される歯インスタンス中心の予測座標と目標歯インスタンスの中心画素の座標との距離が小さいほど、第2画素が目標歯インスタンスの中心に属する確率が大きくなる。第2画素によって指し示される歯インスタンス中心の予測座標と目標歯インスタンスの中心画素の座標との距離が大きいほど、第2画素が目標歯インスタンスの中心に属する確率が小さくなる。
該例において、第2画素が目標歯インスタンスの中心に属する確率が大きいほど、第2画素が目標歯インスタンスに属する確率が大きくなる。第2画素が目標歯インスタンスの中心に属する確率が小さいほど、第2画素が目標歯インスタンスに属する確率が小さくなる。
本願の幾つかの実施例において、第2画素が目標歯インスタンスの中心に属する確率が第4所定値よりも大きい場合、第2画素を目標歯インスタンスに属すると予測することができ、即ち、目標歯インスタンスに属する画素集合が第2画素を含むと予測することができる。第2画素が目標歯インスタンスの中心に属する確率が第4所定値以下である場合、第2画素を目標歯インスタンスに属しないと予測することができ、即ち、目標歯インスタンスに属する画素集合が第2画素を含まないと予測することができる。例えば、第4所定値は、0.5であってもよい。無論、当業者は、実際の適用場面の需要に応じて第4所定値を柔軟に設定することができる。ここで、限定しない。
該例において、複数の処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定し、第2画素によって指し示される歯インスタンス中心の予測座標及び目標歯インスタンスの中心画素の座標に基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測し、第2画素が目標歯インスタンスの中心に属する確率に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測することによって、複数の処理待ち画素から、目標歯インスタンスに属する画素を正確に予測することができる。
一例において、複数の処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定することは、複数の処理待ち画素のうちの第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量を決定することと、第2画素の座標及び第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量に基づいて、第2画素によって指し示される歯インスタンス中心の予測座標を決定することと、を含んでもよい。
該例において、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量は、第2画素の座標と第2画素が属する歯インスタンスの中心画素の座標との予測座標差を表すことができる。例えば、第2画素の座標は、xiと記されてもよく、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量は、oiと記されてもよい。
本願の幾つかの実施例において、予測オフセット量が、第2画素が属する歯インスタンスの中心画素の座標と第2画素の座標との予測座標差である場合、第2画素の座標と予測オフセット量との和を第2画素によって指し示される歯インスタンス中心の予測座標として決定することができる。例えば、第2画素によって指し示される歯インスタンス中心の予測座標は、eiと記されてもよい。ei=xi+oiである。
本願の別の幾つかの実施例において、予測オフセット量が第2画素の座標と第2画素が属する歯インスタンスの中心画素の座標との予測座標差である場合、第2画素の座標と予測オフセット量との差を第2画素によって指し示される歯インスタンス中心の予測座標として決定することができる。
該例において、複数の処理待ち画素のうちの第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量を決定し、第2画素の座標及び第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量に基づいて、第2画素によって指し示される歯インスタンス中心の予測座標を決定することによって、比較的正確な、第2画素によって指し示される歯インスタンス中心の予測座標を得ることができる。
一例において、第2画素によって指し示される歯インスタンス中心の予測座標及び目標歯インスタンスの中心画素の座標に基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測することは、目標歯インスタンスに対応するクラスタリングパラメータを予測することであって、クラスタリングパラメータは、目標歯インスタンスの中心画素の予測座標の離散度合を表すためのものである、ことと、第2画素によって指し示される歯インスタンス中心の予測座標、目標歯インスタンスの中心画素の座標及び目標歯インスタンスに対応するクラスタリングパラメータに基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測することと、を含んでもよい。
該例において、目標歯インスタンスに対応するクラスタリングパラメータは、目標歯インスタンスの中心画素の予測座標の離散度合を表すことができる任意のパラメータであってもよい。本願の幾つかの実施例において、目標歯インスタンスに対応するクラスタリングパラメータは、目標歯インスタンスの中心画素の予測座標の標準偏差を表すことができる。該例において、目標歯インスタンスに対応するクラスタリングパラメータは、σと記されてもよい。本願の別の幾つかの実施例において、目標歯インスタンスに対応するクラスタリングパラメータは、目標歯インスタンスの中心画素の予測座標の分散を表すことができる。該例において、目標歯インスタンスに対応するクラスタリングパラメータは、σ2と記されてもよい。本願の別の幾つかの実施例において、目標歯インスタンスに対応するクラスタリングパラメータは、目標歯インスタンスの中心画素の予測座標の分散と逆相関してもよい。例えば、目標歯インスタンスに対応するクラスタリングパラメータは、1/2σ2であってもよい。
該例において、異なる歯インスタンスに対応するクラスタリングパラメータは、異なってもよい。各歯インスタンスに対して、対応するクラスタリングパラメータをそれぞれ予測することができる。
本願の幾つかの実施例において、第2画素が目標歯インスタンスの中心に属する確率は、
であってもよい。exp(x)は、eのx乗を表す。目標歯インスタンスに対応するクラスタリングパラメータ1/2σ2により、得られた、第2画素が目標歯インスタンスの中心に属する確率を[0,1]の範囲内にすることができる。
であってもよい。exp(x)は、eのx乗を表す。目標歯インスタンスに対応するクラスタリングパラメータ1/2σ2により、得られた、第2画素が目標歯インスタンスの中心に属する確率を[0,1]の範囲内にすることができる。
該例において、目標歯インスタンスに対応するクラスタリングパラメータを予測し、第2画素によって指し示される歯インスタンス中心の予測座標、目標歯インスタンスの中心画素の座標及び目標歯インスタンスに対応するクラスタリングパラメータに基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測することによって、本願の幾つかの実施例において、予測される、第2画素が目標歯インスタンスの中心に属する確率の正確性を向上させることができる。
本願の幾つかの実施例において、前記方法は、処理対象画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量、第2画素が属する歯インスタンスのクラスタリングパラメータ、及び第2画素が歯インスタンス中心に位置する確率を得ることを更に含む。例えば、該例において、第1ニューラルネットワークにより、処理対象画像における各画素から該画素が属する歯インスタンスの中心画素までの予測オフセット量、処理対象画像における各歯インスタンスのクラスタリングパラメータ及び処理対象画像における各画素が歯インスタンス中心に位置する確率を得ることができる。無論、第1ニューラルネットワークは、処理対象画像における一部の画素のみに対して処理を行うこともできる。ここで、限定しない。該例において、第1ニューラルネットワークにより、処理対象画像に対して処理を行うことによって、得られる予測オフセット量、クラスタリングパラメータ及び画素が歯インスタンス中心に位置する確率の正確性を向上させることができ、予測オフセット量、クラスタリングパラメータ及び画素が歯インスタンス中心に位置する確率を得る速度を向上させることができる。
本願の幾つかの実施例において、第1ニューラルネットワークは、第1デコーダと、第2デコーダと、を含み、処理対象画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量、第2画素が属する歯インスタンスのクラスタリングパラメータ、及び第2画素が歯インスタンス中心に位置する確率を得ることは、処理対象画像を第1ニューラルネットワークに入力し、第1デコーダにより、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量及び第2画素が属する歯インスタンスのクラスタリングパラメータを得て、第2デコーダにより、第2画素が歯インスタンス中心に位置する確率を得ることを含む。該例により、本願の幾つかの実施例において、得られる予測オフセット量、クラスタリングパラメータ及び画素が歯インスタンス中心に位置する確率の正確性を向上させることができる。
一例において、処理対象画像を第1ニューラルネットワークに入力する前に、前記方法は、訓練画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、訓練画像における第3画素から第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、第1歯インスタンスに対応するクラスタリングパラメータ及び第3画素が歯インスタンス中心に位置する確率を得ることであって、第3画素は、訓練画像におけるいずれか1つの画素を表し、第1歯インスタンスは、第3画素が属する歯インスタンスを表す、ことと、第3画素の座標及び第3画素から第1歯インスタンスの中心画素までの予測オフセット量に基づいて、第3画素によって指し示される歯インスタンス中心の予測座標を決定することであって、第3画素によって指し示される歯インスタンス中心の予測座標は、第3画素に基づいて予測された第1歯インスタンスの中心画素の座標を表す、ことと、第3画素によって指し示される歯インスタンス中心の予測座標、第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標及び第1歯インスタンスに対応するクラスタリングパラメータに基づいて、第3画素が第1歯インスタンスの中心に属する確率を決定することと、第3画素が歯インスタンス中心に位置する確率、第3画素が第1歯インスタンスの中心に属する確率、及び第3画素が歯内部に属する真値に基づいて、第1ニューラルネットワークを訓練することと、を更に含んでもよい。
該例において、訓練画像は、三次元画像又は二次元画像であってもよい。例えば、訓練画像は、三次元画像であり、訓練画像のサイズは、(D,H,W)であり、例えば、D=112、H=128、W=144である。
例えば、第1歯インスタンスは、Skと記されてもよく、第1歯インスタンスの中心画素は、ckと記されてもよく、kは、歯インスタンスの番号を表す。第3画素が画素iであり、第3画素の座標がxiである場合、第3画素から第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量は、oi=ck-xiであってもよい。訓練画像が三次元画像である場合、xiは、第3画素のx軸座標、y軸座標及びz軸座標を含んでもよく、第3画素から第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量は、第3画素から第3画素が属する第1歯インスタンスの中心画素までのx軸予測オフセット量、y軸予測オフセット量及びz軸予測オフセット量を含んでもよい。
該例において、第1ニューラルネットワークにより、訓練画像における各画素からそれが属する歯インスタンスの中心画素までの予測オフセット量を得ることができ、それにより(3,D,H,W)のオフセット量行列を得ることができる。
該例において、第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標に基づいて、第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標の平均値を得ることができる。例えば、第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標の平均値は、
で表されてもよく、ejは、第1歯インスタンスに属する画素jによって指し示される歯インスタンス中心の予測座標を表し、|Sk|は、第1歯インスタンスに属する画素の総数を表す。
で表されてもよく、ejは、第1歯インスタンスに属する画素jによって指し示される歯インスタンス中心の予測座標を表し、|Sk|は、第1歯インスタンスに属する画素の総数を表す。
例えば、第3画素によって指し示される歯インスタンス中心の予測座標及び第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標に基づいて、第3画素が第1歯インスタンスの中心に属する確率を決定することは、第1歯インスタンスに属する各画素によって指し示される歯インスタンス中心の予測座標の平均値を決定することと、第3画素によって指し示される歯インスタンス中心の予測座標と平均値との差に基づいて、第3画素が第1歯インスタンスの中心に属する確率を決定することと、を含んでもよい。
本願の幾つかの実施例において、第1ニューラルネットワークは、クロスエントロピー損失関数などの損失関数により訓練されてもよい。例えば、第3画素が画素iであり、第3画素が歯インスタンス中心に位置する確率は、Siと記されてもよく、第3画素が第1歯インスタンスの中心に属する確率は、φk(i)と記されてもよく、第1ニューラルネットワークを訓練するための損失関数が
で表されてもよい。Si∈Skは、第3画素が歯内部に属することを表し、即ち、第3画素が歯内部に属する真値は、第3画素が歯内部に属することである。Si∈bgは、第3画素が歯内部に属しないことを表し、即ち、第3画素が歯内部に属する真値は、第3画素が歯内部に属しないことであり、即ち、第3画素が背景部分に属することである。Nは、処理対象画像における画素の総数を表す。
で表されてもよい。Si∈Skは、第3画素が歯内部に属することを表し、即ち、第3画素が歯内部に属する真値は、第3画素が歯内部に属することである。Si∈bgは、第3画素が歯内部に属しないことを表し、即ち、第3画素が歯内部に属する真値は、第3画素が歯内部に属しないことであり、即ち、第3画素が背景部分に属することである。Nは、処理対象画像における画素の総数を表す。
上記例により第1ニューラルネットワークを訓練することによって、第1ニューラルネットワークに、歯画像における異なる歯インスタンスを分割する能力を学習させることができる。該例で訓練された第1ニューラルネットワークを用いて歯インスタンスの分割を行うことによって、複雑な場面において、安定した正確な歯インスタンスの分割結果を得ることができる。例えば、CBCT画像における歯の階調分布が不均一であり、歯境界が不明瞭であり、非一般的な形態の歯があり、歯内の低密度影があるなどの状況に対応することができる。
本願の幾つかの実施例において、訓練画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、訓練画像における第3画素から第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、第1歯インスタンスに対応するクラスタリングパラメータ、及び第3画素が歯インスタンス中心に位置する確率を得ることは、訓練画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークの第1デコーダにより、訓練画像における第3画素から第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量及び第1歯インスタンスに対応するクラスタリングパラメータを得て、第1ニューラルネットワークの第2デコーダにより、第3画素が歯インスタンス中心に位置する確率を得ることを含む。本願の幾つかの実施例において、第1ニューラルネットワークは、Encoder-Decoder構造を用いる。具体的なネットワークアーキテクチャについて、ここで、限定しない。
本願の幾つかの実施例において、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得ることは、歯インスタンスの分割結果における第2歯インスタンスに含まれる画素が属する歯位置カテゴリを予測することであって、第2歯インスタンスは、歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、ことと、第2歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、第2歯インスタンスが属する歯位置カテゴリを決定することと、を含む。
本願の幾つかの実施例において、画素が属する歯位置カテゴリを予測するための第2ニューラルネットワークを予め訓練し、歯インスタンスの分割結果を第2ニューラルネットワークに入力し、又は、歯インスタンスの分割結果及び処理対象画像を第2ニューラルネットワークに入力し、第2ニューラルネットワークにより、歯インスタンスの分割結果における各歯インスタンスに含まれる画素が属する歯位置カテゴリを得ることができ、それにより、歯インスタンスの分割結果における各歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、歯インスタンスの分割結果における各歯インスタンスが属する歯位置カテゴリを決定する。第2ニューラルネットワークは、U-Netなどの構造を用いることができる。ここで、限定しない。
本願の幾つかの実施例において、第2ニューラルネットワークは、片側歯に対して分類を行うために用いることができる。例えば、第2ニューラルネットワークは、右側歯に対して分類を行うために用いることができる。例えば、第2ニューラルネットワークは、入力画像を18個のカテゴリに分けるために用いることができる。該18個のカテゴリはそれぞれ右側の16個の歯位置カテゴリ、左側歯及び背景部分である。即ち、第2ニューラルネットワークは、入力画像における各画素がそれぞれ該18個のカテゴリのうちのどのカテゴリに属するかを決定するために用いることができ、それにより、右側歯の歯位置カテゴリを得ることができる。入力画像に対して左右反転を行った後に第2ニューラルネットワークに入力することによって、右側歯の歯位置カテゴリを得ることができる。該例において、第2ニューラルネットワークを、片側歯に対して分類するように訓練することによって、第2ニューラルネットワークの訓練の難度を低減させることができる。
本願の幾つかの実施例において、第2歯インスタンスに含まれる各画素が属する歯位置カテゴリのうち、出現回数が最も多い歯位置カテゴリを第2歯インスタンスが属する歯位置カテゴリとすることができる。例えば、第2歯インスタンスに100個の画素が含まれ、そのうちの80個の画素が属する歯位置カテゴリが歯位置34であり、10個の画素が属する歯位置カテゴリが歯位置33であり、10個の画素が属する歯カテゴリが歯位置35である場合、第2歯インスタンスが属する歯位置カテゴリが歯位置34であると決定することができる。
本願の幾つかの実施例において、歯インスタンスの分割結果における第2歯インスタンスに含まれる画素が属する歯位置カテゴリを予測し、第2歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、第2歯インスタンスが属する歯位置カテゴリを決定することによって、前記第2歯インスタンスが属する歯位置カテゴリを正確に決定することができる。
本願の幾つかの実施例において、処理対象画像に対して歯インスタンスの分割を行う前に、前記方法は、分割対象画像を第1解像度にダウンサンプリングし、第1画像を得ることと、第1画像に基づいて、処理対象画像を得ることと、を更に含み、処理対象画像の歯インスタンスの分割結果を得た後、前記方法は、分割対象画像に基づいて、第2画像を得ることであって、第2画像の解像度は、第2解像度であり、第2解像度は、第1解像度よりも高い、ことと、歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、第2画像から、第3歯インスタンスに対応する画像を切り出すことであって、第3歯インスタンスは、歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、ことと、第3歯インスタンスに対応する画像に対して分割を行い、第2解像度における第3歯インスタンスの分割結果を得ることと、を更に含む。
本願の幾つかの実施例において、分割対象画像は、分割されるべき歯画像を表すことができる。
本願の幾つかの実施例において、分割対象画像は、三次元画像であってもよく、例えば、分割対象画像は、三次元CBCT画像であってもよく、分割対象画像の解像度は、0.2mm×0.2mm×0.2mm又は0.3mm×0.3mm×0.3mmなどであってもよく、縦横高さは、(453×755×755)又は(613×681×681)などであってもよい。第1解像度は、空間解像度であってもよい。例えば、第1解像度は、0.6mm×0.6mm×0.6mmであってもよい。該実現例の別の例として、分割対象画像は、二次元画像であってもよい。
本願の幾つかの実施例において、第1画像に対して正規化を行い、第1正規化画像を得て、第1正規化画像に対してトリミングを行い、処理対象画像を得ることができる。例えば、処理対象画像のサイズは、(112,128,144)であってもよい。
本願の幾つかの実施例において、所定の区間に基づいて、第1画像の画素値を正規化し、第1正規化画像を得ることができる。所定の区間に基づいて、第1画像の画素値を正規化することは、第1画像における第4画素に対して、第4画素の画素値が所定の区間の下境界値未満である場合、第4画素の正規化値が0であると決定することであって、第4画素は、第1画像におけるいずれか1つの画素を表す、ことと、第4画素の画素値が所定の区間の下境界値以上であり、且つ所定の区間の上境界値以下である場合、第4画素の画素値と下境界値との差を決定し、差と区間の長さとの比を第4画素の正規化値として決定することと、第4画素の画素値が上境界値よりも大きい場合、第4画素の正規化値が1であると決定することと、を含んでもよい。例えば、所定の区間は、[-1000,1500]であり、画素iの画素値は、μである。μ<-1000である場合、画素iの正規化値が0であると決定する。-1000≦μ≦1500であると、(μ-(-1000))/2500を画素iの正規化値として決定する。μが1500よりも大きい場合、画素iの正規化値が1であると決定する。所定の区間に基づいて、第1画像の画素値を正規化することによって、得られた正規化画像における画素値を区間[0,1]内にすることができる。
本願の幾つかの実施例において、分割対象画像を第2解像度にダウンサンプリングし、第2画像を得ることができる。本願の幾つかの実施例において、分割対象画像を第2画像とすることができる。該例において、分割対象画像の解像度は、第2解像度である。例えば、第2解像度は、0.2mm×0.2mm×0.2mmであってもよい。
本願の幾つかの実施例において、第2画像を得た後、第2画像に対して正規化を行い、第2正規化画像を得ることができる。歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、第2画像から、第3歯インスタンスに対応する画像を切り出すことは、歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、第2正規化画像から、第3歯インスタンスに対応する画像を切り出すことを含んでもよい。
本願の幾つかの実施例において、歯インスタンスの分割結果における第3歯インスタンスの中心画素の所在位置を幾何的中心として、第2画像から、第3歯インスタンスに対応する画像を切り出すことができる。即ち、該例において、第3歯インスタンスに対応する画像の幾何的中心は、歯インスタンスの分割結果における第3歯インスタンスの中心画素の所在位置であってもよい。例えば、第3歯インスタンスに対応する画像のサイズは、(176,112,96)であってもよい。無論、他の例において、第3歯インスタンスに対応する画像の幾何的中心は、歯インスタンスの分割結果における第3歯インスタンスの中心画素の所在位置ではなくてもよい。
本願の幾つかの実施例において、第3歯インスタンスに対応する画像を第3ニューラルネットワークに入力し、第3ニューラルネットワークにより、第3歯インスタンスに対応する画像に対して分割を行い、第2解像度における第3歯インスタンスの分割結果を得ることができる。例えば、第3ニューラルネットワークは、U-Netなどのアーキテクチャを用いることができる。
本願の幾つかの実施例において、まず、低い解像度で、歯インスタンスの分割及び歯の位置決めを迅速に行うことができ、各歯インスタンスの、高い解像度での分割結果を得ることができる。
本願の幾つかの実施例において、処理対象画像に対して歯インスタンスの分割を行う前に、前記方法は、分割対象画像に基づいて、上下歯の分割を行い、分割対象画像における関心領域を決定することと、関心領域に基づいて、分割対象画像に対してトリミングを行い、処理対象画像を得ることと、を更に含む。
本願の幾つかの実施例において、分割対象画像に基づいて、第3画像を得て、第3画像に基づいて、上下歯の分割を行い、分割対象画像における関心領域を決定することができる。本願の幾つかの実施例において、分割対象画像を第3解像度にダウンサンプリングし、第3画像を得ることができる。例えば、第3解像度は、0.2mm×0.2mm×0.2mmであってもよい。本願の別の幾つかの実施例において、分割対象画像を第3画像とすることができる。本願の幾つかの実施例において、第3画像の画素値に対して正規化を行い、第3正規化画像を得て、第3正規化画像に対して上下歯の分割を行い、分割対象画像における関心領域を決定することができる。本願の別の幾つかの実施例において、第3画像に対して上下歯の分割を行い、分割対象画像における関心領域を決定することができる。
本願の幾つかの実施例において、第4ニューラルネットワークを用いて、冠状軸又は矢状軸に沿って、即ち、横断面又は矢状面から、第3正規化画像の二次元(2 Dimensions:2D)スライスに対して、層ずつ上下歯の分割を行い、第3正規化画像の各層の二次元スライスの関心領域を得て、第3正規化画像の各層の二次元スライスの関心領域に基づいて、第3正規化画像の関心領域を得ることができる。例えば、第4ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。横断面及び矢状面上の歯境界が明瞭であり、分割が容易である。例えば、第3正規化画像の各層の二次元スライスの関心領域を再び組み合わせて、第3正規化画像の関心領域を得ることができる。また例えば、第3正規化画像の各層の二次元スライスの関心領域を再び組み合わせて関心のある三次元領域を得た後、該関心のある三次元領域におけるサイズが第3所定値未満である連結領域を除去し、第3正規化画像の関心領域を得ることができる。該関心のある三次元領域におけるサイズが第3所定値未満である連結領域を除去することによって、画像雑音が分割結果に及ぼす影響を減少させることができ、分割結果を最適化することができる。例えば、第3所定値は、150mm3であってもよい。
本願の幾つかの実施例において、分割対象画像を第1解像度にダウンサンプリングし、第1画像を得て、関心領域に基づいて、第1画像に対してトリミングを行い、処理対象画像を得ることができる。例えば、トリミングにより得られた処理対象画像は、関心領域を含んでもよい。また例えば、関心領域の幾何的中心を処理対象画像の幾何的中心とし、所定のサイズを処理対象画像のサイズとし、トリミングを行い、処理対象画像を得ることができる。例えば、所定のサイズは、(112,128,144)であってもよい。
該実施例により得られる処理対象画像は、分割対象画像における大部分の歯情報を保持することができ、且つ分割対象画像における大部分の無関係な情報(例えば、背景情報)を除去することができ、それにより後続の歯インスタンスの分割、歯の位置決めなどの効率及び正確性に寄与する。
本願の実施例におけるニューラルネットワークは、U-Netなどのアーキテクチャを用いることができる。ここで、限定しない。本願の幾つかの実施例において、ニューラルネットワークの畳み込みブロックは、残差モジュールで構成されてもよい。本願の幾つかの実施例において、ニューラルネットワークのエンコーダとデコーダの両部分にデュアルアテンション(Dual Attention)モジュールを引き入れることができる。
本願の実施例で提供される歯画像の処理方法によれば、画像に欠歯、高輝度アーチファクトなどが存在する場合にも、正確な歯の位置決め結果を得ることができ、医者の読影効率の向上に寄与する。例えば、医者が患者の歯のCBCT画像を分析する効率の向上に寄与し、例えば、医者による読影を支援し、欠歯の歯位置の判定を容易にすることができる。図5は、本願の実施例による高輝度アーチファクトと欠歯が存在するCBCT横断面画像を示す概略図である。図5におけるaは、高輝度アーチファクトが存在するCBCT横断面画像を示す概略図である。それと同時に、図5におけるbは、欠歯が存在するCBCT横断面画像を示す概略図である。
本願の実施例は、正確な歯の位置決め結果を提供することによって、歯修復インプラント材料の製造などの工程のために正確な歯位置情報を提供することもできる。本願の実施例は、機器、ソフトウェアメーカーなどのために、歯インスタンスの分割結果と歯の位置決め結果とのうちの少なくとも1つを提供することもでき、機器、ソフトウェアメーカーは、本願の実施例で提供される歯インスタンスの分割結果と歯の位置決め結果とのうちの少なくとも1つに基づいて、細かく分析を行うことができる。例えば、本願の実施例で提供される歯インスタンスの分割結果と歯の位置決め結果とのうちの少なくとも1つに基づいて、歯列弓曲線を得ることができる。
本願の実施例で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。具体的な実施形態の上記方法において、各ステップの実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
なお、本願の実施例は、歯画像の処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願の実施例で提供されるいずれか1つの歯画像の処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。
図6は、本願の実施例による歯画像の処理装置60を示すブロック図である。図6に示すように、歯画像の処理装置60は、
処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得るように構成される歯インスタンスの分割モジュール61であって、ここで、1つの歯インスタンスは、1本の歯に対応し、歯インスタンスの分割結果は、処理対象画像における画素が属する歯インスタンスの情報を含む、歯インスタンスの分割モジュール61と、
歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得るように構成される歯の位置決めモジュール62と、を備える。
処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得るように構成される歯インスタンスの分割モジュール61であって、ここで、1つの歯インスタンスは、1本の歯に対応し、歯インスタンスの分割結果は、処理対象画像における画素が属する歯インスタンスの情報を含む、歯インスタンスの分割モジュール61と、
歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得るように構成される歯の位置決めモジュール62と、を備える。
本願の幾つかの実施例において、歯インスタンスの分割モジュール61は、処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得て、複数の歯インスタンスに含まれる複数の画素集合の予測結果に基づいて、処理対象画像の歯インスタンスの分割結果を得るように構成される。
本願の幾つかの実施例において、歯インスタンスの分割モジュール61は、処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測し、処理待ち画素は、処理対象画像における、いずれか1つの歯インスタンスに属するかと予測されていない画素を表し、目標歯インスタンスは、現在予測されている歯インスタンスを表し、目標歯インスタンスの中心画素の座標に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測し、目標歯インスタンスに含まれる画素集合の予測結果を得るように構成される。
本願の幾つかの実施例において、歯インスタンスの分割モジュール61は、処理対象画像の複数の処理待ち画素から、歯インスタンス中心に位置する確率が最も大きい第1画素を決定し、第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測するように構成される。
本願の幾つかの実施例において、歯インスタンスの分割モジュール61は、複数の処理待ち画素のうち、歯インスタンス中心に位置する確率が第1所定値以上である画素の数が第2所定値以上であり、且つ第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、第1画素を目標歯インスタンスの中心画素として予測するように構成される。
本願の幾つかの実施例において、歯インスタンスの分割モジュール61は、複数の処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定し、第2画素は、複数の処理対象画像のうちのいずれか1つの画素を表し、第2画素によって指し示される歯インスタンス中心の予測座標は、第2画素に基づいて予測される、第2画素が属する歯インスタンスの中心画素の座標を表し、第2画素によって指し示される歯インスタンス中心の予測座標及び目標歯インスタンスの中心画素の座標に基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測し、第2画素が目標歯インスタンスの中心に属する確率に基づいて、複数の処理待ち画素から、目標歯インスタンスに属する画素集合を予測するように構成される。
本願の幾つかの実施例において、歯インスタンスの分割モジュール61は、複数の処理待ち画素のうちの第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量を決定し、第2画素の座標及び第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量に基づいて、第2画素によって指し示される歯インスタンス中心の予測座標を決定するように構成される。
本願の幾つかの実施例において、歯インスタンスの分割モジュール61は、目標歯インスタンスに対応するクラスタリングパラメータを予測し、クラスタリングパラメータは、目標歯インスタンスの中心画素の予測座標の離散度合を表すためのものであり、第2画素によって指し示される歯インスタンス中心の予測座標、目標歯インスタンスの中心画素の座標及び目標歯インスタンスに対応するクラスタリングパラメータに基づいて、第2画素が目標歯インスタンスの中心に属する確率を予測するように構成される。
本願の幾つかの実施例において、装置60は、
処理対象画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量、第2画素が属する歯インスタンスのクラスタリングパラメータ、及び第2画素が歯インスタンス中心に位置する確率を得るように構成される第1予測モジュールを更に備える。
処理対象画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量、第2画素が属する歯インスタンスのクラスタリングパラメータ、及び第2画素が歯インスタンス中心に位置する確率を得るように構成される第1予測モジュールを更に備える。
本願の幾つかの実施例において、第1ニューラルネットワークは、第1デコーダと、第2デコーダと、を含み、
第1予測モジュールは、処理対象画像を第1ニューラルネットワークに入力し、第1デコーダにより、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量及び第2画素が属する歯インスタンスのクラスタリングパラメータを得て、第2デコーダにより、第2画素が歯インスタンス中心に位置する確率を得るように構成される。
第1予測モジュールは、処理対象画像を第1ニューラルネットワークに入力し、第1デコーダにより、第2画素から第2画素が属する歯インスタンスの中心画素までの予測オフセット量及び第2画素が属する歯インスタンスのクラスタリングパラメータを得て、第2デコーダにより、第2画素が歯インスタンス中心に位置する確率を得るように構成される。
本願の幾つかの実施例において、装置60は、
訓練画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、訓練画像における第3画素から第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、第1歯インスタンスに対応するクラスタリングパラメータ及び第3画素が歯インスタンス中心に位置する確率を得るように構成される第2予測モジュールであって、第3画素は、訓練画像におけるいずれか1つの画素を表し、第1歯インスタンスは、第3画素が属する歯インスタンスを表す、第2予測モジュールと、
第3画素の座標及び第3画素から第1歯インスタンスの中心画素までの予測オフセット量に基づいて、第3画素によって指し示される歯インスタンス中心の予測座標を決定するように構成される第1決定モジュールであって、第3画素によって指し示される歯インスタンス中心の予測座標は、第3画素に基づいて予測された第1歯インスタンスの中心画素の座標を表す、第1決定モジュールと、
第3画素によって指し示される歯インスタンス中心の予測座標、第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標及び第1歯インスタンスに対応するクラスタリングパラメータに基づいて、第3画素が第1歯インスタンスの中心に属する確率を決定するように構成される第2決定モジュールと、
第3画素が歯インスタンス中心に位置する確率、第3画素が第1歯インスタンスの中心に属する確率及び第3画素が歯内部に属する真値に基づいて、第1ニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
訓練画像を第1ニューラルネットワークに入力し、第1ニューラルネットワークにより、訓練画像における第3画素から第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、第1歯インスタンスに対応するクラスタリングパラメータ及び第3画素が歯インスタンス中心に位置する確率を得るように構成される第2予測モジュールであって、第3画素は、訓練画像におけるいずれか1つの画素を表し、第1歯インスタンスは、第3画素が属する歯インスタンスを表す、第2予測モジュールと、
第3画素の座標及び第3画素から第1歯インスタンスの中心画素までの予測オフセット量に基づいて、第3画素によって指し示される歯インスタンス中心の予測座標を決定するように構成される第1決定モジュールであって、第3画素によって指し示される歯インスタンス中心の予測座標は、第3画素に基づいて予測された第1歯インスタンスの中心画素の座標を表す、第1決定モジュールと、
第3画素によって指し示される歯インスタンス中心の予測座標、第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標及び第1歯インスタンスに対応するクラスタリングパラメータに基づいて、第3画素が第1歯インスタンスの中心に属する確率を決定するように構成される第2決定モジュールと、
第3画素が歯インスタンス中心に位置する確率、第3画素が第1歯インスタンスの中心に属する確率及び第3画素が歯内部に属する真値に基づいて、第1ニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
本願の幾つかの実施例において、歯の位置決めモジュール62は、歯インスタンスの分割結果における第2歯インスタンスに含まれる画素が属する歯位置カテゴリを予測し、第2歯インスタンスは、歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表し、第2歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、第2歯インスタンスが属する歯位置カテゴリを決定するように構成される。
本願の幾つかの実施例において、装置60は、
分割対象画像を第1解像度にダウンサンプリングし、第1画像を得て、第1画像に基づいて、処理対象画像を得るように構成されるダウンサンプリングモジュールと、
分割対象画像に基づいて、第2画像を得るように構成される第3決定モジュールであって、第2画像の解像度は、第2解像度であり、第2解像度は、第1解像度よりも高い、第3決定モジュールと、
歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、第2画像から、第3歯インスタンスに対応する画像を切り出すように構成される第1トリミングモジュールであって、第3歯インスタンスは、歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、第1トリミングモジュールと、
第3歯インスタンスに対応する画像に対して分割を行い、第2解像度における第3歯インスタンスの分割結果を得るように構成される第1分割モジュールと、を更に備える。
分割対象画像を第1解像度にダウンサンプリングし、第1画像を得て、第1画像に基づいて、処理対象画像を得るように構成されるダウンサンプリングモジュールと、
分割対象画像に基づいて、第2画像を得るように構成される第3決定モジュールであって、第2画像の解像度は、第2解像度であり、第2解像度は、第1解像度よりも高い、第3決定モジュールと、
歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、第2画像から、第3歯インスタンスに対応する画像を切り出すように構成される第1トリミングモジュールであって、第3歯インスタンスは、歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、第1トリミングモジュールと、
第3歯インスタンスに対応する画像に対して分割を行い、第2解像度における第3歯インスタンスの分割結果を得るように構成される第1分割モジュールと、を更に備える。
本願の幾つかの実施例において、装置60は、
分割対象画像に基づいて、上下歯の分割を行い、分割対象画像における関心領域を決定するように構成される第2分割モジュールと、
関心領域に基づいて、分割対象画像に対してトリミングを行い、処理対象画像を得るように構成される第2トリミングモジュールと、を更に備える。
分割対象画像に基づいて、上下歯の分割を行い、分割対象画像における関心領域を決定するように構成される第2分割モジュールと、
関心領域に基づいて、分割対象画像に対してトリミングを行い、処理対象画像を得るように構成される第2トリミングモジュールと、を更に備える。
本願の実施例において、処理対象画像に対して歯インスタンスの分割を行い、処理対象画像の歯インスタンスの分割結果を得て、歯インスタンスの分割結果に基づいて、歯の位置決めを行い、処理対象画像の歯の位置決め結果を得ることによって、歯と背景を区別するだけでなく、異なる歯の歯インスタンスの分割結果を区別して歯の位置決めを行うこともでき、歯の位置決めの正確性を向上させることができる。
本願の幾つかの実施例において、本願の実施例で提供される装置の機能又はモジュールは、上記方法の実施例に記載の方法を実行するように構成されてもよく、その具体的な実現及び技術的効果は、上記方法の実施例の説明を参照されたい。
本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。前記コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であってもよく、又は、揮発性コンピュータ可読記憶媒体であってもよい。
本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器のプロセッサは、上記いずれか1つの実施例に記載の歯画像の処理方法を実行する。
本願の実施例は、もう1つのコンピュータプログラム製品を更に提供する。該コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行されるとき、コンピュータに、上記いずれか1つの実施例で提供される歯画像の処理方法の操作を実行させる。
本願の実施例は、もう1つのコンピュータプログラム製品を更に提供する。該コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行されるとき、コンピュータに、上記いずれか1つの実施例で提供される歯画像の処理方法の操作を実行させる。
本願の実施例は、電子機器を更に提供する。前記電子機器は、1つ又は複数のプロセッサと、実行可能な命令を記憶するように構成されるメモリと、を備え、前記1つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出し、上記方法を実行するように構成される。
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
図7は、本願の実施例による電子機器700を示すブロック図である。例えば、電子機器700は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。
図7を参照すると、電子機器700は、処理ユニット702、メモリ704、電源ユニット706、マルチメディアユニット708、オーディオユニット710、入力/出力(Input Output:I/O)インタフェース712、センサユニット714及び通信ユニット716のうちの1つ又は複数を備えてもよい。
処理ユニット702は一般的には、電子機器700の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット702は、指令を実行するための1つ又は複数のプロセッサ720を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット702は、他のユニットとのインタラクションのために、1つ又は複数のモジュールを備えてもよい。例えば、処理ユニット702はマルチメディアモジュールを備えることで、マルチメディアユニット708と処理ユニット702とのインタラクションに寄与する。
メモリ704は、各種のデータを記憶することで電子機器700における操作をサポートするように構成される。これらのデータの例として、電子機器700上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ704は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ(Static Random Access Memory:SRAM)、電気的消去可能なプログラマブル読み出し専用メモリ(Electrically Erasable Programmable Read Only Memory:EEPROM)、電気的に消去可能なプログラマブル読出し専用メモリ(Erasable Programmable Read Only Memory:EPROM)、プログラマブル読出し専用メモリ(Programmable Read Only Memory:PROM)、読出し専用メモリ(Read Only Memory:ROM)、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
電源ユニット706は電子機器700の様々なユニットに電力を提供する。電源ユニット706は、電源管理システム、1つ又は複数の電源、及び電子機器700のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
マルチメディアユニット708は、上記電子機器700とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。本願の幾つかの実施例において、スクリーンは、液晶ディスプレイ(Liquid Crystal Display:LCD)及びタッチパネル(TouchPanel:TP)を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する1つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。本願の幾つかの実施例において、マルチメディアユニット708は、フロントカメラ及び/又はリアカメラを備える。電子機器700が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び/又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
オーディオユニット710は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオユニット710は、マイクロホン(Microphone:MIC)を備える。電子機器700が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を本願の幾つかの実施例においてメモリ704に記憶するか、又は通信ユニット716を経由して送信することができる。本願の幾つかの実施例において、オーディオユニット710は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
I/Oインタフェース712は、処理ユニット702と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
センサユニット714は、1つ又は複数のセンサを備え、電子機器700のために様々な状態の評価を行うように構成される。例えば、センサユニット714は、電子機器700のオン/オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、前記ユニットが電子機器700のディスプレイ及びキーパッドである。センサユニット714は電子機器700又は電子機器700における1つのユニットの位置の変化、ユーザと電子機器700との接触の有無、電子機器700の方位又は加速/減速及び電子機器700の温度の変動を検出することもできる。センサユニット714は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット714は、相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor:CMOS)又は電荷結合素子(Charge Coupled Device:CCD)画像センサのような光センサを備えてもよく、結像に適用されるように構成される。本願の幾つかの実施例において、該センサユニット714は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
通信ユニット716は、電子機器700と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器700は、無線ネットワーク(Wi-Fi)、第2世代移動通信技術(2-Generation:2G)、第3世代移動通信技術(3rd-Generation:3G)、第4世代移動通信技術(4-Generation:4G)/汎用移動通信技術の長期的進化(Long Term Evolution:LTE)、第5世代移動通信技術(5-Generation:5G)又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット716は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連情報を受信する。一例示的な実施例において、上記通信ユニット716は、近接場通信(Near Field Communication:NFC)モジュールを更に備えることで近距離通信を促進する。例えば、NFCモジュールは、無線周波数識別(Radio Frequency Identification:RFID)技術、赤外線データ協会(Infrared Data Association:IrDA)技術、超広帯域(Ultra Wide Band:UWB)技術、ブルートゥース(Bluetooth:BT)技術及び他の技術に基づいて実現される。
通信ユニット716は、電子機器700と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器700は、無線ネットワーク(Wi-Fi)、第2世代移動通信技術(2-Generation:2G)、第3世代移動通信技術(3rd-Generation:3G)、第4世代移動通信技術(4-Generation:4G)/汎用移動通信技術の長期的進化(Long Term Evolution:LTE)、第5世代移動通信技術(5-Generation:5G)又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット716は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連情報を受信する。一例示的な実施例において、上記通信ユニット716は、近接場通信(Near Field Communication:NFC)モジュールを更に備えることで近距離通信を促進する。例えば、NFCモジュールは、無線周波数識別(Radio Frequency Identification:RFID)技術、赤外線データ協会(Infrared Data Association:IrDA)技術、超広帯域(Ultra Wide Band:UWB)技術、ブルートゥース(Bluetooth:BT)技術及び他の技術に基づいて実現される。
例示的な実施例において、電子機器700は、1つ又は複数の特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、デジタル信号プロセッサ(Digital Signal Process:DSP)、デジタル信号処理機器(Digital Signal Process Device:DSPD)、プログラマブルロジックデバイス(Programmable Logic Device:PLD)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
例示的な実施例において、コンピュータプログラム命令を含むメモリ704のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器700のプロセッサ720により実行され、上記方法を完了する。
図8は、本願の実施例による電子機器1900を示すブロック図である。例えば、電子機器1900は、サーバとして提供されてもよい。図8を参照すると、電子機器1900は、処理ユニット1922を備える。それは、1つ又は複数のプロセッサ、及びメモリ1932で表されるメモリリソースを更に備える。該メモリリソースは、アプリケーションプログラムのような、処理ユニット1922により実行される命令を記憶するためのものである。メモリ1932に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する1つ又は1つ以上のモジュールを含んでもよい。なお、処理ユニット1922は、命令を実行して、上記方法を実行するように構成される。
電子機器1900は、電子機器1900の電源管理を実行するように構成される電源ユニット1926と、電子機器1900をネットワークに接続するように構成される有線又は無線ネットワークインタフェース1950と、入力出力(I/O)インタフェース1958と、を更に備えてもよい。電子機器1900は、マイクロソフトサーバオペレーティングシステム(Windows ServerTM)、アップル社のグラフィックユーザインターフェイスベースオペレーティングシステム(Mac OS XTM)、マルチユーザマルチプロセス型コンピュータオペレーティングシステム(UnixTM)、フリー・オープンソースコード型Unix系オペレーティングシステム(LinuxTM)、オープンソースコード型Unix系オペレーティングシステム(FreeBSDTM)又は類似したもののような、メモリ1932に記憶されているオペレーティングシステムを実行することができる。
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ1932のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器1900の処理ユニット1922により実行されて上記方法を完了する。
本願の実施例に係る機器は、システム、方法及び/又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的リスト)は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(Random Access Memory:RAM)、ROM、EPROM又はフラッシュ、SRAM、ポータブルコンパクトディスク読出し専用メモリ(Compact Disc Read-Only Memory:CD-ROM)、デジタル多目的ディスク(Digital Video Disc:DVD)、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含んでもよい。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波(例えば、光ファイバケーブルを通過する光パルス)、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング/処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び/又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。各コンピューティング/処理装置におけるネットワークインタフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング/処理装置におけるコンピュータ可読記憶媒体に記憶する。
本願の操作を実行するように構成されるコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ(Industry Standard Architecture:ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は1つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Smalltalk、C++などのようなオブジェクト指向プログラミング言語と、「C」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク(ローカルエリアネットワーク(Local Area Network:LAN)又はワイドエリアネットワーク(Wide Area Network:WAN)を含む)を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる(例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する)。本願の幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、FPGA又はプログラマブル論理アレイ(Programmable Logic Arrays:PLA)のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。
ここで、本願の実施例の方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び/又はブロック図の各ブロック及びフローチャート及び/又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できることは、理解されるべきである。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における1つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び/又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び/又はブロック図おける1つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び/又はブロック図における1つ又は複数のブロック中で規定している機能/操作を実現させる。
図面におけるフローチャート及びブロック図は、本願の複数の実施例による方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、1つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、1つまたは複数の所定のロジック機能を実現するための実行可能な命令を含む。幾つかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、2つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び/又はフローチャートにおける各ブロック、及びブロック図及び/又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることに留意されたい。
該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。選択可能な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよい。別の選択可能な実施例において、コンピュータプログラム製品は具体的には、例えば、ソフトウェア開発キット(Software Development Kit:SDK)などのようなソフトウェア製品として具現化される。
以上は本願の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到し得るものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
本願の実施例は、歯画像の処理方法、装置、電子機器、記憶媒体及びプログラムを提供する。歯画像の処理方法は、処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得ることであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、ことと、前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得ることと、を含む。
Claims (18)
- 歯画像の処理方法であって、前記方法は、電子機器により実行され、前記方法は、
処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得ることであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、ことと、
前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得ることと、を含む、歯画像の処理方法。 - 処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得ることは、
前記処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、前記処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得ることと、
前記複数の歯インスタンスに含まれる複数の画素集合の予測結果に基づいて、前記処理対象画像の歯インスタンスの分割結果を得ることと、を含むことを特徴とする
請求項1に記載の方法。 - 前記処理対象画像の複数の画素から、異なる歯インスタンスに属する画素集合を順に予測し、前記処理対象画像における複数の歯インスタンスに含まれる複数の画素集合の予測結果を得ることは、
前記処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測することであって、前記処理待ち画素は、前記処理対象画像における、いずれか1つの歯インスタンスに属するかと予測されていない画素を表し、前記目標歯インスタンスは、現在予測されている歯インスタンスを表す、ことと、
前記目標歯インスタンスの中心画素の座標に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測し、前記目標歯インスタンスに含まれる画素集合の予測結果を得ることと、を含むことを特徴とする
請求項2に記載の方法。 - 前記処理対象画像の複数の処理待ち画素から、目標歯インスタンスの中心画素を予測することは、
前記処理対象画像の複数の処理待ち画素から、歯インスタンス中心に位置する確率が最も大きい第1画素を決定することと、
前記第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、前記第1画素を前記目標歯インスタンスの中心画素として予測することと、を含むことを特徴とする
請求項3に記載の方法。 - 前記第1画素が歯インスタンス中心に位置する確率が第1所定値以上である場合、前記第1画素を前記目標歯インスタンスの中心画素として予測することは、
複数の前記処理待ち画素のうち、前記歯インスタンス中心に位置する確率が前記第1所定値以上である画素の数が第2所定値以上であり、且つ前記第1画素が前記歯インスタンス中心に位置する確率が前記第1所定値以上である場合、前記第1画素を目標歯インスタンスの中心画素として予測することを含むことを特徴とする
請求項4に記載の方法。 - 前記目標歯インスタンスの中心画素の座標に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測することは、
複数の前記処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定することであって、前記第2画素は、複数の前記処理対象画像のうちのいずれか1つの画素を表し、前記第2画素によって指し示される歯インスタンス中心の予測座標は、前記第2画素に基づいて予測される、前記第2画素が属する歯インスタンスの中心画素の座標を表す、ことと、
前記第2画素によって指し示される歯インスタンス中心の予測座標及び前記目標歯インスタンスの中心画素の座標に基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測することと、
前記第2画素が前記目標歯インスタンスの中心に属する確率に基づいて、複数の前記処理待ち画素から、前記目標歯インスタンスに属する画素集合を予測することと、を含むことを特徴とする
請求項3から5のうちいずれか一項に記載の方法。 - 複数の前記処理待ち画素のうちの第2画素によって指し示される歯インスタンス中心の予測座標を決定することは、
複数の前記処理待ち画素のうちの第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量を決定することと、
前記第2画素の座標及び前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量に基づいて、前記第2画素によって指し示される歯インスタンス中心の予測座標を決定することと、を含むことを特徴とする
請求項6に記載の方法。 - 前記第2画素によって指し示される歯インスタンス中心の予測座標及び前記目標歯インスタンスの中心画素の座標に基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測することは、
前記目標歯インスタンスに対応するクラスタリングパラメータを予測することであって、前記クラスタリングパラメータは、前記目標歯インスタンスの中心画素の予測座標の離散度合を表すためのものである、ことと、
前記第2画素によって指し示される歯インスタンス中心の予測座標、前記目標歯インスタンスの中心画素の座標及び前記目標歯インスタンスに対応するクラスタリングパラメータに基づいて、前記第2画素が前記目標歯インスタンスの中心に属する確率を予測することと、を含むことを特徴とする
請求項6又は7に記載の方法。 - 前記方法は、
前記処理対象画像を第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量、前記第2画素が属する歯インスタンスのクラスタリングパラメータ、及び前記第2画素が歯インスタンス中心に位置する確率を得ることを更に含むことを特徴とする
請求項8に記載の方法。 - 前記第1ニューラルネットワークは、第1デコーダと、第2デコーダと、を含み、
前記処理対象画像を第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量、前記第2画素が属する歯インスタンスのクラスタリングパラメータ、及び前記第2画素が歯インスタンス中心に位置する確率を得ることは、
前記処理対象画像を第1ニューラルネットワークに入力し、前記第1デコーダにより、前記第2画素から前記第2画素が属する歯インスタンスの中心画素までの予測オフセット量及び前記第2画素が属する歯インスタンスのクラスタリングパラメータを得て、前記第2デコーダにより、前記第2画素が歯インスタンス中心に位置する確率を得ることを含むことを特徴とする
請求項9に記載の方法。 - 前記処理対象画像を第1ニューラルネットワークに入力する前に、前記方法は、
訓練画像を前記第1ニューラルネットワークに入力し、前記第1ニューラルネットワークにより、前記訓練画像における第3画素から前記第3画素が属する第1歯インスタンスの中心画素までの予測オフセット量、前記第1歯インスタンスに対応するクラスタリングパラメータ及び前記第3画素が歯インスタンス中心に位置する確率を得ることであって、前記第3画素は、前記訓練画像におけるいずれか1つの画素を表し、前記第1歯インスタンスは、前記第3画素が属する歯インスタンスを表す、ことと、
前記第3画素の座標及び前記第3画素から前記第1歯インスタンスの中心画素までの予測オフセット量に基づいて、前記第3画素によって指し示される歯インスタンス中心の予測座標を決定することであって、前記第3画素によって指し示される歯インスタンス中心の予測座標は、前記第3画素に基づいて予測された前記第1歯インスタンスの中心画素の座標を表す、ことと、
前記第3画素によって指し示される歯インスタンス中心の予測座標、前記第1歯インスタンスに属する異なる画素によって指し示される歯インスタンス中心の予測座標、及び前記第1歯インスタンスに対応するクラスタリングパラメータに基づいて、前記第3画素が前記第1歯インスタンスの中心に属する確率を決定することと、
前記第3画素が歯インスタンス中心に位置する確率、前記第3画素が前記第1歯インスタンスの中心に属する確率、及び前記第3画素が歯内部に属する真値に基づいて、前記第1ニューラルネットワークを訓練することと、を更に含むことを特徴とする
請求項9又は10に記載の方法。 - 前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得ることは、
前記歯インスタンスの分割結果における第2歯インスタンスに含まれる画素が属する歯位置カテゴリを予測することであって、前記第2歯インスタンスは、前記歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、ことと、
前記第2歯インスタンスに含まれる画素が属する歯位置カテゴリに基づいて、前記第2歯インスタンスが属する歯位置カテゴリを決定することと、を含むことを特徴とする
請求項1から11のうちいずれか一項に記載の方法。 - 処理対象画像に対して歯インスタンスの分割を行う前に、前記方法は、
分割対象画像を第1解像度にダウンサンプリングし、第1画像を得ることと、前記第1画像に基づいて、前記処理対象画像を得ることと、を更に含み、
前記処理対象画像の歯インスタンスの分割結果を得た後、前記方法は、
前記分割対象画像に基づいて、第2画像を得ることであって、前記第2画像の解像度は、第2解像度であり、前記第2解像度は、前記第1解像度よりも高い、ことと、
前記歯インスタンスの分割結果における第3歯インスタンスの中心画素の座標に基づいて、前記第2画像から、前記第3歯インスタンスに対応する画像を切り出すことであって、前記第3歯インスタンスは、前記歯インスタンスの分割結果におけるいずれか1つの歯インスタンスを表す、ことと、
前記第3歯インスタンスに対応する画像に対して分割を行い、前記第2解像度における前記第3歯インスタンスの分割結果を得ることと、を更に含むことを特徴とする
請求項1から12のうちいずれか一項に記載の方法。 - 処理対象画像に対して歯インスタンスの分割を行う前に、前記方法は、
分割対象画像に基づいて、上下歯の分割を行い、前記分割対象画像における関心領域を決定することと、
前記関心領域に基づいて、前記分割対象画像に対してトリミングを行い、前記処理対象画像を得ることと、を更に含むことを特徴とする
請求項1から13のうちいずれか一項に記載の方法。 - 歯画像の処理装置であって、
処理対象画像に対して歯インスタンスの分割を行い、前記処理対象画像の歯インスタンスの分割結果を得るように構成される歯インスタンスの分割モジュールであって、ここで、1つの歯インスタンスは、1本の歯に対応し、前記歯インスタンスの分割結果は、前記処理対象画像における画素が属する歯インスタンスの情報を含む、歯インスタンスの分割モジュールと、
前記歯インスタンスの分割結果に基づいて、歯の位置決めを行い、前記処理対象画像の歯の位置決め結果を得るように構成される歯の位置決めモジュールと、を備える、歯画像の処理装置。 - 電子機器であって、
1つ又は複数のプロセッサと、
実行可能な命令を記憶するように構成されるメモリと、を備え、
前記1つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出し、請求項1から14のうちいずれか一項に記載の方法を実行するように構成される、電子機器。 - コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに、請求項1から14のうちいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
- コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器のプロセッサに、請求項1から14のうちいずれか一項に記載の歯画像の処理方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011246718.0A CN112308867B (zh) | 2020-11-10 | 2020-11-10 | 牙齿图像的处理方法及装置、电子设备和存储介质 |
CN202011246718.0 | 2020-11-10 | ||
PCT/CN2021/089058 WO2022100005A1 (zh) | 2020-11-10 | 2021-04-22 | 牙齿图像的处理方法、装置、电子设备、存储介质及程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023504957A true JP2023504957A (ja) | 2023-02-08 |
Family
ID=80268658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021576347A Withdrawn JP2023504957A (ja) | 2020-11-10 | 2021-04-22 | 歯画像の処理方法、装置、電子機器、記憶媒体及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023504957A (ja) |
KR (1) | KR20220012991A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240105256A (ko) | 2022-12-28 | 2024-07-05 | 조선대학교산학협력단 | X-ray 치아 영상 분할 방법 및 장치 |
KR20240105313A (ko) | 2022-12-28 | 2024-07-05 | 조선대학교산학협력단 | MAM-net 구조 기반 의료영상 분할 방법 및 장치 |
-
2021
- 2021-04-22 JP JP2021576347A patent/JP2023504957A/ja not_active Withdrawn
- 2021-04-22 KR KR1020227001270A patent/KR20220012991A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
KR20220012991A (ko) | 2022-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110047078B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
WO2022151755A1 (zh) | 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序 | |
US20210319560A1 (en) | Image processing method and apparatus, and storage medium | |
CN109829920B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
US20220198775A1 (en) | Image processing method and apparatus, electronic device, storage medium and computer program | |
CN111899268B (zh) | 图像分割方法及装置、电子设备和存储介质 | |
US20220180521A1 (en) | Image processing method and apparatus, and electronic device, storage medium and computer program | |
KR20220013404A (ko) | 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품 | |
CN112967291B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
KR20210107667A (ko) | 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체 | |
CN111833988B (zh) | 放射参数确定方法及装置、电子设备和存储介质 | |
KR20210153700A (ko) | 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
JP2023504957A (ja) | 歯画像の処理方法、装置、電子機器、記憶媒体及びプログラム | |
US20220245933A1 (en) | Method for neural network training, method for image segmentation, electronic device and storage medium | |
CN113012166A (zh) | 颅内动脉瘤分割方法及装置、电子设备和存储介质 | |
WO2022022350A1 (zh) | 图像处理方法及装置、电子设备、存储介质和计算机程序产品 | |
CN114820584B (zh) | 肺部病灶定位装置 | |
WO2023050691A1 (zh) | 图像处理方法及装置、电子设备、存储介质和程序 | |
JP2022548453A (ja) | 画像分割方法及び装置、電子デバイス並びに記憶媒体 | |
WO2022100005A1 (zh) | 牙齿图像的处理方法、装置、电子设备、存储介质及程序 | |
CN113034491B (zh) | 一种冠脉钙化斑块检测方法及装置 | |
JP2022547372A (ja) | 画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品 | |
CN113902730A (zh) | 图像处理和神经网络训练方法及装置 | |
WO2021259394A2 (zh) | 一种图像处理方法及装置、电子设备和存储介质 | |
CN112767347A (zh) | 一种图像配准方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211221 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230214 |