JP6381787B2 - ３次元表面の自動再合成 - Google Patents

Description

本発明は、概略的には３次元（３Ｄ）イメージングに関し、特に、一連の３Ｄスキャンから形成され、複合３Ｄ表面を形成するプロセスにおけるエラーを自動的に検出しかつ修正する複合３Ｄ表面の表示に関する。

３Ｄ表面のスキャンは、医療及び歯科の用途を含む多くの分野で広く用いられている。患者の口の詳細な３Ｄ表面スキャンは、歯列矯正、回復、義歯、及び、関連する歯科的処置における計画資源として、及び、患者の進捗を追跡するために特に有用である。

歯科用イメージング及び他のタイプの３Ｄイメージングに対して、対象物の３Ｄ表面コンテンツを表示するために、対象物の多数の図が取得される。対象物の別個のビューが対象物に沿う異なる視点から取り込まれ、この後、複合３Ｄ表面の形態に３Ｄデータを表すために、画像ソフトウェアにより、一緒に合成される。個々の３Ｄビューをマッチングさせ又は結合させるプロセスは、合成と称されることがしばしばある。ビュー合成の一部として、個々の３Ｄビューのそれぞれは、被写体の隣接部分のビューと整合され、複合３Ｄ表面の組立てに割り当てられる関連した平行移動及び回転特性を組み合わされる。

歯科用イメージングについては、連続した３Ｄビューが、口内カメラを使用して患者の口腔をスキャニングすることで取り込まれる。３Ｄビューのコンテンツは、例えば、縞投影等のパターン化ライト法を使用して、又は、「ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ」（ＳＦＭ）イメージング技術、画像処理技術における当業者によく知られている距離イメージング方法を使用する等、各歯及び柔軟な組織表面に対応するポイントクラウドデータを取得することにより、生成される。マルチビューイメージング及びいくつかの適用可能なｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ技術は、例えばＰａｒｋらによる「Ｐｒｏｄｕｃｉｎｇ ３Ｄ ｉｍａｇｅｓ ｆｒｏｍ ｃａｐｔｕｒｅｄ ２Ｄ ｖｉｄｅｏ」と題する米国特許出願公開第２０１２／０２４２７９４に記載されており、参照することにより、その全体が本明細書に包含される。表面画像コンテンツを取得するために、例えば、焦点データからの深度情報を使用する方法、高周波（ＲＦ）三角測量、タイミング検出配列、立体視及び他の方法等、代替的方法を使用することも可能である。

ビューを合成するための処理では、イメージングシステムは、各連続的スキャンビューに対する取得した表面データに基づいて動作し、取得した３Ｄビューのそれぞれを一緒に合成するために使用される必要なアライメント情報（回転及び平行移動を含む）を計算する。種々の画像合成手法について、Ｋａｌａｙｅｈに対する米国特許第８，６００，１９３号、Ｓｃｈａｒｌａｃｋらに対する米国特許第７，３６２，８９０号及び７，５５１，７６０号、Ｌｅｅらによる米国特許出願公開第２０１４／０１５２６６０、Ｇｉｖｏｎによる米国特許出願公開第２０１２／０３２００５２号が参照される。

既存の３Ｄビュー合成法における繰り返し生じる問題の１つは、隣接する画像に対する取得した３Ｄビューの配置の誤りの検出に関係する。コンポーネント画像の配置における誤りの検出及び応答のために、イメージングシステムは、オペレータ入力、又は、更に不完全整合のビューセグメントの検出を必要とすることが多い。オペレータの支援による誤り検出及び修正方法は、極めて望ましくないものであり、誤りを起こし易い。画像のマッチングの誤りの自動検出及び修正に対するより強力で効率的なアルゴリズムが、歯科のイメージング及び他の用途に対してより強力で有用な３Ｄイメージング装置を形成するために、必要とされている。

画像処理における３Ｄビューの誤配置は、タイミング制約及び不完全な情報を含む多くの理由の内のいくつかで生じることがある。自動化された組立てプロセスで決定される初期合成は、最小の遅れで視覚フィードバックを与え、観察者に適切な認識を与えるために、迅速に提供する必要がある。更に、データが収集される際、合成アルゴリズムに対して一部の情報のみが利用可能なことがある。間違った配置は、追加の配置関係が計算され、結果が表示された後にのみ、現れることが多い。したがって、誤配置及び隣接する３Ｄビューのマッチングの関連する誤りを検出し、オペレータの介入無しにこれらの誤りを修正するための自動化された方法が必要とされている。

米国特許出願公開第２０１２／０２４２７９４号 米国特許第８，６００，１９３号明細書 米国特許第７，３６２，８９０号明細書 米国特許第７，５５１，７６０号明細書 米国特許出願公開第２０１４／０１５２６６０号 米国特許出願公開第２０１２／０３２００５２号

本開示の目的は、一連のスキャン３Ｄビューを組み合わせることにより、複合３Ｄ表面を形成及び表示するアプリケーションに対し、表面イメージングの分野を進歩させることである。本開示の目的は、スキャン画像コンテンツの組み合わせにおける誤りを自動的に検出及び修正するための装置及び方法を提供することである。

これらの目的には、例示目的でのみ示す実施例が提供され、このような目的は、本発明の１つ又は複数の実施形態の代表例であってもよい。開示した発明により本質的に達成される他の望ましい目的及び利点が、生じ又は当業者に明らかとなり得る。本発明は、添付の請求の範囲により、画定される。

本発明の１つの態様によると、対象物の３Ｄ表面を表示する方法が提供され、この方法は、少なくとも一部がコンピュータで実行され、複数の部材を有するセットを取得し、ここで各部材が対象物の３Ｄビューであり、少なくとも部材間の変位にしたがってセットの少なくとも１つの他の部材に対する、３Ｄビューのセットの各部材に関連する関連データを生成し、生成された関連データにしたがって、対象物の複合３Ｄ表面を形成し、自動的に、生成された関連データにしたがって、複合表面における１つ又は複数の位置決め誤差を検出し、１つ又は複数の位置決め誤差を修正するために関連データの少なくとも一部を再生成し、更に、再生成された関連データにしたがって形成された修正複合３Ｄ表面を表示する、ことを具備する。

本発明の上記及び他の目的、特徴並びに利点は、添付図面に示すように、本発明の実施形態の以下の詳細な説明から明らかとなる。図の要素は、必ずしも相対的な基準となるものではない。

本願の実施形態に従って、一連の２Ｄ画像から３Ｄビューを取得するためのイメージング装置を示す論理の流れ図である。 本願の実施形態に従って、不完全に接続されたセグメントを有する複合３Ｄ表面を示す。 図２Ａの複合３Ｄ表面の修正したビューを示す。 本開示の他の実施形態に従って、３Ｄビュー合成及び修正するプロセスを示す論理の流れ図である。 本願の実施態様に従って、一連のスキャン画像による接続グラフを形成する順序を示す論理の流れ図である。 接続グラフの実施例を示す。 本願の更に他の実施形態に従って、誤りの検出及び修正を含む接続グラフを改善するプロセスを示す論理の流れ図である。 ビューのマッチングプロセスにおける連結（ａｒｔｉｃｕｌａｔｉｏｎ）による不完全な位置決めの実施例を示す。 本願の実施形態に従って、修正された複合表面を示す。 インプラントを示す複合表面に対する連結による不完全な接続セグメントを示す。 本願の実施形態の用途に従って、適切な位置決めで図８Ａのインプラントに対して修正された表面を示す。

代表的実施形態の詳細な説明
以下は、本発明の代表的な方法及び／又は装置の実施形態の詳細な説明であり、参照する図中、同じ参照番号は、複数の図中のそれぞれの構造の同じ要素を特定するものである。

図及び以下の説明において、同様な要素は同様な参照番号で指定してあり、関連する要素及び配置、又は、既に説明した要素の相互関係の説明は省略する。ここで、用語「第１」、「第２」などは、必ずしも順番又は優先関係を示すものではなく、単に、１つの要素を他からより明瞭に区別するために使用する。

本開示の状況において、用語「観察者」、「オペレータ」及び「ユーザ」は、同意義であり、見ている施術者、技術者、又は、歯科画像などを表示モニタ上の画像を観察し操作する他の人をいう。「オペレータ命令」又は「観察者命令」は、コンピュータマウス、タッチスクリーン、又はキーボード入力などの観察者により入力される明確な命令から得られる。

本開示の状況において、用語「３Ｄビュー」は、用語「３次元画像」又は「３Ｄスキャン」と同義語である。３Ｄビューは、１つ又は複数の表面画像の反射から得られる歯又は他の構造の表面データを示す。用語「反射率画像」は、光の反射率を使用してカメラで取り込んだ画像又は対応する画像データをいい、反射照明は、典型的には、必ずではないが、可視光である。反射率画像は、表面データが表示される方法にしたがって、詳細に後述するように、多数の方法のうちのいくつかで３Ｄビューに変換される。３Ｄビューは、レーザスキャン装置、ステレオ撮像装置、色深度カメラ、及び、深度情報又は取得した画像コンテンツに関係するポイントクラウドデータを取得する、距離イメージング及びメッシュ撮像装置を含む他の撮像装置を含む多くの異なる技術のいくつかを使用して取得することができる。縞撮影画像などの構造化ライト又はパターン照明を使用する装置も、３Ｄビューを取得するために使用することができる。

本開示の状況では、「複合表面」又は「複合３Ｄ表面」は、複数の３Ｄビュー（例えば、一連の多数のスキャン３Ｄビュー）をマッチングさせることにより形成される３Ｄ表面である。このような３Ｄビュースキャンは、複合表面を形成するために組み合わされる「コンポーネント」ビューとも考えられる。スキャンした３Ｄビューは、パターンライト（ｐａｔｔｅｒｎｅｄ ｌｉｇｈｔ）又は「縞投影」、ポイントクラウド、又は、他の表面画像データを含む多数の形態のいくつかの表面データを有することができる。

ここで使用される用語「セット」は、素子のコレクション又はセットの部材の概念として、非空セットを指し、初等数学で広く理解されている。用語「サブセット」は、明確に述べられていない限り、ここでは、非空の真部分集合、すなわち、１つ以上の部材を有する大きなセットの部分集合を指す。セットＳについて、サブセットは、完全セットＳを有しても良い。しかし、セットＳの「真部分集合」は、セットＳに完全に包含されており、セットＳの少なくとも１つの部材を除外する。

ここで使用するように、用語「励磁可能」は、電力を受け、及び、選択的に許可信号を受けたときに、指示された機能を実行する装置又はコンポーネントのセットに関係する。

表示された特徴に対する用語「強調表示」は、情報及び画像表示技術における当業者に理解されるように、その通常の意味を有する。一般的に、強調表示は、観察者の注意を引くために、局部的な表示の強化のいくつかの形態を使用する。個々の器官、骨又は構造又は１つの機能から次に延びる通路若しくは空所などの画像の一部を強調表示することは、例えば、制限するものではないが、注釈付け、隣接若しくは重ねた記号の表示、囲み若しくは線引き、色違い若しくは他の画像若しくは情報コンテンツと著しく異なる濃度若しくはグレイスケール値の表示、表示の一部の点滅若しくはアニメーション、又は、鮮明さ若しくはコントラストを高めた表示を含む多くの方法のうちのいくつかで達成可能である。

本開示による３Ｄビューのマッチングの文脈では、用語「変位」は、対象物の１つの３Ｄビューの他に対する平行移動及び回転に関係することが好ましい。

本開示の実施形態は、被写体の回りの異なる位置（例えば、角度）で取った被写体の２Ｄ画像から３Ｄ構造情報を取得するマルチビューイメージング技術を使用することができる。マルチビューイメージングの処理は、「ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ」（ＳＦＭ）イメージング技術、画像処理の分野における当業者によく知られている距離イメージング法を採用することができる。マルチビューイメージング及びいくつかの適用可能なｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ技術は、例えばＰａｒｋらによる「Ｐｒｏｄｕｃｉｎｇ ３Ｄ ｉｍａｇｅｓ ｆｒｏｍ ｃａｐｔｕｒｅｄ ２Ｄ ｖｉｄｅｏ」と題する米国特許出願公開第２０１２／０２４２７９４に記載されており、参照することにより、その全体が本明細書に包含される。

図１の概略図は、本願の実施形態にしたがって一連の反射率画像から３Ｄビューを取得するためのイメージング装置９０を示す。典型的には手持型デジタルカメラ、色深度カメラ、手持型３Ｄスキャナ、又は、口腔内３Ｄスキャナであるカメラ１６は、患者１４の口腔を通してスキャンされ、多数の反射率画像及び関連する深度情報を有するセットが取得される。カメラ１６と信号通信する制御論理プロセッサ８０は、個々の３Ｄビュー９２を生成するために、カメラ１６から画像データを取得し、この画像データを深度情報と共に処理する。この後、制御論理プロセッサ８０は、ディスプレイ８４上に複合３Ｄ表面９４を生成しかつ表示するために、スキャンした３Ｄビューを組み合わせる。この後、本願の方法及び／又は装置の実施形態を使用して、制御論理プロセッサ８０の誤り検出及び修正論理が作動し、マッチングの誤り又は不完全整合の３Ｄビュー９２を識別し、修正した複合３Ｄ表面９４を生成しかつ表示する。いくつかの実施形態では、カメラ１６、制御論理プロセッサ８０、ディスプレイ８４又は遠隔のコンピュータ／ハードウェアに、誤り検出及び修正論理である及び／又は実行するハードウェア及び／又は論理処理を設け、複合ビューを組立てかつ調整する（例えば、オペレータ介入又は入力から独立して）。

例として、図２Ａは、円で囲んで示す連結３Ｄビュー４４によりリンクされた不完全接続セグメントを有する、表示された複合３Ｄ表面４８を示す。本開示の実施形態は、このタイプの接続間違い及び／又は他の接続間違いを検出及び修正し、図２Ｂの修正した複合３Ｄ表面５０を提供する。

図３の論理流れ図は、本開示の実施形態による複合３Ｄ表面を生成及び表示する処理シーケンスを示す。スキャニングステップＳ１００では、技術者又は実行者が患者の歯をスキャンし、得られかつ処理された画像のセットを取得し、例えば複合３Ｄ表面９４を形成するために組み合わせ可能な３Ｄビュー９６のセットを生成する。スキャン画像から３Ｄビューデータを生成するために必要とされる処理のタイプは、使用されるイメージングタイプに依存する。ポイントクラウドデータについて、例えば、表面イメージング技術における当業者によく知られている距離イメージング方法を使用しても良い。グラフ形成ステップＳ２００では、プロセッサは、ビュー９６のセットから不完全に接続されたコンポーネント３Ｄビュー９２を分析可能な接続グラフモデルにしたがって異なる取得画像に対して３Ｄビューデータを生成する。微調整ステップＳ３００は、接続されたコンポーネント３Ｄ表面ビュー９２の改善されたマッチングを提供するために、接続グラフを微調整する。表示ステップＳ４００は、スキャン３Ｄビューに対する接続データの微調整から生じる処理結果を示す。

取得したスキャン３Ｄビューのセットから複合３Ｄ表面を生成するためのビュー合成ステップは、画像処理の分野における当業者に既知である。しかし、画像合成を提供する既存のシステムは、不完全な合成及び相反し又は矛盾するマッチング変形による問題を自動的に検出及び修正する実用性を提供しない。既存の技術と対照的に、本開示の実施形態は、複合３Ｄ表面を生成する画像マッチングの異常を自動的に検出及び修正を可能とする革新的な手法を採用する。本開示の実施形態は、「手動で」ビューを削除し、又は、問題源と見える変形を削除若しくは計算のし直しするためのオペレータ命令などのオペレータ介入を必要としない。

本発明の代表的な実施形態は、取得しかつ処理した３Ｄビュー９２（図１）間の適切なマッチングを提供するために、グラフモデル及び関連する論理を採用することができる。発明者は、グラフ作成論理の特徴を効果的に使用して、図２Ａに示すような画像マッチング異常を特定しかつ修正するのを支援することができることを見出した。図２Ａにおいては、初期マッチング論理は不完全に実行され、正確に組み立てた複合３Ｄ表面を提供するために修正アクションを取る必要がある。使用される接続グラフモデルが、異なる３Ｄビュー９２についてデータを順序付け及び配置する便利な代表的機構を提供し、ビュー間の位置関係の直接的なアルゴリズム的分析を可能とすることを強調する必要がある。接続グラフ自体は、表示する必要はなく、このモデルは、単に、オペレータ介入又は入力からは独立して、複合ビューを組立て、調整するために、どのように画像処理が各３Ｄビューの位置パラメータ（例えば、回転、平行移動）を評価しかつ再配置可能か説明し、可視化するのを支援するだけである。

図４の論理フロー図は、グラフ形成ステップＳ２００のいくつかの代表的なサブステップを示す。ステップは、スキャンした３Ｄビューセット９６の各部材に対して繰り返すことができる。近隣関係にある計算ステップＳ２１０では、各スキャンした３Ｄビュー９２は、その隣接するビューに対して分析され、マッチングされる。本開示の状況では、所与のスキャンされた３Ｄ表面ビュー９２の隣接ビューは、所与のビュー９２の所定の半径内に中心が配置されるビューと考えられる。しかし、他の代表的手段は、隣接するビューを画定するために使用することができる。所定の半径は、３Ｄビューのサイズに基づいて経験的に決定することができ、これは、スキャナの視野に関係し、イメージングシステム間で変更することができる。近隣内の関連ビュー９２に対するビューのマッチングは、画像処理の分野における当業者によく知られている多くの実用性及び手法を用いることができる。一般的に、マッチングは、新たにスキャンしたビュー９２に関連する任意の利用可能な情報を、任意の他のビューと共に使用する。これは、例えば、相対的なカメラの動き、カメラ位置、ビデオトラッキング、又は、対象物に関連する姿勢情報に関連するカメラ１６（図１）から取得した情報を含む。これは、更に、他の表面ビュー９２の表面特徴の情報を包含することができる。各３Ｄビュー９２について、ステップＳ２１０の結果は、接続グラフ内の位置決め又は再位置決めする後の処理に使用される近接関係のセットとすることができる。近接関係は、識別した近隣に対してスキャンした３Ｄビューを回転及び平行移動する変形として表示することが可能である。これらの変形は、３Ｄビュー処理の分野における当業者によく知られている４ｘ４行列などのビューの平行移動及び回転のための従来の行列の形態を容易にとることができる。残留変位ステップＳ２２０は、隣接関係に基づいてビューの現在位置とその期待位置との間の任意の残留変位を計算する。

接続されたビューは、隣接関係のセットから取得される。接続基準は、既存の３Ｄビュー位置と隣接関係との間の平行移動及び回転に対する相対値を取得することを包含することができる。種々の判断方法は、所要又は最適位置に対する残留変位の使用など、ビューの接続性を判断するために採用することができる。例えば、ビューＶ１は、以下を実行することにより、その近傍のビューＶ２に接続してもよく、つまり、
（ｉ）Ｖ２とのその隣接関係からＶ１の期待される位置を計算し、
（ｉｉ）Ｖ１の現在位置と期待される位置との間の残留変位を計算し、
（ｉｉｉ）残留変位から平行移動量及び回転量を計算し、
（ｉｖ）Ｖ１及びＶ２が、平行移動量が第１閾値より小さく、回転量が第２閾値より小さい状況で接続されたか考察する。

隣接ビューの全ての対の結合性情報の計算は、接続グラフと呼ばれる接続のセットを提供する。複合表面表示に使用される接続グラフは、接続グラフ生成ステップＳ２３０で生成される。

図５は、スキャン３Ｄビューの小さなセットに対する代表的な接続グラフ２０を示す。接続グラフ２０における頂点又は節歯、スキャン３Ｄビューを表す。各縁部（ライン）は、近接及び上述のビューマッチング基準に基づいて、３Ｄビュー間の接続されたビュー関係を示す。

図５にグラフ２０の配置を示すように、ビューＶ７４は連結３Ｄビュー４４と呼ばれ、これは、移動された場合にはグループ２２ａ，２２ｂの２つのビューのグループを生成する。グラフ２０の左のグループ２２ａは、コンポーネント３ＤビューＶ７６，Ｖ７７，Ｖ８５，Ｖ８６及びＶ８７を有する。グラフ２０の右のグループ２２ｂは、コンポーネント３ＤビューＶ７８，Ｖ７９，Ｖ８３，Ｖ８４，Ｖ８８，Ｖ８９，Ｖ９０及びＶ９１を有する。この特別なケースでは、ビューＶ７４は、グループ２２ａに対して独特の接続を有し、これは、２つの別個の集団を生成するために除去することができ、これは、グループ２２ａからグループ２２ｂにビューの再配置が続く。

接続グラフ２０のマッピングは、複合３Ｄ表面がどのように体系化され、どこで比較的不完全又はありそうもない関係が作用して、図２Ａに示すようなビューの合成異常を生じるかについての重要で有益な情報を提供することができる。マッチング及び再現処理の基本をなす一般的な経験から、不完全なマッチングは概して相互の一貫性が欠けている。これらの関係のタイプは、関係のネットワークが接続グラフとして表されるときに、容易に示すことができる。不完全なマッチングに関する他の問題は、接続グラフ表示を使用して容易に視覚化される。図５では、例えば連結ビューＶ７４は、ビューＶ７６、したがってグループ２２ａの残部に対して単一の関係だけを有する。この配置のタイプは、図２Ａに示すような不完全に接続されたセグメントの特徴であり、ビューのより強力的な配置とするために更に計算することが有益となる。

改善処理
図５の実施例で示すように、初期接続グラフ２０が与えられると、図６の論理流れ図は、ステップＳ３００（図３）で接続グラフを改善するための代表的なプロセスを示す。このステップは、弱接続と見られ、本願の実施形態による連結及び／又は他のファクタによる不完全な接続となることのあるビューの誤り及び再マッチングの検出及び修正を含む。示される手順の流れでは、判断ステップＳ３１０は、不完全なマッチングを示唆する１つ又は複数の未処理の集団の対が存在するか、判断する。ない場合、処理は次の判断ステップＳ３２０に続く。未処理の集団が存在する場合、修正ステップＳ３１２が実行され、プロセッサ計算は集団を再度マッチングさせようとする。これは、１つ又は複数の関係（例えば、変換）を除去すること、及び、他の関係が接続パターンを改善するか判断するために再計算することを包含することができる。検証ステップＳ３１４は、対の集団の再マッチングが成功したか否かを判断する。そうでない場合、他の対とすることを選択し、処理はステップＳ３１０に戻る。再マッチングが成功する場合、再計算ステップＳ３１６が実行され、処理結果にしたがって接続グラフを再調整する。

図５のプロセスに続いて、決定ステップ３２０は、接続グラフに未処理連結が存在するか否かをチェックして判断する。それぞれの連結は、所要又は最適のビューの配置かどうかテストするために処理され、そうでない場合、処理は次の決定ステップＳ３３０に続く。未処理の連結がある場合、修正ステップＳ３２２が実行され、ここでは、プロセッサ計算は連結の再マッチングを行おうとする。これは、１つ又は複数の関係（変換）を除去すること、及び、他の関係が接続パターンを改善するか判断するために再計算することを包含することができる。図５の実施例の接続グラフに関して、修正ステップＳ３２２は、ビューＶ７６を介してビューＶ７４を集団２２ａに関係付ける変形を別にしてセッティングすることにより、コンポーネントビューＶ７４を再マッチングしようとすることがある。これは、集団２２ａを一時的に分離した集団とする。このプロセスは、この後、ビューＶ７６，Ｖ７７，Ｖ８５，Ｖ８６及びＶ８７のそれぞれについて、集団２２ｂ内のビューに対して、マッチングを再計算する。

図６に概略するプロセスに続いて、検証ステップＳ３２４は、連結の再マッチングが成功したか否かを判断する。そうでない場合、他の連結を選択し、処理はステップＳ３２０に戻る。再マッチングが成功する場合、再計算ステップＳ３２６が実行され、処理結果にしたがって接続グラフを再調整する。

図６のプロセスに続いて、決定ステップ３３０は、接続グラフに未処理の不完全に接続されたビューが存在するか否かをチェックして判断する。不完全に接続されたビューは、所定の閾値よりも少ない接続された隣接部を有する。不完全に接続されたビューのそれぞれは、選択された又は最適配置のビューをテストするために処理される。未処理の不完全に接続されたビューがある場合、修正ステップＳ３３２が実行され、ここでは、プロセッサ計算は不完全に接続されたビューの再マッチングを行おうとする。これは、弱関係（例えば、変換）を除去すること、及び、他の関係が接続パターンを改善するか判断するために再計算することを包含することができる。検証ステップＳ３３４は、不完全に接続されたビューの再マッチングが成功したか否かを判断する。そうでない場合、他の不完全に接続されたビューを選択し、処理はステップＳ３３０に戻る。再マッチングが成功の場合、再計算ステップＳ３３６が実行され、処理結果にしたがって接続グラフを再調整する。

接続グラフ改善のための再マッチング
再マッチングのプロセスは、分離し又は不完全に接続された集団、連結、及び、不完全に接続されたマッチングなどの種々の異常を識別し、この後、弱接続を一時的に無視し、改善された位置決めを生成しようとする。接続グラフ改善プロセスに対する再マッチング基準は、以下のいくつかを包含することができ、つまり、
（ｉ）再マッチング計算の前後の１つ又は複数のビューの接続を比較した場合の数。概して、接続数の高い配置がより好適なマッチングを提供すると考えられる。
（ｉｉ）計算された合意変形（例えば、インライア（ｉｎｌｉｅｒ）の数）と一致する変形の数。
（ｉｉｉ）集団内の１つ又は複数ビューを再マッチングしようとする再試行の数。

いくつかの一致がまだ存在せずに、このプロセスの一部として計算する必要のあることがある。

図５の集団２２ａに示すように、ビューのグループを移動するため、合意変形を計算することができる。これは、集団及びより大きな目標グループ内でビュー間の全ての相対的マッチングを考慮することにより行うことができる。これらの相対的なマッチングの比較は、マルチビューに適用可能な平均的回転及び平行移動値を提供する合意変形を計算するために使用することができる。平均化は、変形のサブセットに規制され、ランダムサンプルコンセンサス法（ＲＡＮＳＡＣ）、又は、雑音の多いデータセットにおける強力なクラスタ化と同様な技術を使用して取得することができる。ＲＡＮＳＡＣ処理は、複合面の形成に使用されるモデリングパラメータを評価するために、イメージング分野における当業者に周知である。

選択したサブセットから合意変形を計算する技術は、他の表現（クォータニオン、縮尺、スキュー、平行移動など）への行列分解、表現間の補間、及び、候補マッチングを提供するために使用可能な平均変形を準備するための再合成を包含する。

一般的に、連結はビュー位置決めに関する問題を示すことが多い。図７Ａ及び７Ｂは、連結がセグメント９８を不完全に位置決めさせる実施例を示す。図７Ｂは、連結を解除し、関連データを再生成して複合面２６を形成した後の複合表面２４に対する修正を示す。図８Ａは、インプラント３２を示す表面２８に対する連結による不完全に接続されたセグメント９８を示す。図８Ｂは、正確に位置決めした状態の修正した表面３０を示す。

動的更新
本開示の実施形態は、追加の複合３Ｄビューがスキャンされたときに、複合３Ｄ表面の自動更新を行うことができる。既存の表面データコンテンツは、新たにスキャンしたビューからのデータで置き換えることができる。これは、技術者又は実行者が、問題を修正し、画質の改善が望まれ、又は、先のスキャニング処理がいくつかの画像コンテンツを誤った可能性のある領域を再度描写することを可能とする。これが実行されると、画像コンテンツを更新することが望ましい又は必要となるごとに、複合表面を形成し、誤りを修正する図３から６を参照して説明したプロセスが繰り返される。

本開示の実施形態は、図２Ａに示すような３Ｄビューの合成異常の自動的な検出及び修正を提供する。本開示の実施形態によると、ビューの合成プロセスは、ビューが取得されかつ目標３Ｄ表面に対してマッピングされると、観察者に結果を表示する。修正は、観察者介入を必要とせずに行われ、オブザーバは、図７Ａ〜８Ｂのディスプレイ８４に示すように、画像処理システムにより処理されたときに、合成の修正を見守ることができる。

本開示の他の実施形態によると、オペレータは表示された複合３Ｄ表面内で１つ又は複数の不完全に接続されたセグメントを識別する選択肢を有し、ここでは、不完全に接続されたセグメントが移動される。オペレータによる識別は、マウス又は他のポインタを使用すること、リストからセグメントを選択すること、又は、他の代替手段を含むことができる。応答して、システムは、識別した画像コンテンツを移動するために、自動的に関連データを再計算する。

本開示の他の実施形態によると、このシステムは、接続グラフでモデル化された隣接関係の配置にしたがって、配置を修正する必要のあるビューを特定する。これらのビューは、図７Ａに示すような線画など、ユーザに表示する際に選択のために強調表示されている。この後、オペレータは、強調表示されたビューの自動再配置の受け入れ、又は、選択したビューの削除、又は、これらのビューの自動再配置の拒否を選択しても良い。これに代え、オペレータは、例えばタッチスクリーンを使用して不完全に位置決めされたビューを示すことなどにより、不完全な配置を識別する命令を入力しても良い。

本開示の実施形態は、歯科イメージング用の３Ｄビューのスキャニング及び生成について主として説明するが、ここに記載の方法は、３Ｄビューのセットが組み合わされて複合３Ｄ表面を提供するためのどのような用途にも使用可能であることを理解することができる。表面は、不透明、半透明、又は、透明とすることもできる。イメージング用の表面の前処理は、イメージングのタイプの特性にしたがって必要としても良く、又は、必要としなくても良い。

１つの実施形態に合わせて、本発明は、電子メモリからアクセスされる画像データ上で実行する格納した命令を有するコンピュータプログラムを利用する。画像処理分野における当業者が理解できるように、本発明の実施形態のコンピュータプログラムは、パーソナルコンピュータ又はワークステーションなどの適切な汎用コンピュータシステムで利用することができる。しかし、ネットワークプロセッサを含む多くの他の形式のコンピュータシステムが、本発明のコンピュータプログラムを実行するために使用することができる。本発明の補法を実行するコンピュータプログラムは、コンピュータ可読記憶媒体に格納しても良い。この媒体は、例えば、ハードドライブ若しくは取外し可能デバイス若しくは磁気テープなどの磁気記憶媒体、光ディスク、光テープ若しくは機械可読バーコードなどの光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）若しくはリードオンリーメモリ（ＲＯＭ）などの固体電子記憶デバイス、又は、コンピュータプログラムを格納するために採用される他の物理的デバイス若しくは媒体を備えても良い。本発明の方法を実行するためのコンピュータプログラムは、更に、インターネット又は他の通信媒体により画像プロセッサに接続されるコンピュータ可読記憶媒体に格納しても良い。当業者は、このようなコンピュータ製品に相当するものをハードウェアに構成しても良いことを容易に理解する。

本開示の状況における「コンピュータアクセス可能メモリ」に相当する用語「メモリ」は、画像を記憶しかつ操作するために使用され、コンピュータシステムにアクセス可能な、任意の形式の一時的又はより永続的なデータ記憶作業空間を指すことができる。メモリは、例えば、磁気又は光学式記憶などの長期間記憶媒体を使用する非揮発性とすることができる。代替的に、メモリは、マイクロプロセッサ又は他の制御論路プロセッサデバイスにより一時的なバッファ又は作業空間として使用されるランダムアクセスメモリ（ＲＡＭ）などの電子回路を使用する、より揮発性の性質のものとすることができる。画像の表示は、記憶保存を必要とする。例えば、ディスプレイデータは、典型的には、ディスプレイデバイスに直接設けられ、表示したデータを提供するために、必要に応じて周期的にリフレッシュされる一時的な格納バッファに格納される。この一時的な記憶バッファは、本開示で使用される用語のように、メモリと考えることもできる。メモリは、更に、計算及び他の処理の中間及び最終結果を実行及び格納するためのデータ作業スペースとしても使用される。コンピュータアクセス可能メモリは、揮発性、不揮発性、又は、揮発性及び非揮発性のハイブリッド組み合わせとすることができる。

本発明のコンピュータプログラム製品は、周知の種々の画像操作アルゴリズム及びプロセスを使用しても良いことが理解される。更に、本発明のコンピュータプログラム製品は、ここには特別に示し又は説明してない実施に有益であるアルゴリズム及びプロセスを具体化しても良いことが理解される。このようなアルゴリズム及びプロセスは、画像処理分野の通常技術内である通常のユーティリティを包含しても良い。このようなアルゴリズム及びシステムの他の態様、並びに、画像を生成及びそうでなければ処理し、又は、本発明のコンピュータプログラム製品と共に作用するハードウェア及び／又はソフトウェアは、ここには特別に示し又は説明されておらず、当該分野で既知のこのようなアルゴリズム、システム、ハードウェア、コンポーネント及びエレメントから選択しても良い。

１つの実施形態では、対象物の３Ｄ表面を表示する方法は、コンピュータ上で少なくとも一部を実行でき、それぞれがパターン化された照明を使用して生成された対象物の３Ｄビューである複数の部材を有するセットを取得し、少なくとも部材間の変位にしたがって少なくともセットの１つの他の部材に対して３Ｄビューのセットの各部材が関連する関連データを生成し、生成された関連データにしたがって形成された対象物の複合表面を表示し、生成された関連データによって表示された複合面における１つ又は複数の位置決めの誤りを自動的に検出しかつ１つ又は複数の位置決めデータの誤りを修正するために関連データの少なくとも一部を再生成し、更に、再生成された関連データにより形成された修正済の複合表面を示すために、ディスプレイを変更すること、を含む。

本発明について、１つ又は複数の方法に対して説明してきたが、添付の請求の範囲の精神及び範囲から逸脱することなく、説明した実施例に対して変更及び／又は変形を施すことが可能である。更に、本発明の特定の特徴は複数の方法の１つに対して開示してきたが、このような特徴は、必要に応じて他の方法の１つ又は複数の特徴と組み合わせても良く、所与の又は特定の機能について有益である。用語「少なくとも１つの」は、表示されたアイテムの１つ又は複数を選択可能なことを意味する。用語「約」は、表示された値が、説明した実施形態に対してプロセス又は構造の不適合とならない限り、ある程度変更することができる。最後に「代表的」は、理想的であることを暗示するよりはむしろ、実施例として使用される説明を示す。本発明の他の実施形態については、ここに開示した発明の詳細及び実行を考察することにより、当業者に明らかとなる。したがって、ここに開示した実施形態はあらゆる点において説明のためであり、制限するものではないと考えられるものである。本発明の範囲は、添付の請求の範囲で示され、その均等の意味及び範囲内となる全ての変更は、そこに包含されることを意図するものである。

Claims (3)

1. 少なくとも一部がコンピュータで実行される、対象物の３Ｄ表面を表示する方法であって、
   各部材が前記対象物の３Ｄビューである複数の部材を有するセットを取得するステップと、
   少なくとも前記部材間の変位にしたがって前記セットの少なくとも１つの他の部材に対する３Ｄビューのセットの各部材に関連する関連データを生成するステップと、
   前記生成された関連データにしたがって、前記対象物の複合３Ｄ表面を形成するステップと、
   自動的に、前記生成された関連データにしたがって、前記複合３Ｄ表面の１つ又は複数の位置決めの誤りを検出し、前記１つ又は複数の位置決めの誤りを修正するために前記関連データの少なくとも一部を再生成するステップと、
   前記再生成された関連データにしたがって形成された修正複合３Ｄ表面を表示するステップと、
   を備える方法。
2. 位置の誤りを有する前記複合３Ｄ表面を表示し、自動修正中にディスプレイを更新するステップ、
   を更に備える、請求項１に記載の方法。
3. 前記３Ｄビューは、ポイントクラウドであるか、メッシュ又は距離画像であるか、パターン照明にしたがって生成されるか、若しくは、デジタルカメラを使用して取得される、請求項１に記載の方法。

Images