JP6608165B2 - 画像処理装置及び方法、並びにコンピュータプログラム - Google Patents
画像処理装置及び方法、並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP6608165B2 JP6608165B2 JP2015097380A JP2015097380A JP6608165B2 JP 6608165 B2 JP6608165 B2 JP 6608165B2 JP 2015097380 A JP2015097380 A JP 2015097380A JP 2015097380 A JP2015097380 A JP 2015097380A JP 6608165 B2 JP6608165 B2 JP 6608165B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional model
- model
- time
- shape
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置及び方法、並びにコンピュータプログラムに関する。
近年、患者への侵襲を少なくし術後のＱＯＬ向上等を図ることを目的として、内視鏡手術が数多く実施されている。この内視鏡手術は、患者の負担は軽減できる反面、術者への負担は増大する傾向にある。その原因の一つとして、微細な術具の操作が要求されることに加え、術中に視野の狭い二次元の内視鏡を観察しなければならず、モニタの注視と術野の確認との間で起こる視線方向の不一致が術者のストレスとなることが考えられる。
最近では、視覚的な術者の負担を軽減するために、複数の内視鏡カメラから立体視画像を作成する立体内視鏡を用いることで、３次元的な術部の提示が試みられている。
例えば、特許文献１には、アレイ状に配置されたカメラによって取得される多視点画像から、臓器等の対象物の３次元形状を復元するシステムが開示されている。
最近では、視覚的な術者の負担を軽減するために、複数の内視鏡カメラから立体視画像を作成する立体内視鏡を用いることで、３次元的な術部の提示が試みられている。
例えば、特許文献１には、アレイ状に配置されたカメラによって取得される多視点画像から、臓器等の対象物の３次元形状を復元するシステムが開示されている。
特許文献１に開示された技術は、時刻毎に変形する臓器の形状を独立して復元するものであり、時間の経過に伴う局所的な変位を求めることができない。
また、特許文献１には、複数のカメラから撮影した画像を用いて視体積交差法により臓器の３次元モデルを生成し、仮想的な視点から臓器を観察することも開示されている。しかし、視体積交差法を用いてより正確な３次元モデルを生成するには、多くのカメラが必要となる。特許文献１記載の技術では、多数のカメラを有する撮影装置を変形させることによって、体腔内の制限された空間に多くのカメラを配置することを可能にしているが、構造が極めて特殊となる。
また、特許文献１には、複数のカメラから撮影した画像を用いて視体積交差法により臓器の３次元モデルを生成し、仮想的な視点から臓器を観察することも開示されている。しかし、視体積交差法を用いてより正確な３次元モデルを生成するには、多くのカメラが必要となる。特許文献１記載の技術では、多数のカメラを有する撮影装置を変形させることによって、体腔内の制限された空間に多くのカメラを配置することを可能にしているが、構造が極めて特殊となる。
本発明は、形状の変化を伴う対象物について、より少ない画像を用いて精度よく当該変化を推定し、変化後の対象物の３次元モデルを取得することができる画像処理装置及び画像処理方法、並びにコンピュータプログラムを提供することを目的とする。
（１） 本発明に係る画像処理装置は、
第１の時刻における対象物の３次元モデルを記憶する記憶部と、
前記第１の時刻よりも後の第２の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成する生成部と、
所定の条件に応じて前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における対象物の形状として前記３次元モデルを更新する解析部と、を備えているものである。
第１の時刻における対象物の３次元モデルを記憶する記憶部と、
前記第１の時刻よりも後の第２の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成する生成部と、
所定の条件に応じて前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における対象物の形状として前記３次元モデルを更新する解析部と、を備えているものである。
上記構成によれば、例えば特許文献１記載のように視体積交差法によって生成した３次元モデルのみによって対象物の形状を取得するのではなく、記憶部に記憶された第１の時刻における３次元モデルを基準とする対象物の形状の変化（変位）を解析用モデルを用いて推定し、その変位を反映させた３次元モデルの形状を第２の時刻における対象物の形状とする。したがって、解析用モデルを生成するために多くの画像を必要とせず、精度よく対象物の形状の変化を推定し、３次元モデルを更新することができる。
（２） 前記解析用モデル上の前記対応箇所は、前記第１の時刻における前記３次元モデルから所定の範囲内に配置されることを条件として探索されることが好ましい。
例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられる。したがって、解析用モデル上の対応箇所を探索する際に、第１の時刻における３次元モデルから所定の範囲内に配置されていることを条件とすることで、大きな形状の変化を排除することができる。
例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられる。したがって、解析用モデル上の対応箇所を探索する際に、第１の時刻における３次元モデルから所定の範囲内に配置されていることを条件とすることで、大きな形状の変化を排除することができる。
（３） 前記解析用モデル上の前記対応箇所は、前記画像を撮影するカメラの視線方向に対して略垂直な法線を有することを条件として探索されてもよい。
解析用モデル上において、カメラの視線方向に略垂直な法線を有する箇所は、第２の時刻における対象物が内接する箇所である可能性が高い。そのため、解析用モデル上の対応箇所を探索する際に、カメラの視線方向に略垂直な法線を有することを条件とすることで、変形後の対象物上の箇所又はそれに近い箇所を探索することができる。
解析用モデル上において、カメラの視線方向に略垂直な法線を有する箇所は、第２の時刻における対象物が内接する箇所である可能性が高い。そのため、解析用モデル上の対応箇所を探索する際に、カメラの視線方向に略垂直な法線を有することを条件とすることで、変形後の対象物上の箇所又はそれに近い箇所を探索することができる。
（４） 前記３次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所から最も近いことを条件として探索されてもよい。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられるので、３次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所から最も近いことを条件とすることで、第１の時刻における３次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないと考えられるので、３次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所から最も近いことを条件とすることで、第１の時刻における３次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
（５） 前記３次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所と近似する法線ベクトルを有することを条件として探索されてもよい。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないので、３次元モデルと解析用モデルとが対応する箇所においては、法線ベクトルも近似していると考えられる。そのため、３次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所と法線ベクトルが近似することを条件とすることで、第１の時刻における３次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
前述したように、例えば、手術中の臓器を対象物とする場合、その形状の変化はそれほど大きくならないので、３次元モデルと解析用モデルとが対応する箇所においては、法線ベクトルも近似していると考えられる。そのため、３次元モデル上の対応箇所を探索する際に、解析用モデル上の対応箇所と法線ベクトルが近似することを条件とすることで、第１の時刻における３次元モデルと解析用モデルとが対応する箇所を適切に取得することができる。
（６） 前記３次元モデルと前記解析用モデルとの対応箇所は、色、模様、及びテクスチャの少なくとも一つが互いに近似していることを条件として探索されてもよい。
この構成によれば、３次元モデル及び解析用モデルに、予め色、模様、又はテクスチャの情報を付与しておけば、これらが互いに近似する箇所を、３次元モデルと解析用モデルとが対応する箇所として設定することができる。なお、テクスチャとは、対象物の表面の材質や凹凸等を表す質感をいう。
この構成によれば、３次元モデル及び解析用モデルに、予め色、模様、又はテクスチャの情報を付与しておけば、これらが互いに近似する箇所を、３次元モデルと解析用モデルとが対応する箇所として設定することができる。なお、テクスチャとは、対象物の表面の材質や凹凸等を表す質感をいう。
（７） 前記解析部は、前記３次元モデルと前記解析用モデルとの対応箇所の探索から、前記第２の時刻における前記３次元モデルの更新までの処理を複数回反復して実行し、直前の実行からの形状の差分が所定の閾値以下の場合に、前記処理を終了することが好ましい。
このような構成によって、形状の変化を適切に反映した３次元モデルの更新を行うことができる。
このような構成によって、形状の変化を適切に反映した３次元モデルの更新を行うことができる。
（８） 本発明の画像処理方法は、
コンピュータにより構成された画像処理装置による画像処理方法であって、
前記コンピュータが、第１の時刻における対象物の３次元モデルを記憶するステップと、
前記コンピュータが、前記第１の時刻よりも後の第２の時刻における対象物の画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成するステップと、
前記コンピュータが、前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における前記３次元モデルの形状を更新するステップとを含むものである。
コンピュータにより構成された画像処理装置による画像処理方法であって、
前記コンピュータが、第１の時刻における対象物の３次元モデルを記憶するステップと、
前記コンピュータが、前記第１の時刻よりも後の第２の時刻における対象物の画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成するステップと、
前記コンピュータが、前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における前記３次元モデルの形状を更新するステップとを含むものである。
（９） 本発明のコンピュータプログラムは、
第１の時刻における対象物の３次元モデルを、時間の経過に伴う変形を反映させた状態で更新させるコンピュータプログラムであって、
前記第１の時刻よりも後の第２の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成する生成部、及び
前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における前記３次元モデルの形状を更新する解析部、としてコンピュータを機能させるものである。
第１の時刻における対象物の３次元モデルを、時間の経過に伴う変形を反映させた状態で更新させるコンピュータプログラムであって、
前記第１の時刻よりも後の第２の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成する生成部、及び
前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における前記３次元モデルの形状を更新する解析部、としてコンピュータを機能させるものである。
本発明によれば、形状の変化を伴う対象物について、より少ない画像を用いて精度よく変化を推定することができる。
以下、図面を参照して本発明の実施形態を詳細に説明する。
［画像処理システムの全体構成］
図１は、本発明の実施形態に係る画像処理システムの説明図である。
本実施形態の画像処理システム１０は、解析対象物を画像を撮影するカメラ（撮像装置）１１と、カメラ１１により撮影された画像を処理する画像処理装置１２と、画像処理装置１２の出力結果を表示する表示装置１３とを備えている。
［画像処理システムの全体構成］
図１は、本発明の実施形態に係る画像処理システムの説明図である。
本実施形態の画像処理システム１０は、解析対象物を画像を撮影するカメラ（撮像装置）１１と、カメラ１１により撮影された画像を処理する画像処理装置１２と、画像処理装置１２の出力結果を表示する表示装置１３とを備えている。
この画像処理システム１０は、例えば、内視鏡下手術の支援のために用いることができる。この場合、患者の体内に配置された内視鏡等のカメラ１１によって臓器等の術部を撮影し、その画像を画像処理装置１２が処理することによって、仮想的な視点を含め所望の視点から術部を観察するような画像を生成し、生成された画像を、術者又は手術スタッフ（以下、「術者等」ともいう）の視界に配置されたモニター、又は、術者等が装着したヘッドマウントディスプレイ等からなる表示装置１３に表示させることができる。
また、本実施形態の画像処理システム１０は、変形を伴う物体を処理の対象物としている。前述したように手術支援のために画像処理システムを用いる場合、手術の対象となる臓器や血管等は柔軟な物体であるため、術具等から外力が作用することによって容易に変形する。また、臓器や血管が自ら変形することもある。本実施形態の画像処理システムは、このような対象物の変形、特に局所的な変形を推定して３次元モデルを生成し、その３次元モデルから取得される画像を術者に提供することを可能にする。
本実施形態のカメラ１１は、ＣＣＤやＣＭＯＳ等の撮像素子を備えたものを使用することができる。また、本実施形態の画像処理システム１０は、複数のカメラ１１を使用する。複数のカメラ１１によって撮像された画像の情報は、画像処理装置１２に入力される。
画像処理装置１２は、例えばパーソナルコンピュータから構成され、ＣＰＵ等の演算部と、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶部と、各種入出力インターフェース等を有している。カメラ１１によって撮影された画像の情報は、入出力インタフェースを介して画像処理装置１２に入力される。そして、画像処理装置１２の演算部は、記憶部にインストールされたプログラムを実行することによって、入力された画像情報を用いて画像を解析し、解析後の画像を表示装置１３に表示させる。記憶部には、画像の解析に用いられる種々の情報が記憶されている。
画像処理装置１２は、その機能構成として、カメラ１１から画像情報の入力を受け付ける入力受付部２１と、入力された画像情報を処理する処理部２２と、対象物の３次元モデルを記憶する記憶部２３とを有している。
また、処理部２２は、変形後の対象物を撮影したカメラ１１の画像から解析用モデルを生成する生成部３１と、解析用モデルを用いて対象物の変形（変位）を推定し、変形後の対象物の３次元モデルを生成する解析部３２とを備えている。記憶部２３は、パーソナルコンピュータのメモリーやハードディスク等によって構成される。
また、処理部２２は、変形後の対象物を撮影したカメラ１１の画像から解析用モデルを生成する生成部３１と、解析用モデルを用いて対象物の変形（変位）を推定し、変形後の対象物の３次元モデルを生成する解析部３２とを備えている。記憶部２３は、パーソナルコンピュータのメモリーやハードディスク等によって構成される。
［処理部２２における処理内容］
以下、画像処理装置１２における処理部２２の生成部３１及び解析部３２の具体的な処理を詳細に説明する。
図２は、画像処理装置１２による変形推定処理の流れを示す図である。
本実施形態の画像処理装置１２は、臓器等の対象物を３次元でモデル化し、そのモデルを用いて時間の経過に伴う対象物の変形を推定し、推定された変位によってモデルの形状を随時更新する処理を行う。本実施形態では、３次元モデルとして、対象物の表面を三角形のメッシュ（ポリゴンメッシュ）により表現したメッシュモデルＭが用いられる。そして、現時刻ｔ（第１の時刻）における３次元モデルＭ（ｔ）から、次時刻ｔ＋１（第２の時刻）における変形後の３次元モデルＭ（ｔ＋１）が生成される。この対象物の変位の推定のために、カメラ１１によって撮影されたＮ枚の画像Ｉｋ（ｔ＋１）（ｋ＝１，…，Ｎ）が利用される。
以下、画像処理装置１２における処理部２２の生成部３１及び解析部３２の具体的な処理を詳細に説明する。
図２は、画像処理装置１２による変形推定処理の流れを示す図である。
本実施形態の画像処理装置１２は、臓器等の対象物を３次元でモデル化し、そのモデルを用いて時間の経過に伴う対象物の変形を推定し、推定された変位によってモデルの形状を随時更新する処理を行う。本実施形態では、３次元モデルとして、対象物の表面を三角形のメッシュ（ポリゴンメッシュ）により表現したメッシュモデルＭが用いられる。そして、現時刻ｔ（第１の時刻）における３次元モデルＭ（ｔ）から、次時刻ｔ＋１（第２の時刻）における変形後の３次元モデルＭ（ｔ＋１）が生成される。この対象物の変位の推定のために、カメラ１１によって撮影されたＮ枚の画像Ｉｋ（ｔ＋１）（ｋ＝１，…，Ｎ）が利用される。
画像処理装置１２の記憶部２３には、解析処理を実行する前の段階で、予め対象物の初期形状の３次元モデルＭ（０）が既知データとして記憶されている。初期形状の３次元モデル（初期３次元モデルともいう）Ｍ（０）は、例えば対象物のＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像を用いて生成される。対象物が手術の対象となる臓器である場合には、術前に撮影された臓器のＣＴ画像から初期３次元モデルＭ（０）を生成することができる。
そして、カメラ１１によって撮影された次時刻の対象物の画像Ｉｋ（１）を用い、初期３次元モデルＭ（０）から次時刻の３次元モデルＭ（１）を生成する。さらに、次々時刻の解析対象物の画像Ｉｋ（２）を用いることによって、次時刻の３次元モデルＭ（１）から、次々時刻の３次元モデルＭ（２）を生成する。このように、時間の経過に従って初期３次元モデルＭ（０）から順次３次元モデルＭを更新していくことによって、対象物の変形を反映させた画像をほぼリアルタイムに術者等に提供することができる。なお、初期３次元モデルや更新された３次元モデルは、随時記憶部２３（図１参照）に記憶され、術者等への画像の提供のため、及び、次の更新のために利用される。
図３は、変形推定処理のアルゴリズムの概念図、図４は、ビジュアルハル（視体積交差領域）を説明する図である。
画像処理装置１２における生成部３１は、カメラ１１によって撮影された複数の画像Ｉｋ（ｔ＋１）からビジュアルハル（Ｖｉｓｕａｌ ｈｕｌｌ）を生成する。図３には、時刻ｔにおける３次元モデルＭ（ｔ）と、時刻ｔ＋１における３次元モデルＭ（ｔ＋１）と、ビジュアルハルＨ（ｔ＋１）との関係が示されている。
画像処理装置１２における生成部３１は、カメラ１１によって撮影された複数の画像Ｉｋ（ｔ＋１）からビジュアルハル（Ｖｉｓｕａｌ ｈｕｌｌ）を生成する。図３には、時刻ｔにおける３次元モデルＭ（ｔ）と、時刻ｔ＋１における３次元モデルＭ（ｔ＋１）と、ビジュアルハルＨ（ｔ＋１）との関係が示されている。
ビジュアルハルは次のように生成することができる。まず、図５に示すように、複数のカメラ１１によって対象物Ａを撮影する。この撮影によって取得される画像Ｇ１には、対象物Ａのシルエット（輪郭）を含む情報が映し出される。そして、生成部３１は、この画像Ｇ１中における対象物を１、背景を０として二値化した「シルエット画像」を生成する。
ついで、図４に示すように、シルエット画像Ｇ２を、各視点から３次元空間に逆投影し、各視点から３次元空間に向けて生成される錐体（視体積）が互いに交差する領域をビジュアルハル（視体積交差領域）Ｈとする。本実施形態では、ビジュアルハルＨは、変形後のメッシュモデルＭの頂点を推定する際の制約条件の１つである視体積制約となる。また、ビジュアルハルＨは、本発明における解析用モデルに相当する。
図６は、ビジュアルハルＨを生成するためのボクセルデータを示す説明図である。
ビジュアルハルＨをコンピュータ上で生成するには、例えば図６（ａ）に示すように、２５６×２５６×２５６個の各ボクセルに初期値として１を与えたボリュームデータを用意し、カメラ１１の位置及び視線の情報を用いて、各ボクセルを各シルエット画像Ｇ２上へ投影する。そして、投影された点が全てシルエット内部に位置する場合は、ボクセル値を１とし、それ以外は０に変更する。これによって得られる２値のボリュームデータ（図６（ｂ）参照）に対して、公知のマーチングキューブ法を適用することにより、三角形メッシュモデルを生成し、これをビジュアルハルＨとする。
ビジュアルハルＨをコンピュータ上で生成するには、例えば図６（ａ）に示すように、２５６×２５６×２５６個の各ボクセルに初期値として１を与えたボリュームデータを用意し、カメラ１１の位置及び視線の情報を用いて、各ボクセルを各シルエット画像Ｇ２上へ投影する。そして、投影された点が全てシルエット内部に位置する場合は、ボクセル値を１とし、それ以外は０に変更する。これによって得られる２値のボリュームデータ（図６（ｂ）参照）に対して、公知のマーチングキューブ法を適用することにより、三角形メッシュモデルを生成し、これをビジュアルハルＨとする。
一般に、ビジュアルハルＨは、次の１〜４のような性質を有している。
１．シルエット情報から復元できる形状の中で体積が最大である。
２．原理的に必ず凸形状を有する。
３．対象物を必ず内包する。
４．シルエット境界近傍の対象物の表面上の点における法線ベクトルは、なめらかな形状であればカメラの視線ベクトル（視線方向）と直交する。なお、視線ベクトルとは、カメラ１１のレンズ中心からカメラ１１の焦点へ向かうベクトルである。
１．シルエット情報から復元できる形状の中で体積が最大である。
２．原理的に必ず凸形状を有する。
３．対象物を必ず内包する。
４．シルエット境界近傍の対象物の表面上の点における法線ベクトルは、なめらかな形状であればカメラの視線ベクトル（視線方向）と直交する。なお、視線ベクトルとは、カメラ１１のレンズ中心からカメラ１１の焦点へ向かうベクトルである。
上記の性質３により、図３に示すように、時刻ｔ＋１における対象物の３次元モデルＭ（ｔ＋１）は、ビジュアルハルＨ（ｔ＋１）に内接する形状と推定することができる。図３において、３次元モデルＭ（ｔ＋１）がビジュアルハルＨ（ｔ＋１）に内接する点を○印で示している。
また、上記の性質４により、視線ベクトルと直交する法線ベクトルを有する対象物の表面上の点は、実際の対象物の形状（以下、「真の形状」ともいう）とビジュアルハルＨ（ｔ＋１）との接点、あるいはその近傍となる可能性が高いといえる。
本実施形態では、上記３及び４の性質を利用し、ビジュアルハルＨ（ｔ＋１）と３次元モデルＭ（ｔ）のそれぞれに対して接点候補を算出し対応付けることで、３次元モデルＭ（ｔ＋１）を推定するための制約条件である視体積制約とする。
本実施形態では、上記３及び４の性質を利用し、ビジュアルハルＨ（ｔ＋１）と３次元モデルＭ（ｔ）のそれぞれに対して接点候補を算出し対応付けることで、３次元モデルＭ（ｔ＋１）を推定するための制約条件である視体積制約とする。
本実施形態で用いるアルゴリズムでは、変形後の３次元モデルＭ（ｔ＋１）の頂点を推定する際の制約条件として、前述の視体積制約に加えて、「形状保持制約」をも用いる。形状保持制約は、ある時刻ｔと次の時刻ｔ＋１との間では、解析対象物は大きく変形せず、概ね形状が保持されることを制約とするものである。この制約のために、本実施形態では、平均曲率法線を解析対象物の形状を示す指標として用いる。この平均曲率法線は、図７に示すように、任意の曲面ｆ上のある点の接平面の法線方向に平均曲率を大きさとして持つベクトルのことをいう。
また、本実施形態では、滑らかな３次元モデルＭ（ｔ）の各頂点における平均曲率法線の近似的な算出法として、離散ラプラシアンを用いる。この離散ラプラシアンδｉは、次の式（１）で表すことができる。
ここで、ｉは、メッシュモデルＭ（ｔ）におけるメッシュの頂点の番号、ｖｉは、ｉ番目の頂点の座標、ｖｊは、ｉ番目の頂点に隣接する頂点の座標、｜Ｎ（ｉ）｜は、ｉ番目の頂点に隣接する頂点の個数である。
本実施形態では、式（１）で定義される離散ラプラシアンδｉの集合であるＬ（ｔ）をアルゴリズムにおける形状記述子として用い、このＬ（ｔ）をできるだけ保持しつつ現時刻の３次元モデルＭ（ｔ）を更新して次時刻の３次元モデルＭ（ｔ＋１）を求める。具体的には、各点における離散ラプラシアンの差（ずれ）を最小化するような全体形状を最小二乗法に基づいて算出し、修正することによって形状の保持を達成する。
以上より、本実施形態のアルゴリズムにおいては、以下の流れで処理が行われる。
（ステップ１）Ｎ枚のカメラ画像Ｉｋ（ｔ＋１）（ｋ＝１，…，Ｎ）の各シルエット画像からビジュアルハルＨ（ｔ＋１）を生成する。
（ステップ２）現時刻の３次元モデルＭ（ｔ）により形状記述子Ｌ（ｔ）を算出する。
（ステップ３）形状記述子Ｌ（ｔ）をできるだけ保持しつつ、Ｈ（ｔ＋１）から得られる制約条件を満たす３次元モデルＭ（ｔ＋１）の推定形状を算出する。
（ステップ１）Ｎ枚のカメラ画像Ｉｋ（ｔ＋１）（ｋ＝１，…，Ｎ）の各シルエット画像からビジュアルハルＨ（ｔ＋１）を生成する。
（ステップ２）現時刻の３次元モデルＭ（ｔ）により形状記述子Ｌ（ｔ）を算出する。
（ステップ３）形状記述子Ｌ（ｔ）をできるだけ保持しつつ、Ｈ（ｔ＋１）から得られる制約条件を満たす３次元モデルＭ（ｔ＋１）の推定形状を算出する。
［推定形状の算出方法］
次に、上記アルゴリズムのステップ３における３次元モデルＭ（ｔ＋１）の推定形状の算出方法について、より詳細に説明する。このステップ３は、主に、次の５つの手順からなる。
（手順１）ｖｄの探索
（手順２）ｖｓの探索
（手順３）位置制約の設定
（手順４）形状保持制約の適用
（手順５）反復試行
次に、上記アルゴリズムのステップ３における３次元モデルＭ（ｔ＋１）の推定形状の算出方法について、より詳細に説明する。このステップ３は、主に、次の５つの手順からなる。
（手順１）ｖｄの探索
（手順２）ｖｓの探索
（手順３）位置制約の設定
（手順４）形状保持制約の適用
（手順５）反復試行
（手順１）
前述したように、ビジュアルハルは、視線ベクトルと直交する法線を有する対象物の表面上の点は、真の形状とビジュアルハルとの接点、あるいはその近傍である可能性が高い、という性質を有する。このような性質を用い、３次元モデルＭ（ｔ＋１）との接点である可能性が高いビジュアルハルＨ（ｔ＋１）上の点ｖｄの集合Ｖｄを算出する。
前述したように、ビジュアルハルは、視線ベクトルと直交する法線を有する対象物の表面上の点は、真の形状とビジュアルハルとの接点、あるいはその近傍である可能性が高い、という性質を有する。このような性質を用い、３次元モデルＭ（ｔ＋１）との接点である可能性が高いビジュアルハルＨ（ｔ＋１）上の点ｖｄの集合Ｖｄを算出する。
具体的には、次の条件１及び２を満たすような点を探索することで集合Ｖｄを算出する。
条件１：ｖｄは、各カメラの視線ベクトルｅｋに概ね垂直（９０°±ε（ただし、εはごく小さい任意の実数））な法線ｎｄを有する。
条件２：ｖｄは、３次元モデルＭ（ｔ）の表面上の少なくとも１点から距離ｄｔｈ以内にある。
条件１：ｖｄは、各カメラの視線ベクトルｅｋに概ね垂直（９０°±ε（ただし、εはごく小さい任意の実数））な法線ｎｄを有する。
条件２：ｖｄは、３次元モデルＭ（ｔ）の表面上の少なくとも１点から距離ｄｔｈ以内にある。
条件１及び条件２をそれぞれ定式化すると、次の式（２）及び式（３）で表すことができる。
ただし、ｖは、３次元モデルＭ（ｔ）上の任意の点、ｎｄはｖｄの正規化された法線である。
条件１及び式（２）は、上述したようなビジュアルハルの性質４を利用したものである。条件１において、「概ね垂直」としているのは、ビジュアルハルＨ（ｔ＋１）及び３次元モデルＭ（ｔ）はともにメッシュモデルであって連続的な曲面ではなく、真に垂直な法線をもつ曲面上の１点が必ずしもメッシュの頂点にはならないからである。
条件２及び式（３）は、法線は概ね一致しているが３次元モデルＭ（ｔ）のどの頂点からも閾値ｄｔｈ以上離れている点は、接点又はその近傍である可能性が低いため、探索から除外するために用いている。この条件２及び式（３）は、時刻ｔと時刻ｔ＋１との間に、ビジュアルハルＨ（ｔ＋１）と３次元モデルＭ（ｔ）の対応する接点は互いに大きく離れることはないという前提を反映したものである。
（手順２）
次に、集合Ｖｄの各点ｖｄごとに３次元モデルＭ（ｔ）上の接点（対応点）ｖｓを求め、その集合Ｖｓを算出する。これは、上述したように、滑らかな形状であれば、真の形状とビジュアルハルとの接点において法線ベクトルは一致している、という事実に基づく。
集合Ｖｓを算出するとき、以下の指標を用いる。
（指標１）３次元モデルＭ（ｔ）上の各点が、ｖｄからどれだけ近いか
（指標２）３次元モデルＭ（ｔ）上の各点の法線ベクトルｎｓと、ｖｄの法線ベクトルｎｄの差分がどれだけ小さいか。
次に、集合Ｖｄの各点ｖｄごとに３次元モデルＭ（ｔ）上の接点（対応点）ｖｓを求め、その集合Ｖｓを算出する。これは、上述したように、滑らかな形状であれば、真の形状とビジュアルハルとの接点において法線ベクトルは一致している、という事実に基づく。
集合Ｖｓを算出するとき、以下の指標を用いる。
（指標１）３次元モデルＭ（ｔ）上の各点が、ｖｄからどれだけ近いか
（指標２）３次元モデルＭ（ｔ）上の各点の法線ベクトルｎｓと、ｖｄの法線ベクトルｎｄの差分がどれだけ小さいか。
そして、上記の指標１及び指標２に基づいて、次の式（４）で表される評価値Ｑを求める。
（手順３）
手順２で求めた、ｖｓとｖｄとの対応関係を用い、３次元モデルＭ（ｔ）がビジュアルハルＨ（ｔ＋１）に接するような位置制約を与える。
図８は、内接条件を示す模式図である。特に、図８（ａ）は、内接条件を二次元で示したもの、図８（ｂ）は、内接条件を３次元で示したものである。
手順２で求めた、ｖｓとｖｄとの対応関係を用い、３次元モデルＭ（ｔ）がビジュアルハルＨ（ｔ＋１）に接するような位置制約を与える。
図８は、内接条件を示す模式図である。特に、図８（ａ）は、内接条件を二次元で示したもの、図８（ｂ）は、内接条件を３次元で示したものである。
手順１において、ビジュアルハルＨ（ｔ＋１）と３次元モデルＭ（ｔ）とは、ともに多数の頂点を有する３次元モデルであるため、連続的な曲面ではない。したがって、ビジュアルハルＨ（ｔ＋１）と３次元モデルＭ（ｔ）とは、必ずしも点ｖｄと点ｖｓで接するとは限らない。そのため、点ｖｄにおいて、３次元モデルＭ（ｔ）上の曲面が接するような位置制約を与えることで内接条件を達成する。
具体的には、図８（ｂ）に示すように、点ｖｓを法線ｎｄの方向にｎｄ・（ｖｄ−ｖｓ）の大きさだけ変位させる。
また、本実施形態では、ｖｓの過度の変位を抑制するために変位量に所定のパラメータを設定している。具体的には、次の式（５）を用いて、点ｖｓをｕｉの位置に変位させる。
また、本実施形態では、ｖｓの過度の変位を抑制するために変位量に所定のパラメータを設定している。具体的には、次の式（５）を用いて、点ｖｓをｕｉの位置に変位させる。
ここで、Ｐａは、変位量を抑制するためのパラメータであり、０＜Ｐａ≦１．０の範囲で設定することができる。Ｐａ＝１．０の場合、点ｖｓは、図８（ｂ）における点ｖｓ’に変位することになる。
（手順４）
手順４においては、解析対象物の変形前後の離散ラプラシアンのずれ（差）を最小化する形状を、位置制約を満たすように最小二乗法に基づいて更新する。反復試行の中では、常に反復試行を行う前の離散ラプラシアンＬ（ｔ）とのずれを用いて形状を更新していく。更新後の頂点座標ｖｉは、次の式（６）によって求めることができる。
手順４においては、解析対象物の変形前後の離散ラプラシアンのずれ（差）を最小化する形状を、位置制約を満たすように最小二乗法に基づいて更新する。反復試行の中では、常に反復試行を行う前の離散ラプラシアンＬ（ｔ）とのずれを用いて形状を更新していく。更新後の頂点座標ｖｉは、次の式（６）によって求めることができる。
ｉは、３次元モデルの頂点の番号、ｖｉは、ｉ番目の頂点の座標、ｖｊは、ｉ番目の頂点に隣接する頂点の座標、｜Ｎ（ｉ）｜は、ｉ番目の頂点に隣接する頂点の個数である。また、Ｐは変位を与えた頂点の集合、δｉ’は、試行前の離散ラプラシアンである。ｕｉは、前述の式（５）により求められ、手順３において点ｖｓを変位させた後の頂点である。
また、ｗｉは、離散ラプラシアンに対する重み付け、λｉは、位置制約に対する重み付けである。ｗｉ及びλｉは、試行実験結果に基づいて定めることができ、例えば、ｗｉ＝１．０、λｉ＝１．０とすることができる。
また、ｗｉは、離散ラプラシアンに対する重み付け、λｉは、位置制約に対する重み付けである。ｗｉ及びλｉは、試行実験結果に基づいて定めることができ、例えば、ｗｉ＝１．０、λｉ＝１．０とすることができる。
式（６）は、関数の値が最小になる頂点ｖｉの位置を求めるものであり、この式を満たすｖｉの集合を求めることで、３次元モデルの形状を保持しつつ、位置制約を満たした形状の更新を行うことができる。
（手順５）
手順５においては、試行前からの形状の差分が、所定の閾値以下になった時点で更新を終了し、その時点での形状をＭ（ｔ＋１）として出力し、そうでなければ再び手順１から試行を行う。この閾値は、例えば、変位が５〜３０ｍｍ程度を想定した場合に十分小さいとみなせる、０．００１ｍｍ程度とすることができる。
手順５においては、試行前からの形状の差分が、所定の閾値以下になった時点で更新を終了し、その時点での形状をＭ（ｔ＋１）として出力し、そうでなければ再び手順１から試行を行う。この閾値は、例えば、変位が５〜３０ｍｍ程度を想定した場合に十分小さいとみなせる、０．００１ｍｍ程度とすることができる。
また、この反復試行中は、反復ごとの更新量を制限することによって少しずつ修正を行う。この制限は、上述の式（５）により設定したパラメータＰａにより設定することができる。例えば、Ｐａ＝０．２５に設定することによって、更新量を２５％に制限することができる。この工程により更新量が大きい場合の過修正を防ぎ、より推定誤りの少ない推定結果を得ることができる。
［評価実験］
本出願の発明者は、上記において説明したアルゴリズムの有効性を確認するため、評価実験を行った。この評価実験では、時刻ｔ＝０における対象物の初期形状を既知とし、時刻ｔ＝１における変形した対象物の形状を、２〜４台のカメラにより撮影してシルエット画像を取得し、このシルエット画像から生成した解析用モデル（ビジュアルハル）を用いて変位を推定した。また、後述する推定誤差を算出し、その誤差により推定精度を検証した。
本出願の発明者は、上記において説明したアルゴリズムの有効性を確認するため、評価実験を行った。この評価実験では、時刻ｔ＝０における対象物の初期形状を既知とし、時刻ｔ＝１における変形した対象物の形状を、２〜４台のカメラにより撮影してシルエット画像を取得し、このシルエット画像から生成した解析用モデル（ビジュアルハル）を用いて変位を推定した。また、後述する推定誤差を算出し、その誤差により推定精度を検証した。
この評価実験では、対象物の初期形状の３次元モデルの一端に一定の外力を加えて変形させた形状を時刻ｔ＝１の真の形状とした。この３次元モデルの変形には、弾性変形解析に用いられる有限要素法を用いた。そして、ｔ＝１の変形後のビジュアルハルを用いて上述したアルゴリズムにより初期形状の３次元モデルを更新し、更新後の３次元モデルと真の形状との推定精度を定量的に評価した。
初期形状の３次元モデルは、ジオメトリモデリングソフトウェアであるマーキュリー社製のＡｖｉｚｏを用いてＣＴデータからメッシュモデルとして生成した。
図９には、評価の対象となる臓器としての肝臓及び腎臓と、直方体形状の角材との３種類の３次元モデルを示す。この評価実験では、背景を黒とし、３次元モデルのサーフェスを白とすることで、シルエット画像を取得しやすい状態とした。図９の左側には、３次元モデルを＋ｙ方向から見た形状、右側には、３次元モデルを−ｚ方向から見た形状をそれぞれ示す。
図９には、評価の対象となる臓器としての肝臓及び腎臓と、直方体形状の角材との３種類の３次元モデルを示す。この評価実験では、背景を黒とし、３次元モデルのサーフェスを白とすることで、シルエット画像を取得しやすい状態とした。図９の左側には、３次元モデルを＋ｙ方向から見た形状、右側には、３次元モデルを−ｚ方向から見た形状をそれぞれ示す。
評価実験は、以下の手順で行った。
（ａ）初期形状の四面体メッシュモデルＭ（０）を予めを用意した。
（ｂ）有限要素法に基づいて初期形状の３次元モデルＭ（０）の一端に−ｚ方向に、一定の外力を与え、変形した３次元モデル（真の形状）を作成した。
（ｃ）複数台のカメラの配置を想定した各視点から変形後の３次元モデルの形状をキャプチャし、ビジュアルハル（解析用モデル）Ｈ（１）を取得した。
（ｄ）上記に説明したアルゴリズムに基づいて、初期形状の３次元モデルＭ（０）と、ビジュアルハルＨ（１）とから推定される３次元モデルＭ（１）を算出した。
（ｅ）推定された３次元モデルＭ（１）と真の形状の３次元モデルとの間で推定誤差を求め、評価した。
（ａ）初期形状の四面体メッシュモデルＭ（０）を予めを用意した。
（ｂ）有限要素法に基づいて初期形状の３次元モデルＭ（０）の一端に−ｚ方向に、一定の外力を与え、変形した３次元モデル（真の形状）を作成した。
（ｃ）複数台のカメラの配置を想定した各視点から変形後の３次元モデルの形状をキャプチャし、ビジュアルハル（解析用モデル）Ｈ（１）を取得した。
（ｄ）上記に説明したアルゴリズムに基づいて、初期形状の３次元モデルＭ（０）と、ビジュアルハルＨ（１）とから推定される３次元モデルＭ（１）を算出した。
（ｅ）推定された３次元モデルＭ（１）と真の形状の３次元モデルとの間で推定誤差を求め、評価した。
上記手順（ｃ）において、カメラの配置は、図１０に示すものを想定した。図１０（ａ）においては、ｘｙ平面上に原点を中心に視野角±１５°をなすよう２台のカメラを配置した。この配置を、「カメラ位置（１）」という。
図１０（ｂ）においては、ｘｙ平面上に原点を中心に視野角±３０°で２台のカメラを配置し、ｘｚ平面と平行な面上で、前記２台のカメラと正三角形の配置となるように３台目のカメラを配置した。この配置を、「カメラ位置（２）」という。
図１０（ｂ）においては、ｘｙ平面上に原点を中心に視野角±３０°で２台のカメラを配置し、ｘｚ平面と平行な面上で、前記２台のカメラと正三角形の配置となるように３台目のカメラを配置した。この配置を、「カメラ位置（２）」という。
図１０（ｃ）においては、ｘｙ平面上に４台のカメラを配置したものであり、そのうち２台のカメラを視野角±１５°をなすように配置し、他の２台のカメラを視野角±３０°をなすように配置した。この配置を、「カメラ位置（３−ａ）」という。
図１０（ｄ）においては、ｘｙ平面上で視野角±３０°をなす２台のカメラと、ｙｚ平面上で視野角３０°をなす２台のカメラとを配置し、合計４台のカメラを十字状に配置した。この配置を、「カメラ位置（３−ｂ）」という。
図１０（ｄ）においては、ｘｙ平面上で視野角±３０°をなす２台のカメラと、ｙｚ平面上で視野角３０°をなす２台のカメラとを配置し、合計４台のカメラを十字状に配置した。この配置を、「カメラ位置（３−ｂ）」という。
上記手順（ｄ）において、肝臓のモデルについては、以下の設定で評価実験を行った。
まず、アルゴリズムの手順１で用いる閾値ｄｔｈを５．０ｍｍ、７．５ｍｍ、１０．０ｍｍ、１２．５ｍｍの４段階に設定した。また、初期形状の３次元モデルＭ（０）に外力を与えた点の変位量を５ｍｍ〜３０ｍｍの間で６段階に設定した。したがって、閾値ｄｔｈと変位量の各段階を組み合わせて、合計２４通りのパターンで評価実験を行った。
また、各パターンについて、カメラの配置を、カメラ位置（１），（２），（３−ａ），（３−ｂ）の４通りとした。
まず、アルゴリズムの手順１で用いる閾値ｄｔｈを５．０ｍｍ、７．５ｍｍ、１０．０ｍｍ、１２．５ｍｍの４段階に設定した。また、初期形状の３次元モデルＭ（０）に外力を与えた点の変位量を５ｍｍ〜３０ｍｍの間で６段階に設定した。したがって、閾値ｄｔｈと変位量の各段階を組み合わせて、合計２４通りのパターンで評価実験を行った。
また、各パターンについて、カメラの配置を、カメラ位置（１），（２），（３−ａ），（３−ｂ）の４通りとした。
腎臓及び角材のモデルについては、カメラの配置をカメラ位置（３−ｂ）とし、上記の２４通りのパターンで評価実験を行った。
また、アルゴリズムの手順５で行う反復試行は、推定誤差の差分が０．００２５６ｍｍ以下になるまで繰り返した。また、反復試行が１０００回に達したら停止することとした。推定誤差には、次の式（７）に示すＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）を採用した。
また、アルゴリズムの手順５で行う反復試行は、推定誤差の差分が０．００２５６ｍｍ以下になるまで繰り返した。また、反復試行が１０００回に達したら停止することとした。推定誤差には、次の式（７）に示すＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）を採用した。
ただし、Ｎは３次元モデルの頂点数、ｉは頂点番号、ｖｉ、ｖｉ’をそれぞれ真の形状、推定形状のｉ番目の頂点とする。
検証では、推定前の誤差・推定後の誤差それぞれを記録し、推定前後の誤差の減少分をもって評価した。
検証では、推定前の誤差・推定後の誤差それぞれを記録し、推定前後の誤差の減少分をもって評価した。
図１１（ａ）には、初期形状の肝臓の３次元モデルと、変位量２２．５ｍｍで変位させた真の形状の３次元モデルとを示す。
図１１（ｂ）には、カメラ位置（１），（２），（３−ａ），（３−ｂ）の４つのパターンにおいて、視線＋ｙ方向からビジュアルハルＨ（１）を見たもの（図１１（ｂ）の上側）、及び、視線−ｚ方向からビジュアルハルＨ（１）を見たもの（図１１（ｂ）の下側）を示す。各ビジュアルハルＨ（１）の内部に白い点で示されるものは、探索されたｖｄである。閾値ｄｔｈは１０ｍｍに設定している。
図１１（ｂ）には、カメラ位置（１），（２），（３−ａ），（３−ｂ）の４つのパターンにおいて、視線＋ｙ方向からビジュアルハルＨ（１）を見たもの（図１１（ｂ）の上側）、及び、視線−ｚ方向からビジュアルハルＨ（１）を見たもの（図１１（ｂ）の下側）を示す。各ビジュアルハルＨ（１）の内部に白い点で示されるものは、探索されたｖｄである。閾値ｄｔｈは１０ｍｍに設定している。
図１１（ｂ）から明らかなように、３台のカメラを三角形状に配置したカメラ位置（２）と、４台のカメラを十字状に配置したカメラ位置（３−ｂ）とは、他のカメラ位置（１），（３−ａ）に比べてビジュアルハルＨ（１）の形状が真の形状に近づいている。これは、視線ベクトルにｚ成分が入ることで、対象物の裏側の情報を取得することができるためと考えられる。また、図１１には示されていないが、点ｖｄは、閾値ｄｔｈが大きくなるほど数が多くなる。
図１２には、対象物を肝臓とした場合の形状推定結果のレンダリング像を示している。（Ｉ）は、形状推定前の状態を示しており、初期形状をメッシュモデル（ワイヤーフレーム）Ｍ（０）で示し、変形後の真の形状を白色のサーフェスデータで示している。初期形状からの変位は、１１．３ｍｍとした。
（ＩＩ）〜（ＩＶ）は、２台のカメラを図１０に示すカメラ位置（１）で配置した場合と、４台のカメラをカメラ位置（３−ｂ）で配置した場合とについて、それぞれ変形後の形状を推定した結果を示す。推定形状をメッシュモデルで示し、真の形状をサーフェスデータで示している。また、（ＩＩ）〜（ＩＶ）は、それぞれの像を＋ｙ方向、−ｘ方向、−ｚ方向から見たものである。
また、図１３は、初期形状からの変位を３３．８ｍｍとした場合の形状推定結果のレンダリング像を示す。他の条件は、図１２に示すものと同様である。
図１２及び図１３に示すように、（Ｉ）の形状推定前（初期形状）のメッシュモデルは、変形後の真の形状であるサーフェスデータの内部に埋もれていたり、外側に離れている領域が多く存在しているが、（ＩＩ）〜（ＩＶ）の形状推定後のメッシュモデルは、（Ｉ）に比べて、真の形状のサーフェスデータに沿って配置される領域が増大している。また、（ＩＩ）〜（ＩＶ）のそれぞれにおいて、カメラ２台の場合と４台の場合とを比較すると、特に丸で囲んだ領域において、４台のカメラを用いた方が、より形状推定後のメッシュモデルが真の形状のサーフェスデータに沿って配置されていることがわかる。
図１２及び図１３に示すように、（Ｉ）の形状推定前（初期形状）のメッシュモデルは、変形後の真の形状であるサーフェスデータの内部に埋もれていたり、外側に離れている領域が多く存在しているが、（ＩＩ）〜（ＩＶ）の形状推定後のメッシュモデルは、（Ｉ）に比べて、真の形状のサーフェスデータに沿って配置される領域が増大している。また、（ＩＩ）〜（ＩＶ）のそれぞれにおいて、カメラ２台の場合と４台の場合とを比較すると、特に丸で囲んだ領域において、４台のカメラを用いた方が、より形状推定後のメッシュモデルが真の形状のサーフェスデータに沿って配置されていることがわかる。
図１４及び図１５は、上記と略同様の評価実験を腎臓及び角材に対して行った結果を示す。この評価実験では、４台のカメラをカメラ位置（３−ｂ）で配置し、腎臓の変位量を３１．９ｍｍ、角材の変位量を３０．１とし、閾値ｄｔｈを１０．０ｍｍとした。（ａ）は、形状推定前のメッシュモデルと真の形状のサーフェスデータとを、＋ｙ方向、−ｘ方向、及び−ｚ方向からみたもの、（ｂ）は、形状推定後のメッシュモデルと真の形状のサーフェスデータとを同方向からみたものである。
図１４及び図１５に示す結果から、腎臓及び角材のいずれにおいても形状推定後のメッシュモデルは、形状推定前に比べて真の形状のサーフェスデータに沿って配置される領域が大幅に増大していることが分かる。
図１６は、肝臓についての推定誤差（ＲＭＳ）を算出した結果を示している。４つの各グラフは、それぞれカメラの配置をカメラ位置（１），（２），（３−ａ），（３−ｂ）とした場合の結果を示している。また、各グラフの横軸は、肝臓の変位量を６段階で示し、各段階について、４つの閾値ｄｔｈを用いた場合のＲＭＳを棒グラフで示している。併せて、形状推定前のＲＭＳを折れ線グラフで示している。
図１６に示す結果より、カメラの台数が増えることで、どの変位量においても概ねＲＭＳが減少していることがわかる。つまり、カメラの台数が多いほど正確に形状を推定できているといえる。これは、カメラの台数が多いほどビジュアルハルが真の形状に近づき、探索される頂点ｖｄが、真の形状の接点又はその近傍である確率が高くなることが考えられる。
図１７は、カメラの配置をカメラ位置（３−ｂ）とした場合における肝臓、腎臓、及び角材についてのＲＭＳを示す。いずれの対象物においても、変位量が大きくても推定誤差が８ｍｍ以下に抑えられていることが分かる。
以上のように、本実施形態の画像処理システムは、２〜４台の少ないカメラの台数であっても、対象物の変形、特に局所的な変形であっても推定することができ、変形後の対象物の形状を取得することができる。そのため、手術中において患者の体腔内の限られたスペースに少ない台数のカメラを配置することによって臓器の画像を術者等に提供することができる。また、形状推定後の３次元モデルに基づいて、仮想的な視点を含む、任意の視点から観察される対象物の画像を術者等に提供することが可能となる。
また、上記実施形態の画像処理システムは、対象物を撮影した画像中のシルエット情報を用いてビジュアルハルを生成し、これを解析用モデルとしている。そして、解析用モデルと変形前の３次元モデルとの対応する頂点（対応箇所）ｖｄ、ｖｓを、両者の距離や法線ベクトルの近似性等を利用して探索し、頂点ｖｓを頂点ｖｄに近づけるように変位させることによって変形後の形状を推定している。そのため、対象物に対する照明のあたり具合や陰影の生じ方等に影響されることなく、頑健な形状推定を行うことができる。
なお、上記実施形態では、解析用モデルと３次元モデルとの対応する頂点ｖｄ，ｖｓを探索するにあたり、両頂点ｖｄ，ｖｓの距離と法線ベクトルの近似性との双方の条件を用いているが、いずれか一方の条件のみを用いてもよい。
また、これらの条件に加えて、又は代えて、他の条件を適用してもよい。例えば、解析用モデルと３次元モデルとの頂点に、色、模様、テクスチャ等の少なくとも１つの追加情報を付与しておき、解析用モデルと３次元モデルとの追加情報の近似性を利用して、頂点ｖｄ，ｖｓを探索してもよい。ただし、上述したように、色、模様、テクスチャ等は照明や陰影の影響で変化しやすいため、少なくとも両頂点ｖｄ，ｖｓの距離及び法線ベクトルの近似性のいずれか一方を用いることがより好ましい。
また、これらの条件に加えて、又は代えて、他の条件を適用してもよい。例えば、解析用モデルと３次元モデルとの頂点に、色、模様、テクスチャ等の少なくとも１つの追加情報を付与しておき、解析用モデルと３次元モデルとの追加情報の近似性を利用して、頂点ｖｄ，ｖｓを探索してもよい。ただし、上述したように、色、模様、テクスチャ等は照明や陰影の影響で変化しやすいため、少なくとも両頂点ｖｄ，ｖｓの距離及び法線ベクトルの近似性のいずれか一方を用いることがより好ましい。
本実施形態の画像処理システムは、内視鏡下手術に好適に適用することができるが、これに限定されるものではなく、あらゆる物体の経時的な形状の変化を観察するために好適に利用することができる。例えば、木造やコンクリート造等の構造物や建築物の経年による形状の変化等を推定するために本実施形態の画像処理システムを利用することができる。従来、建築物等の経年による変形は、目視によって推定を行ったり、カメラで撮影した写真やサーモグラフィのデータ等をもとに推定を行ったりしていたが、これらの方法は、検査者の経験に委ねられるところが大きい。また、カメラを用いる場合は、撮影時のカメラの設置位置が地盤の変化や風等によって変化し、その影響で撮影誤差が発生する可能性があり、実際に建築物等に変形が生じているのか、撮影誤差が生じているのかを判別し難い。この点、本発明の画像処理システムを用いれば、建築直後の建築物等の画像を「第１の時刻における対象物の３次元モデル」を生成するために予め撮影しておき、数年後の建築物等の画像をカメラによって撮影し、その画像を用いて解析用モデルを生成することで、検査者の経験を要することなく、撮影誤差の影響も少なくして建築物等の変形を正確に推定することができる。
また、本実施形態の画像処理システムは、１台のカメラの画像のシルエット情報を用いて解析用モデルを生成することも可能である。この場合、１台のカメラによって撮影された１枚の画像から解析用モデルを生成してもよいし、１台のカメラによって複数の視点から撮影した複数枚の画像から解析用モデルを生成してもよい。
１０ ：画像処理システム
１１ ：カメラ
１２ ：画像処理装置
２３ ：記憶部
３１ ：生成部
３２ ：解析部
Ａ ：対象物
Ｇ１ ：画像
Ｇ２ ：シルエット画像
Ｈ ：ビジュアルハル（解析用モデル）
Ｉｋ ：カメラ画像
Ｍ ：メッシュモデル（三次元モデル）
ｄｔｈ ：閾値
ｅｋ ：視線ベクトル
ｎｄ ：法線ベクトル
ｎｓ ：法線ベクトル
ｖｄ ：頂点
ｖｓ ：頂点
１１ ：カメラ
１２ ：画像処理装置
２３ ：記憶部
３１ ：生成部
３２ ：解析部
Ａ ：対象物
Ｇ１ ：画像
Ｇ２ ：シルエット画像
Ｈ ：ビジュアルハル（解析用モデル）
Ｉｋ ：カメラ画像
Ｍ ：メッシュモデル（三次元モデル）
ｄｔｈ ：閾値
ｅｋ ：視線ベクトル
ｎｄ ：法線ベクトル
ｎｓ ：法線ベクトル
ｖｄ ：頂点
ｖｓ ：頂点
Claims (8)
- 第１の時刻における対象物の３次元モデルを記憶する記憶部と、
前記第１の時刻よりも後の第２の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成する生成部と、
所定の条件に応じて前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における対象物の形状として前記３次元モデルを更新する解析部と、を備えている、画像処理装置。 - 前記解析用モデル上の前記対応箇所は、前記第１の時刻における前記３次元モデルから所定の範囲内に配置されることを条件として探索される、請求項１に記載の画像処理装置。
- 前記解析用モデル上の前記対応箇所は、前記画像を撮影するカメラの視線方向に対して略垂直な法線を有することを条件として探索される、請求項１又は２に記載の画像処理装置。
- 前記３次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所から最も近いことを条件として探索される、請求項１〜３のいずれか１項に記載の画像処理装置。
- 前記３次元モデル上の前記対応箇所は、前記解析用モデル上の前記対応箇所と近似する法線ベクトルを有することを条件として探索される、請求項１〜４のいずれか１項に記載の画像処理装置。
- 前記３次元モデルと前記解析用モデルとの対応箇所は、色、模様、及びテクスチャの少なくとも一つが互いに近似していることを条件として探索される、請求項１に記載の画像処理装置。
- コンピュータにより構成された画像処理装置による画像処理方法であって、
前記コンピュータが、第１の時刻における対象物の３次元モデルを記憶するステップと、
前記コンピュータが、前記第１の時刻よりも後の第２の時刻における対象物の画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成するステップと、
前記コンピュータが、前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における前記３次元モデルの形状を更新するステップとを含む、画像処理方法。 - 第１の時刻における対象物の３次元モデルを、時間の経過に伴う変形を反映させた状態で更新させるコンピュータプログラムであって、
前記第１の時刻よりも後の第２の時刻における対象物を撮影した画像から対象物のシルエット情報を含む画像を取得し、前記シルエット情報に基づいて３次元の解析用モデルを生成する生成部、及び
前記３次元モデルと前記解析用モデルとの対応箇所を探索し、前記３次元モデル上の前記対応箇所を、前記解析用モデル上の前記対応箇所に応じて変位させ、前記第２の時刻における前記３次元モデルの形状を更新する解析部、としてコンピュータを機能させるコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015097380A JP6608165B2 (ja) | 2015-05-12 | 2015-05-12 | 画像処理装置及び方法、並びにコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015097380A JP6608165B2 (ja) | 2015-05-12 | 2015-05-12 | 画像処理装置及び方法、並びにコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016209399A JP2016209399A (ja) | 2016-12-15 |
| JP6608165B2 true JP6608165B2 (ja) | 2019-11-20 |
Family
ID=57549015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015097380A Expired - Fee Related JP6608165B2 (ja) | 2015-05-12 | 2015-05-12 | 画像処理装置及び方法、並びにコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6608165B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019012632A1 (ja) * | 2017-07-12 | 2019-01-17 | 株式会社ソニー・インタラクティブエンタテインメント | 認識処理装置、認識処理方法及びプログラム |
| JP2019128641A (ja) | 2018-01-22 | 2019-08-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2020054503A1 (ja) * | 2018-09-13 | 2020-03-19 | 国立大学法人京都大学 | 機械学習装置、推定装置、プログラム及び学習済みモデル |
| EP4036863A4 (en) * | 2019-09-30 | 2023-02-08 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | METHOD AND SYSTEM FOR RECONSTRUCTION OF THE HUMAN BODY MODEL AND STORAGE MEDIUM |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4395689B2 (ja) * | 2001-02-09 | 2010-01-13 | コニカミノルタホールディングス株式会社 | 画像データ処理方法およびモデリング装置 |
| JP4035978B2 (ja) * | 2001-10-05 | 2008-01-23 | コニカミノルタホールディングス株式会社 | ３次元形状モデルの評価方法および生成方法並びに装置 |
| JP4981335B2 (ja) * | 2006-03-08 | 2012-07-18 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理方法 |
| JP2007287037A (ja) * | 2006-04-19 | 2007-11-01 | Mitsubishi Electric Corp | 物体認識装置 |
| JP2007315777A (ja) * | 2006-05-23 | 2007-12-06 | Ditect:Kk | 三次元形状計測システム |
| JP5206366B2 (ja) * | 2008-11-27 | 2013-06-12 | カシオ計算機株式会社 | ３次元データ作成装置 |
| JP2012165838A (ja) * | 2011-02-10 | 2012-09-06 | Nagoya Univ | 内視鏡挿入支援装置 |
| JP5736285B2 (ja) * | 2011-09-21 | 2015-06-17 | Kddi株式会社 | 被写体の３次元形状を復元する装置、方法およびプログラム |
| WO2013174671A1 (en) * | 2012-05-22 | 2013-11-28 | Telefonica, S.A. | A method and a system for generating a realistic 3d reconstruction model for an object or being |
-
2015
- 2015-05-12 JP JP2015097380A patent/JP6608165B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016209399A (ja) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5355074B2 (ja) | ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム | |
| CN102727258B (zh) | 图像处理装置、超声波摄影系统及图像处理方法 | |
| JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
| CN109389590B (zh) | 结肠图像数据处理系统及方法 | |
| KR102099415B1 (ko) | Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치 | |
| US9367914B2 (en) | Imaging system and method for use of same to determine metric scale of imaged bodily anatomy | |
| Özgür et al. | Preoperative liver registration for augmented monocular laparoscopy using backward–forward biomechanical simulation | |
| JP6608165B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
| TWI520576B (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
| CN108369736A (zh) | 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和系统 | |
| JP2008534181A (ja) | 手術前予測のための方法及びシステム | |
| EP3622481B1 (en) | Method and system for calibrating a velocimetry system | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| KR20160004865A (ko) | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 | |
| CN110443884B (zh) | 手部运动重建方法和装置 | |
| Saito et al. | [POSTER] deformation estimation of elastic bodies using multiple silhouette images for endoscopic image augmentation | |
| JP6493877B2 (ja) | 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム | |
| JP4527471B2 (ja) | ３次元眼底画像の構築・表示装置 | |
| JP2006212294A (ja) | 画像処理装置及びそれに用いられるプログラム | |
| WO2017180097A1 (en) | Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation | |
| JP7255436B2 (ja) | 眼球構造推定装置 | |
| WO2021039642A1 (ja) | ３次元再構成装置、方法及びプログラム | |
| JP2002034925A (ja) | 多方向から撮影した眼底画像の重合せによる眼底３次元パターンの復元法及び装置 | |
| KR20230021543A (ko) | 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| JP5904976B2 (ja) | ３次元データ処理装置、３次元データ処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191023 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6608165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |