JP5110487B2 - 動いている対象のスキャン画像の復元方法及び装置 - Google Patents

動いている対象のスキャン画像の復元方法及び装置 Download PDF

Info

Publication number
JP5110487B2
JP5110487B2 JP2007233079A JP2007233079A JP5110487B2 JP 5110487 B2 JP5110487 B2 JP 5110487B2 JP 2007233079 A JP2007233079 A JP 2007233079A JP 2007233079 A JP2007233079 A JP 2007233079A JP 5110487 B2 JP5110487 B2 JP 5110487B2
Authority
JP
Japan
Prior art keywords
motion
target
image
images
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007233079A
Other languages
English (en)
Other versions
JP2009063912A (ja
Inventor
仁彦 中村
克 山根
盛温 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2007233079A priority Critical patent/JP5110487B2/ja
Priority to PCT/JP2008/065207 priority patent/WO2009031439A1/ja
Publication of JP2009063912A publication Critical patent/JP2009063912A/ja
Application granted granted Critical
Publication of JP5110487B2 publication Critical patent/JP5110487B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、走査型撮像装置により得られた画像の復元方法及び装置に係り、詳しくは、対象の動きにより劣化したスキャン画像の復元方法及び装置に関するものである。
分子イメージングは細胞生物学及び分子生物学などの分野における革命的な道具になると考えられており、分子医学や創薬などへの貢献が期待されている。分子イメージングの一つのツールとして使われているのが共焦点レーザ走査顕微鏡(CLSM)である。図1に、共焦点レーザ走査顕微鏡(CLSM)を用いたinvivo観察を示す。CLSMは従来の光学顕微鏡比べてはるかにユーザに鋭い画像を提供する。この改良は、レーザビームとピンホールにより、望まれていない光のほとんどを除くことによって達成される。CLSMは、ある時間で一つの点のみを観察するから、一枚の画像を作るためにはレーザの走査が必要になる。
CLSMは、走査メカニズムのため相対的に遅いスピードで画像を生成する。例えば、256x256の画素を持つ小さい画像のために約125ms (8Hz)かかる。動いていない対象に対しては、スピードは問題にならないが、もし動いている対象を観察する時は、この遅い走査スピードは画像の歪曲を起こす。生体の動きは、拍動や呼吸などにより発生するものであるため、何時でも、例えば、麻酔の状態であっても、画像の歪曲が生じ得る。このような問題に対し、一般のカメラ画像の復元は報告されたことがあるが、CLSM画像のような走査型撮像装置で取得された画像の復元に関してはまだ報告されたことがない。
本発明は、CLSM等の走査型撮像装置によって得られたスキャン画像において、撮像対象の動きに起因して劣化したスキャン画像を復元することを目的とする。
動いている対象のスキャン画像の復元方法は、複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定するステップと、スキャン画像から推定された対象の動きを補償して復元画像を取得するステップと、からなる。動いている対象のスキャン画像の復元装置は、複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定する手段と、スキャン画像から推定された対象の動きを補償して復元画像を取得する手段と、からなる。本明細書において、「スキャン画像から対象の動きを補償した画像」とは、ある対象の動きが得られた場合に、当該スキャン画像において、当該得られた対象の動きが無かった場合の画像である。
本明細書においてスキャン画像とは、CLSM等の走査型撮像装置によって取得された画像を意味し、CLSM画像が例示される。本発明におけるスキャン画像はCLSM画像に限定されるものではなく、例えば、CLSM以外のレーザ走査型撮像装置(レーザスキャナ等)により取得された画像も含まれる。スキャン画像を得る際の走査方向は限定されない。スキャン画像におけるある画素の走査時間が特定されていればよい。
一つの好ましい態様では、復元に用いる複数枚のスキャン画像は、時間的に連続する2枚のスキャン画像である。連続する2枚のスキャン画像(元画像)から1枚の復元画像を求める。本発明の復元方法及び装置において、復元に用いる複数枚のスキャン画像は2枚のスキャン画像に限定されるものではなく、例えば、連続する3枚のスキャン画像から1枚ないし2枚の復元画像を求めてもよい。後述する実施形態の説明では、2枚のスキャン画像から復元画像を求めることを説明しているが、本発明のアイデアが3枚以上のスキャン画像からの復元画像の取得にまで一般化できることは当業者において容易に理解される。
より具体的な態様では、対象の動きの推定は、対象の動きを変数とした目的関数を定義し、目的関数を最適化することで、対象の動きを推定するものである。対象の動きを、時間、動きのパラメータを変数とする関数でモデル化し、当該関数の動きのパラメータを変数とする目的関数を定義する。
一つの態様では、前記対象の動きの推定において、前記対象の動きを補償した画像間の差異は、当該画像中の複数の代表点の差異から取得する。より具体的な態様では、前記対象の動きを推定するステップは、各スキャン画像中の複数の特徴点からなる複数の特徴点の組(2枚のスキャン画像を用いる場合には、マッチングペア)を設定し、特徴点間の差異が最小となるように対象の動きを最適化する。特徴点の設定は、テンプレートマッチングを用いて行うことができる。より具体的な態様では、対象の動きに伴う特徴点の動きを多項式で近似し、前記多項式の係数を推定することで対象の動きを最適化する。この場合、多項式の係数が対象の動きのパラメータである。後述する実施形態の説明では、多項式は並進運動モデルを定義するが、回転運動を含めたモデルを多項式近似してもよい。
一つの態様では、前記対象の動きの推定において、前記対象の動きを補償した画像間の差異は、当該画像中の部分領域間の差異から取得する。前記対象の動きを補償した画像間の差異を、画像全体領域の画素から求めても良いが、計算量が膨大となるため、代表点や部分領域を用いることが望ましい。具体的な態様では、前記対象の動きを補償した画像間の差異を、対象物の動きのパラメータを変数とする類似度で定義し、類似度を最大とするパラメータを推定する。対象の動きのパラメータは、一つの態様では、並進速度(並進ベクトル)および角速度(回転行列)である。
一つの態様では、複数枚のスキャン画像から推定された対象の動きを補償して得られた複数枚の補償画像をさらに統合することで復元画像を得る。各スキャン画像から推定された対象の動きを補償して得られた画像において、部分的に画素値が欠落している場合がある。複数枚の補償画像を統合することで、欠落した画素値を補うことができる。また、補間や既に得られている復元画像の情報を用いて欠落した画素値を補ってもよい。
本発明によれば、CLSM等の走査型撮像装置により取得されたスキャン画像において、対象が動くことで劣化したスキャン画像を復元することができる。
本発明に係るスキャン画像の復元方法の一つの実施形態は、以下の3つのステップからなる。走査型撮像装置によって得られた連続する2枚の画像I(U),I(U)において対応する特徴点のペア(マッチングペア)を複数設定するステップ、特徴点のペアから得られる情報を用いて対象の動きを推定するステップ、そして、推定された対象の動きを用いて元画像から動きが補償された新画像を復元するステップ、である。スキャン画像I(U),I(U)において、全ての画素に対する走査された時間は既知である。したがって、走査時間tから画素の位置を特定することができる。
2枚の画像I(U),I(U)における対応する特徴点のペアは、画像処理技術として良く知られているテンプレートマッチングを用いて求めることができる。テンプレートマッチングでは、画素の濃淡値と着目画素の近傍画素との距離を用いる。あるいは、対応する特徴点のペアを手動で与えても良い。一組のペアを構成する2つの画素は、スキャンされた対象における同じ点を表している。したがって、対象の動きを取り除いた補償画像において、前記2つの画素は理論上同じになるはずである。よって、特徴点のペアから、対象の動きを取り除いたものの差の合計が最小になるように、対象の動きを推定すればよい。対応する特徴点のペアの数は、後のステップにおける計算において多項式の係数を推定することができる程度に十分な数を設定する。
対象の動きが決定されれば、各画像I(U),I(U)から対象の動きを除去して画像を復元して新画像を得ることができる。推定された対象の動きを用いて、特徴点のみならず、各画像I(U),I(U)における全ての画素を新しい位置に変換することで、新画像(復元画像)が生成される。
対象の動きのモデルについて説明する。対象の動きのモデルについて考える場合に、観察部位を押さえ付ける簡単な機械装置によって、動きを2次元平面運動に限定させることができ、かつ、並進運動が回転運動に比べて支配的であることから、回転運動を無視することができる(李盛温,中村仁彦,山根克,東條剛,高橋誠也,谷川慶,高橋一:"小動物生体細胞観察のための蛍光顕微鏡画像安定化",日本IFToMM 会議, pp.113-118, 2007)。そこで、ここでは、2次元平面の並進運動モデルを考える。尚、対象の動きのモデルにおいて、回転運動を含めてもよい。
対象の動きの並進運動モデルは以下の式で表すことができる。
ここで、P(t)は各画素の位置ベクトル、d(t)は時刻tにおける対象の並進ベクトルである。対象の動きd(t)は、n次多項式で表すことができる。ここでは、回転については考えていないが、回転についても同様の定式化が可能である。
対象の動きは時間により変化するので、時間に伴う多項式で対象の動きを近似する。この多項式は二枚の画像I(U),I(U)を得る間に発生する対象の連続的な動きを表す。このように対象の動きを近似することで、対象の動きの推定は、多項式の係数を決定する問題となる。すなわち、連続する2枚のスキャン画像I(U),I(U)において、ある画素の位置P(t)は、初期位置P(0)と多項式の係数cで表すことができ、画像I(U),I(U)内の各画素が走査された時間から画素の位置P(t)が既知で、初期位置P(0)と係数cが未知である。初期位置P(0)は、元画像から対象の動きを取り除いた画像におけるある画素の位置であると考えられることから、初期位置P(0)は、対象の動きを補償した新画像I0(U)における当該画素の位置である。
対象の動きのパラメータ推定、すなわち、多項式の係数の推定について説明する。多項式の係数の推定は、2枚の元画像I(U),I(U)における複数の特徴点のマッチングペアを用いて行う。あるマッチングペアの位置の差は、対象の動きによって生じたものである。もし対象の動きがなかったら、その誤差は0になるはずである。したがって、対象の動きのモデルが正しく見つけられたとすれば、マッチングペアの二つの点を時間軸0で戻したときの位置の差が0になるはずである(図8)。そこで、N個の特徴点のペア(Pα(t´α),Pα(t´´α))に対して以下のような目的関数の最適化により(2)式の係数を決める。
ただし、Pα(0)byt´は動きを補償した後の画像Iにおける画素Pαの新しい位置、Pα(0)byt´´は動きを補償した後の画像Iにおける画素Pαの新しい位置である。これら2つの画素は対象において同じ位置を表しているので、補償後の2つの画像ではこれらの2つの画素は同じとなるはずである。
このような最小2乗法の解法は既知であるが、簡単に説明すると以下の通りである。
ここで、
したがって、解法は、
によって与えられる。ここで、Aは、行列Aの疑似逆行列である。
対象の動きを決定すれば、決定した対象の動きを用いて、復元前の元画像I(U),I(U)の全ての画素を新しい位置に変換することで、対象の動きが取り除かれた新しい画像I(U)を得ることができる。各画素の新しい位置P(0)は、
によって求められる。それをマッチングペアの特徴点だけではなくすべての画素に適用すれば新しい画像I(U)が得られる。ここで、2枚の元画像I(U),I(U)から対象の動きを補償することで得られた2枚の新画像が全く同一の場合は殆ど無いと考えられるため、さらに、2枚の新画像を統合して1枚の新画像を生成して、その新画像を復元画像とする(図5のRestored image参照)。統合の手法としては、例えば、いずれか一方の新画像を基準画像とし、基準画像に無い情報が他方の新画像にあれば、その情報を基準画像に追加して一つの画像を作成する。あるいは、2枚の新画像で対応する画素の濃淡値を平均したり、大きい濃淡値を採用したりしてもよい。2枚の画像があった場合に、それをどのように統合するかは、画像処理分野における当業者において適宜選択し得る事項であるので、統合手法は限定されない。
CLSMシステムにおいて、復元画像は、リアルタイムでコンピュータ画面に表示しても良いが、一つの典型的な態様では、複数の復元画像はコンピュータの記憶部に格納され、必要に応じて適宜取り出して、あるいは、加工して、コンピュータ画面に表示される。2枚の元画像I(U),I(U)から1枚の復元画像を取得することについて説明したが、複数枚の復元画像を統合して、一枚のより大きい統合画像を作成することも可能である(図3のMotion-free large image参照)。また、複数枚の復元画像を時系列に表示することで動画像とすることができる。
本発明の第2の実施形態について説明する。上述の画像復元方法では、2枚の画像から選択された画像からなるマッチングペアを用いて対象の動きを定義する多項式の係数を最適化することで対象の動きを推定したが、対象の動きを推定する方法は、複数のマッチングペア・多項式を用いるものには限定されない。
本発明の構成は大きく二つのステップに分けることができる。まず、最適化手法を利用して対象の動きを推定する。次いで、推定された対象の動きに基づいてスキャン画像から復元画像を求める。最適化手法を利用して対象の動きを探索するには対象の動きを変数として持つ目的関数を定義する必要がある。第1の実施形態では、多項式最適化問題を解いたが、第2の実施形態では、目的関数において、対象の動きを補償した2枚の画像の類似度を最大化する問題を扱う。類似度は、対象の動きを変数として含む。対象の動きの補償が無いスキャン画像は対象の動きの影響を受けることで類似度が低いが、対象の動きを適切に補償して対象の動きを除去することで、補償後の画像の類似度が非常に高くなる。
最適化手法による対象の動きの推定の流れを図9に、本発明の第2の実施形態の全体の流れを図13に示す。対象の動きを変数とする目的関数に対象の動きのパラメータv、ωの初期値を与えて、2枚のスキャン画像から対象の動きを補償した画像をそれぞれ取得する。対象の動きが補償された2枚の画像を比較して、画像の差異を計算する。差異が予め設定した値より大きい場合には、最初のステップに戻ってパラメータv、ωを更新して、差異が予め設定した値以下になるまで繰り返して、パラメータv、ωを最適化する。対象の動きが補償された画像を図10に例示する。図10の補償後の画像(右図)に示すように、補償後の画像では、部分的に画素の値が欠落している場合がある。したがって、2枚の補償後の画像の差異を計算する場合には、補間処理(interpolation)を行う(図11参照)。対象の動きが補償された最初の2枚の画像を重ねたものと、差異が予め設定した値以下になった時の画像を重ねたものを図12に示す。
対象の動きのパラメータv、ωを推定するために、対象の動きを補償した2枚の画像間の類似度を用いる。典型的な例では、類似度は、比較する画像間の相関係数、あるいは、正規化相関係数、あるいは、ユークリッド距離を利用する。すなわち、類似度は二つの画像I,Iに対して以下のように定義する。尚、画像間の類似度の定義は、これら3つの手法に限定されるものではなく、画像処理分野の当業者において適宜他の手法を採用することもできる。
ここでuは元画像Uの画素の補償後の新しい座標であり、u=E−1(EU−h)のように定義される。回転行列R,並進ベクトルhは、それぞれ対象の動きのパラメータv,ωの関数であるので、結局、類似度はv,ωの関数となる。したがって、問題を類似度Sに対して次のように書くことができる。
任意の動きの場合には動きの変数の探索領域が無限になるので計算が不可能であり、計算ができるようにするために1枚の画像の内では速度(並進速度と角速度)を定数、または、区分的定数(piecewise-constant)で定義する。
上述の類似度を利用して最適な対象の動きを推定した後に、対象の動きを用いで、それぞれのスキャン画像I(U),I(U)の対象の動きがない場合の画像I(u),I(u)を復元させることができる。
画像復元のアルゴリズムについて説明する。
ステップ0:適当な対象の動きのパラメータv,ωの初期値を決定する。
ステップ1:2枚のスキャン画像に対して、ある画素点の座標Uを対象の動きのパラメータv,ωから以下のような新しい座標uに変換する。
ステップ2:変換された2枚の画像の類似度を計算する。類似度が、予め設定した所定値よりも高い場合にはステップ4に進む。類似度を計算する時は、計算速度を考慮して、全領域ではなくサンプリング領域に対して類似度の計算を行うことが好ましい。例えば、図11に示すように、2枚の画像の中央の部分領域の画素を用いて類似度の計算を行う。
ステップ3:類似度を上げる新しい対象の動きパラメータv,ωを再度設定して、ステップ1に戻る。
ステップ4:新しい座標を用いて画像を復元する。類似度の計算を画像全体の一部に基づいて行った場合には、最適化された対象の動きパラメータv,ωを用いて全画素を変換して復元画像を得る。
本発明を用いたシミュレーション及び実験結果について説明する。元画像の中での小四角形がマッチングペアを示している。図14A、図14Bは、シミュレーションによって生成した動く対象の2つのスキャン画像であり(図2参照)、各画像において7つのマッチングペアを決定した。対象の動きを7次多項式(式(2)参照)でモデル化して、対象の動きを推定した。推定した対象の動きを用いて図14A、図14Bをそれぞれ補償した画像を図15A、図15Bに示す。さらに、図15A、図15Bを統合して得た復元画像を図16に示す。
マウスの肝臓をCLSMで観察した画像(血管の画像)から復元を行った。図17A、図17Bは対象の動きが遅い場合の2枚のCLSM画像、図20A、図20Bは対象の動きが遅い場合の2枚のCLSM画像である。特に、図20A、図20Bにおいては、同じところを見ているのに対象の動きによって違う画像になっている。各画像においてマッチングペアを決定して、対象の動きを多項式(式(2)参照)でモデル化して、対象の動きを推定した。推定した対象の動きを用いて図17A、図17Bをそれぞれ補償した画像を、図18A、図18Bに示す。さらに、図18A、図18Bを統合して得た復元画像を図19に示す。
推定した対象の動きを用いて図20A、図20Bをそれぞれ補償した画像を、図21A、図21Bに示す。さらに、図21A、図21Bを統合して得た復元画像を図22に示す。図21A、図21Bから明らかなように、対象の速い運動により画素の情報が無い部分がある。尚、図21A、図21Bを統合して得た復元画像のみでは情報が不足する場合には、同じ対象の他の補償画像から情報を補充してもよい。
本発明は、CLSMに搭載することができる。
共焦点レーザ走査顕微鏡(CLSM)を用いたinvivo観察を示す概略図である。 シミュレーションで用いたスキャニングを示す図である。 本発明の全体の流れを示す概略図であって、連続する複数枚のスキャン画像において、連続する2枚のスキャン画像から1枚の復元画像を取得し、順次2枚のスキャン画像から復元画像を取得していくことで、連続する復元画像を得ることができる。また、複数枚の復元画像を統合してより大きい画像を生成することもできる。 本発明の対象の動きの推定手法を説明する図であって、右図は第1の実施形態、左図は第2の実施形態に対応している。 第1の実施形態の画像復元方法の流れを説明する図である。 第1の実施形態の画像復元方法を説明する図である。 第1の実施形態の画像復元方法を説明する図である。 最小2乗法を用いた対象の動きの推定を説明する図である。横軸は時間、縦軸はマッチングペアの画素の位置ベクトルである。与えられたN組のマッチングペアをn次多項式で近似する。 第2の実施形態の画像復元方法の流れを説明する図である。 対象の動きを補償した画像を例示する。 類似度を算出すための、対象の動きを補償した2枚の画像の比較を示す。 シミュレーション結果を示し、左図は、対象の動きを補償した最初の2枚の画像を重ねたもの、右図は、差異が予め設定した値以下になった時の画像を重ねたもの、である。 第2の実施形態の画像復元方法の流れを説明する図である。 シミュレーションによるスキャン画像1である。 シミュレーションによるスキャン画像2である。 図14Aのスキャン画像1を、推定された対象の動きを用いて補償した画像である。 図14Bのスキャン画像2を、推定された対象の動きを用いて補償した画像である。 図15Aの補償画像、図15Bの補償画像を統合することで得られた復元画像である。 マウスの肝臓の血管のCLSM画像1である。 マウスの肝臓の血管のCLSM画像2である。 図17AのCLSM画像1を、推定された対象の動きを用いて補償した画像である。 図17BのCLSM画像2を、推定された対象の動きを用いて補償した画像である。 図18Aの補償画像、図18Bの補償画像を統合することで得られた復元画像である。 マウスの肝臓の血管のCLSM画像1である。 マウスの肝臓の血管のCLSM画像2である。 図20AのCLSM画像1を、推定された対象の動きを用いて補償した画像である。 図20BのCLSM画像2を、推定された対象の動きを用いて補償した画像である。 図21Aの補償画像、図21Bの補償画像を統合することで得られた復元画像である。

Claims (18)

  1. 動いている対象のスキャン画像の復元方法であって、
    複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定するステップと、
    スキャン画像から推定された対象の動きを補償して復元画像を取得するステップと、
    からなる復元方法。
  2. 前記対象の動きを推定するステップは、対象の動きを変数とした目的関数を定義し、目的関数を最適化することで、対象の動きを推定するものである、請求項1に記載の復元方法。
  3. 前記対象の動きを推定するステップにおいて、前記対象の動きを補償した画像間の差異は、当該画像中の複数の代表点の差異から取得するものである、請求項1,2いずれかに記載の復元方法。
  4. 前記対象の動きを推定するステップは、各スキャン画像中の複数の特徴点からなる複数の特徴点の組を設定し、特徴点間の差異が最小となるように対象の動きを最適化するものである、請求項3に記載の復元方法。
  5. 対象の動きに伴う特徴点の動きを多項式で近似し、前記多項式の係数を推定することで対象の動きを最適化する、請求項4に記載の復元方法。
  6. 前記対象の動きを推定するステップにおいて、前記対象の動きを補償した画像間の差異は、当該画像中の部分領域間の差異から取得するものである、請求項1,2いずれかに記載の復元方法。
  7. 前記対象の動きを補償した画像間の差異を、対象物の動きのパラメータを変数とする類似度で定義し、類似度を最大とするパラメータを推定する、請求項1,2,6いずれかに記載の復元方法。
  8. 復元画像を取得するステップは、複数枚スキャン画像から推定された対象の動きを補償して得られた複数枚の補償画像をさらに統合するステップを備えている、請求項1乃至7いずれかに記載の復元方法。
  9. 前記複数枚のスキャン画像は、時間的に連続する2枚のスキャン画像である、請求項1乃至8いずれかに記載の復元方法。
  10. 動いている対象のスキャン画像の復元装置であって、
    複数枚のスキャン画像から対象の動きを補償した画像間の差異が最小となるように対象の動きを最適化することで、対象の動きを推定する手段と、
    スキャン画像から推定された対象の動きを補償して復元画像を取得する手段と、
    からなる復元装置。
  11. 前記対象の動きを推定する手段は、対象の動きを変数とした目的関数を定義し、目的関数を最適化することで、対象の動きを推定するものである、請求項9に記載の復元装置。
  12. 前記対象の動きを推定する手段は、前記対象の動きを補償した画像間の差異を、当該画像中の複数の代表点の差異から取得するものである、請求項10,11いずれかに記載の復元方法。
  13. 前記対象の動きを推定する手段は、各スキャン画像中の複数の特徴点からなる複数の特徴点の組を設定し、特徴点間の差異が最小となるように対象の動きを最適化するものである、請求項12に記載の復元装置。
  14. 対象の動きに伴う特徴点の動きを多項式で近似し、前記多項式の係数を推定することで対象の動きを最適化する、請求項12に記載の復元装置。
  15. 前記対象の動きを推定する手段は、前記対象の動きを補償した画像間の差異を、当該画像中の部分領域間の差異から取得するものである、請求項10,11いずれかに記載の復元装置。
  16. 前記対象の動きを補償した画像間の差異を、対象物の動きのパラメータを変数とする類似度で定義し、類似度を最大とするパラメータを推定する、請求項10,11,15いずれかに記載の復元装置。
  17. 復元画像を取得する手段は、複数枚スキャン画像から推定された対象の動きを補償して得られた複数枚の補償画像をさらに統合する手段を備えている、請求項10乃至16いずれかに記載の復元装置。
  18. 前記複数枚のスキャン画像は、時間的に連続する2枚のスキャン画像である、請求項10乃至17いずれかに記載の復元装置。
JP2007233079A 2007-09-07 2007-09-07 動いている対象のスキャン画像の復元方法及び装置 Expired - Fee Related JP5110487B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007233079A JP5110487B2 (ja) 2007-09-07 2007-09-07 動いている対象のスキャン画像の復元方法及び装置
PCT/JP2008/065207 WO2009031439A1 (ja) 2007-09-07 2008-08-26 動いている対象のスキャン画像の復元方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007233079A JP5110487B2 (ja) 2007-09-07 2007-09-07 動いている対象のスキャン画像の復元方法及び装置

Publications (2)

Publication Number Publication Date
JP2009063912A JP2009063912A (ja) 2009-03-26
JP5110487B2 true JP5110487B2 (ja) 2012-12-26

Family

ID=40428759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007233079A Expired - Fee Related JP5110487B2 (ja) 2007-09-07 2007-09-07 動いている対象のスキャン画像の復元方法及び装置

Country Status (2)

Country Link
JP (1) JP5110487B2 (ja)
WO (1) WO2009031439A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149479A (ja) * 1994-11-24 1996-06-07 Matsushita Electric Ind Co Ltd 超低ビットレートビデオ符号化方法
JP4013722B2 (ja) * 2002-10-10 2007-11-28 三菱電機株式会社 走査型撮像装置
JP4356831B2 (ja) * 2003-08-28 2009-11-04 株式会社Aze 複数画像間の非剛体レジストレーション方法

Also Published As

Publication number Publication date
WO2009031439A1 (ja) 2009-03-12
JP2009063912A (ja) 2009-03-26

Similar Documents

Publication Publication Date Title
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
CN112613609B (zh) 基于联合位姿优化的神经辐射场增强方法
JP5011168B2 (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN106846467B (zh) 基于每个相机位置优化的实体场景建模方法和系统
KR100793838B1 (ko) 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
CN109584156A (zh) 显微序列图像拼接方法及装置
JP2002324234A (ja) 立体画像を偏歪修正する方法および装置
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
EP1533751B1 (en) A method for correcting distortions in multi-focus image stacks
JP2006287589A (ja) 画像処理方法、画像処理装置
CN111260765B (zh) 一种显微手术术野的动态三维重建方法
CN114663575A (zh) 图像处理的方法、设备和计算机可读存储介质
JP5501240B2 (ja) 物体の一連の断面画像から当該物体のボリュームを再現するための方法および装置
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
JP5110487B2 (ja) 動いている対象のスキャン画像の復元方法及び装置
JP2007282906A (ja) 医用画像処理方法及びその装置、プログラム
CN112562070A (zh) 基于模板匹配的颅缝早闭手术切割坐标生成系统
CN115919461A (zh) 一种基于slam的手术导航方法
JP2007322403A (ja) 画像処理装置及びその処理方法
CN113902847A (zh) 基于三维特征约束的单目深度图像位姿优化方法
WO2017109997A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
JP2013069012A (ja) 多眼撮像装置
JP7245773B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
Viviers et al. Towards real-time 6D pose estimation of objects in single-view cone-beam X-ray

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees