JP7267233B2 - 複数の剛体変換画像のための頑健な画像レジストレーション - Google Patents

複数の剛体変換画像のための頑健な画像レジストレーション Download PDF

Info

Publication number
JP7267233B2
JP7267233B2 JP2020087285A JP2020087285A JP7267233B2 JP 7267233 B2 JP7267233 B2 JP 7267233B2 JP 2020087285 A JP2020087285 A JP 2020087285A JP 2020087285 A JP2020087285 A JP 2020087285A JP 7267233 B2 JP7267233 B2 JP 7267233B2
Authority
JP
Japan
Prior art keywords
image
registration
matrix
images
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020087285A
Other languages
English (en)
Other versions
JP2020198096A (ja
Inventor
リュウ・デホン
マンスール・ハッサン
ボウホウノス・ペトロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2020198096A publication Critical patent/JP2020198096A/ja
Application granted granted Critical
Publication of JP7267233B2 publication Critical patent/JP7267233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

分野
本開示は、一般に、マルチ画像レジストレーションに関し、より詳細には、複数の剛体変換画像のための頑健なスパース性駆動型画像レジストレーション方法に関する。
背景
画像レジストレーションは、同じ対象領域の画像からの情報を統合する上で非常に重要である。たとえば、パン鮮鋭化は、高空間解像度のパンクロマティック（Ｐａｎ）画像を、それの対応する低空間解像度のＲＧＢ（つまり、赤、緑、青）カラー画像またはマルチスペクトル（ＭＳ）画像と融合する手法である。良好な融合性能を実現するには、パン画像とＲＧＢ画像またはＭＳ画像との間の正確なレジストレーションが必要である。画像レジストレーションは、画像処理における興味深い開発トピックであり、画像処理技術分野において多くの注目を集めている。たとえば、いくつかの従来の方法は、ハードウェアの問題のいくつかに対処するためにさまざまな技術を用いる。例えば、米国特許第６，１７３，０８７ Ｂ１号に記載されている方法は、参照画像と変換された浮動画像との間の差異を特徴付ける目的関数を最小化することによってマルチビュー画像を位置合わせすることを目的とする。
米国特許第６，１７３，０８７ Ｂ１号
本開示は、非限定的な例によって、高空間解像度および高スペクトル解像度で画質を向上させる結果となる複数の剛体変換画像の画像レジストレーションの頑健性を向上させることにより、今日の画像処理産業およびその他の関連技術産業の技術的ニーズに対処する。
概要
本開示は、マルチ画像レジストレーションに関し、より詳細には、複数画像レジストレーションのための頑健なスパース性駆動型画像レジストレーション方法に関する。
本開示のいくつかの実施形態は、頑健なレジストレーションのためのスパース性駆動型方法の使用と組み合わせて画像のペアのレジストレーション情報を利用することにより、複数の剛体変換画像についての画像レジストレーションの改善された頑健性を含む。具体的には、本開示の複数画像レジストレーションのための頑健なスパース性駆動型画像レジストレーション方法は、すべての参照浮動画像ペアのレジストレーションパラメータ行列の低ランクプロパティを活用することにより、画像レジストレーションの発散問題を解く。ここで、これらの実施形態は、すべての画像のペアについて画像レジストレーション方法を用いて、画像回転角度行列、画像水平シフト行列および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成する第１のステップを含むことができる。たとえば、レジストレーション方法は、用いられる特定のメソッド／アプローチ／プロセスが、非限定的な例によって、特定のアプリケーションおよび／またはユーザの嗜好に依存する、相互情報（ＭＩ）に基づくアプローチ、相互相関プロセス、または特徴に基づくプロセスであり得る。
次のステップ、または第２のステップは、各パラメータ行列を、インライアレジストレーションパラメータの低ランク行列と、アウトライア（外れ値）パラメータ誤差に対応する疎行列とに分解することである。特に、各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と、各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを取得する。ここで、更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像と位置合わせして、画像の頑健なレジストレーションをもたらすことができる。
例えば、一実施形態は、シーンまたはオブジェクトの画像の複数画像レジストレーションのための方法を含む。シーンまたはオブジェクトの画像は、異なる回転角度、水平シフト、または垂直シフトで単一のモダリティまたは複数のモダリティの異なる測定から収集される。たとえば、異なる種類の画像には、可視バンドから短波赤外線バンドまでの異なる狭いバンドをカバーするマルチスペクトル（ＭＳ）画像、ハイパースペクトル画像、マルチモーダル画像（コンピュータ断層撮影（ＣＴ）スキャン、Ｘ線、磁気共鳴イメージング（ＭＲＩ）、光学、マイクロ波、レーダーなど）、または単一モーダルであるが異なるビューが含まれ得る。
ここで、画像連続番号ｎ＝１，...，Ｎを有する、複数の、具体的にはＮ個の画像は、画像ペアを位置合わせすることによって処理され、各画像のペア（ｉ，ｊ）には、浮動画像ｉ（ｉ＝１，...，Ｎ）および参照画像ｊ（ｊ＝１，...，Ｎ）が含まれる。次いで、各画像のペア（ｉ，ｊ）ごとに画像レジストレーションプロセスを用いて３つのレジストレーションパラメータ（φｉ，ｊ，ｘｉ，ｊ，ｙｉ，ｊ）を生成し、φｉ，ｊ、ｘｉ，ｊ、およびｙｉ，ｊは、それぞれ、画像ｉおよび画像ｊを位置合わせするための画像回転角度、画像水平シフト、および画像垂直シフトである。画像レジストレーションプロセスは、相互情報（ＭＩ）プロセス、相互相関プロセス、または特徴に基づくプロセスであり得る。すべての画像ペア（ｉ，ｊ）に対して、画像回転角度行列Φ＝［φｉ，ｊ］、画像水平シフト行列Ｘ＝［ｘｉ，ｊ］、および垂直シフト行列Ｙ＝［ｙｉ，ｊ］を含むレジストレーションパラメータに対応する３つのパラメータ行列が生成される。次に、この方法は、各パラメータ行列Φ、Ｘ、またはＹを、レジストレーションパラメータの低ランク行列
Figure 0007267233000001
 と、各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列
Figure 0007267233000002
 とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを取得する。ここで、レジストレーションパラメータの低ランク行列
Figure 0007267233000003
 からの更新されたレジストレーションパラメータを用いて、Ｎ個の画像を少なくとも１つの参照画像と位置合わせし、その結果、画像の頑健なレジストレーションがもたらされる。上記の方法は、従来の方法に比べて大幅な改善および頑健性を示す、任意の頑健な変換を用いる複数の画像の位置合わせの結果を提供できる。本開示の方法のいくつかの利点には、改善された画像鮮鋭化、特徴強調、および改善された分類、ならびに動作範囲、空間的および時間的特性、システム性能、曖昧さの低減および信頼性の改善に関する利点が含まれる。
例えば、本開示のいくつかの方法による改善された画像レジストレーションは、画像レジストレーション技術の分野におけるパン鮮鋭化などの画像融合において極めて重要である。さらに、本開示の画像レジストレーションに基づく方法は、マルチスペクトル（ＭＳ）、マルチモーダル画像、カラー画像、ＣＴおよびＭＲＩ画像、ならびにレーダー画像の両方の効果的なレジストレーションを実証する。さらに、従来の画像レジストレーション方法は、レジストレーションパラメータを検索する際に収束せず、レジストレーションミスとなるのに対し、本開示の画像レジストレーションに基づく方法は、レジストレーションパラメータを検索する際に収束する結果、レジストレーションをもたらすことにより、従来の画像レジストレーション方法の問題を克服する。たとえば、いくつかの従来の方法は相互情報を用いて画像を位置合わせせず、いくつかのバンドは、数ある理由の中で、特に、従来の方法で用いられる最適化アルゴリズムの発散により、パン画像との位置合わせに完全に失敗する。
さらに、本開示のシステムおよび方法は、画像レジストレーションに基づくプロセスをスパース性駆動型後処理とともに用いて画像を位置合わせすることにより、上記の従来の画像処理方法を克服した。本開示の頑健なスパース性駆動型画像レジストレーション方法は、ランダムパラメータを用いた剛体変換下で高解像度パンクロマティック画像および低解像度マルチスペクトル画像を位置合わせすることに関してテストおよび検査された。その結果、本開示の頑健なスパース性駆動型画像レジストレーション方法は、既存の画像レジストレーション方法がいくつかの画像を正しく位置合わせできなかった場合に、複数画像レジストレーションの精度および頑健性を大幅に改善したことを示した。したがって、本開示のシステムおよび方法の１つ以上の恩恵および利点は、画像レジストレーションを改善することにより、他の恩恵の中でもとりわけ、スペクトル歪みの低減および空間解像度の改善などの高い融合性能をもたらし、従来の画像処理方法の問題を克服することができることである。
従来の画像レジストレーション方法に対する本開示の方法およびシステムのいくつかの恩恵および利点は、センサから得られた任意の単一源画像よりも情報を提供する正確な画像を提供し、ユーザが画像管理アクションを実施するのに必要なすべての情報をシステムおよび方法が提供するようにすることである。例えば、従来の画像レジストレーション方法に対する本開示の方法およびシステムの利点は、ユーザまたはマシンが、画像の頑健なレジストレーションから、従来の画像レジストレーション方法では失敗するような、情報に基づいた判断を行って画像管理アクションを行うために必要な情報を今や確認できることである。（非限定的な例による）画像融合の少なくとも１つの目的は、データ量を削減することだけでなく、人間および機械の知覚にとってより適切で理解可能な画像を構築することでもある。また、今日の画像技術分野で用いられている利用可能な機器のほとんどは、そのような情報、すなわち本開示の方法の結果を、設計によって、または観察上の制約のため、提供することができない。いくつかの実施形態の局面は、方法技術が、異なる情報源の統合を可能にすることであり、頑健なレジストレーション画像は、相補的な空間およびスペクトル解像度特性を有することができる。一方、従来のレジストレーション画像技術では、マージ中にマルチスペクトルデータのスペクトル情報が歪むため、ぼやけた画像や使用できない画像が生成され、その結果、ユーザまたはマシンは、画像管理アクションを実行するために、十分な情報がないため、画像から確認できない。
オブジェクトに固有の、画像の頑健なレジストレーションのための本開示の方法に関して、いくつかの恩恵および利点は、非限定的な例により、ａ）奥行きの手がかりを提供し、正確な解剖学的空間関係を表示し、これは、複雑な手術や侵襲的治療の計画において、医師、つまり放射線技師、医療従事者などにとって非常に役立ち得る；ｂ）放射線腫瘍医が癌治療を計画および監視するのを助ける；ｃ）ＣＴが心臓への動脈の方向および内部構造を描写しながら、心筋への血液灌流の程度および質に関する情報を提供できる；ｄ）心臓専門医が冠動脈疾患の存在および程度を評価するのに役立つ情報を提供する；ｅ）顔認識技術を支援する；ならびにｆ）コンピュータビジョンおよびロボット工学用途、を含み得る。
シーンに特有の、画像の頑健なレジストレーションのための本開示の方法に関して、いくつかの恩恵および利点は、人工の材料／物体および天然材料を分類することを含み得る。本開示の方法は、例えば、アクション可能なイベント（画像管理アクション可能なイベント）に関する価値のあるアクション可能な知性を提供するために、画像を手動で再検討するユーザの時間を短縮し、さらなる支援なしにシーンのすべての情報を解釈することができる。例えば、そのようなイベントは、非限定的な例として、ａ）ヘリコプターが安全に着陸できる（人命へのリスクが最小の）シーン内の場所を特定すること；ｂ）シーンのエリア内に都市監視システムを構築するために用いられる；ｃ）シーン内のオブジェクトおよび挙動を監視するために利用できる；ならびにｄ）監視および障害の検出および診断のための産業プロセスを含み得る。
いくつかの実施形態によれば、相互情報に基づくレジストレーションのいくつかのステップは、シーンの受信画像データからの画像のペアを位置合わせすることを含み、ペアの一方の画像は参照画像として扱われ、ペアの他方の画像は浮動画像である。さらに、受信されたシーンのデータから画像のペアを選択することは、すべての可能なペアを選択すること、または各画像が少なくとも２回選択されるペアをランダムに選択することによることができる。ここで、画像プロセスと通信するメモリからアクセスされる、格納された実行可能な命令を介して、画像のペアの位置合わせのために、画像プロセッサなどを用いることができる。例えば、参照画像の選択は、Ｎ個の画像のいずれかによるものとすることができ、浮動画像の選択は、参照画像以外の任意の画像とすることができる。画像のペアは、シーンに近いセンサから取得した画像データからとすることができ、画像データには、パンクロマティック（Ｐａｎ）画像およびマルチスペクトル（ＭＳ）画像、またはマルチモーダル画像、または異なる時間において、もしくは異なる視点からキャプチャされた単一モダリティ画像を含めることができる。
画像のペアを選択すると、画像は、すべての画像が同じスケールおよび同じ座標系になるように、再スケーリングまたはアップサンプリングによって前処理される。画像間において剛体変換が考慮される。たとえば、ｆ（ｓ）は位置（ｓ）での浮動画像の画像強度を表し、ｒ（Ｔαｓ）は参照画像における変換された位置（Ｔαｓ）での強度を表す。Ｔαはパラメータ（α）の変換行列を表す。相互情報に基づくレジストレーションプロセスは、すべてのｓ∈Ｓαに対して画像強度ペア（ｆ（ｓ），ｒ（Ｔαｓ））をビニングすることによって計算される、αでの両方の画像（つまり、参照画像と浮動画像）の重複ボリュームの結合画像強度ヒストグラムｈα（ｆ，ｒ）を作成することにより、αを決定し、ここでＳαは、Ｔαｓが参照画像のドメイン内にある格子画素の集合である。さらに、結合周辺および結合画像強度分布は、ｈα（ｆ，ｒ）の正規化によって取得できる。さらに、Powellアルゴリズムを用いて最適なレジストレーションパラメータを検索でき、最適なレジストレーションパラメータαは、浮動画像ｆ（ｓ）と変換画像ｒ（Ｔαｓ）との間の相互情報を最大化するパラメータとして定義される。２次元（２Ｄ）画像の剛体変換に関しては、３つの自由度、またはパラメータφ＊、ｘ＊およびｙ＊があり、それぞれ、回転角度φ＊、水平シフトｘ＊、および垂直シフトｙ＊を表す。パラメータが判断されると、画像変換を用いて画像レジストレーションを実行できる。
実験中、発見されたいくつかの学習された局面および認識には、画像レジストレーションは、異なる時間、空間で、または異なるモダリティを用いて、異なる測定から収集された同じ対象領域の画像からの情報を統合する上で非常に重要であることが含まれた。さらに、高空間解像度、高スペクトル解像度などの高画質で充分な画像融合性能を達成するためには、画像間の正確なレジストレーションが必要である。また、実験からわかったのは、レジストレーションにおける単一画素またはサブ画素誤差でさえ、色またはスペクトルの有意な歪みなどの融合性能の低下につながる可能性があることである。
さらに実験からわかったことは、遠隔検知において、パン画像、ＭＳ画像、もしくはハイパースペクトル画像などの異なるスペクトルの画像間、レーダーおよび光学などの異なるモダリティの画像間、または異なる視野角の画像間で画像融合を実行できることである。レジストレーション問題は非凸問題であるため、我々の実験的な単一の画像レジストレーション方法に基づくと、特にマルチスペクトルまたはマルチモーダル画像の場合に、常に最適なレジストレーションパラメータの検索に成功する保証はない。ＭＳまたはマルチモーダル画像の場合、上記の実験方法の相互情報（ＭＩ）はほとんどの状況で有効であることを実証した。しかしながら、これらの実験から観察されたのは、ＭＩに基づく方法では、異なる角度から見た一部のＭＳ画像を位置合わせできない可能性があることである。さらなる調査により、このレジストレーションミスは、最適なレジストレーションパラメータを検索するためにＭＩに基づく方法で用いられたPowellアルゴリズムの収束特性によるものであることが判明した。
複数画像レジストレーションの頑健性を改善するために、１つの実験的実現例は、画像の各１つを参照とし、他の画像を位置合わせすることを試みることだった。これは、本開示の一部の実施形態に組み込まれている。次いで、すべてのレジストレーション情報を組み合わせることにより、頑健なレジストレーション計画がさらに実現された。この実現例に続いて、ロバスト主成分分析（ＲＰＣＡ）の作業に動機付けられた別の実現は、頑健なマルチ画像レジストレーションのパラメータを抽出できるスパース性駆動型方法を提案することだった。特に、第１のステップには、レジストレーションパラメータの複数の行列を生成することが含まれ、各行列は、回転角度、水平シフト、垂直シフトなどのレジストレーションのパラメータに対応した。パラメータ行列の各列は参照画像に対応し、各行は位置合わせされるべき浮動画像に対応した。したがって、パラメータ行列の各成分は、浮動参照画像ペア間のレジストレーションパラメータに対応した。このパラメータ行列は並列に計算でき、パラメータ行列の各成分はＣＰＵによって計算される。次のステップは、各パラメータ行列を頑健なレジストレーションパラメータの低ランク行列とパラメータ誤差に対応する疎行列とに分解することだった。この実験的方法を検証するために、マルチスペクトル画像とパンクロマティック画像とをランダムな剛体変換で位置合わせした。本開示の提案されたシステムおよび方法がマルチスペクトル／モダリティ画像を剛体変換で位置合わせするための性能を大幅に改善したことを実験が実証したことがわかった。
本開示の別の実施形態によれば、シーンまたはオブジェクトの画像の複数画像レジストレーションのためのコンピュータ実施方法である。このコンピュータ実施方法は、シーンまたはオブジェクトの画像データを受信することを含む。画像データには、異なる回転角度、水平シフト、または垂直シフトで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像が含まれる。受信した画像データからの画像のペアを用いて、画像プロセッサを介して、レジストレーションパラメータを推定する。各画像のペアは、参照画像と浮動画像とを含む。すべての画像のペアについて画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成する。各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と、各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを取得する。更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像と位置合わせして、その結果、画像の頑健なレジストレーションをもたらす。以下の局面は、上記の実施形態の修正された実施形態の１つまたは組合せを構成するものとして企図される。
本開示の実施形態によれば、シーンまたはオブジェクトの画像の複数画像レジストレーションのためのシステムである。システムは、シーンまたはオブジェクトの画像データを受信するためのトランシーバを含む。画像データには、異なる回転角度、水平シフト、または垂直シフトで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像が含まれる。トランシーバと通信する画像プロセッサは、受信した画像データからの画像のペアを用いて、画像回転角度、画像水平シフト、および画像垂直シフトを含むレジストレーションパラメータを推定するように構成され、各画像のペアは、参照画像と浮動画像とを含む。すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成する。各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と、各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを取得する。更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像と位置合わせして、結果として、画像の頑健なレジストレーションをもたらす。頑健な位置合わせされた画像を表示装置に表示し、ユーザは表示された頑健な位置合わせされた画像を検討し、ユーザの検討に基づいて、ユーザは画像管理アクションを実行する。
本開示の別の実施形態によれば、方法を実行するためにコンピュータによって実行可能なプログラムが実施された非一時的なコンピュータ可読記憶媒体である。この方法は、シーンまたはオブジェクトの画像の画像処理用である。この方法は、シーンまたはオブジェクトの画像データを取得することを含む。画像データには、異なる回転角度、水平シフト、または垂直シフトで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像が含まれる。取得された画像データからの画像のペアを用いて、コンピュータを介してレジストレーションパラメータを推定し、ここで、各画像のペアは、参照画像および浮動画像を含む。すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成する。各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と、各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを取得する。更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像に位置合わせして、画像の頑健なレジストレーションを実現する。
ここに開示される実施形態は、添付の図面を参照してさらに説明される。示される図面は必ずしも縮尺通りではなく、概して、ここに開示される実施形態の原理を示すことに重点が置かれている。
本開示のいくつかの実施形態による、シーンまたはオブジェクトの画像の複数画像レジストレーションのための方法を示すブロック図である。 本開示のいくつかの実施形態による、本開示のいくつかの方法を実施するために用いられ得るいくつかのコンポーネントを含む方法を示す概略図である。 本開示のいくつかの実施形態による、図１Ａの方法のフロー図を示すブロック図である。 本開示のいくつかの実施形態による、ある方法が、異なるモダリティセンサを用いて、または単一のモダリティセンサを用いて画像を複数回収集するために、どのようにして画像データを収集し得るかを示す概略図である。 本開示のいくつかの実施形態による、別の方法が画像データ、すなわちＸ線画像およびＣＴ画像をどのように収集できるかを示す概略図である。 本開示のいくつかの実施形態による、別の方法が画像データ、すなわち白黒画像およびカラー画像などを含み得るカメラ画像をどのように収集できるかを示す略図である。 本開示のいくつかの実施形態による、画像データを受信し、相互情報に基づくレジストレーションおよびスパース性駆動型後処理を用いて改善されたレジストレーションで画像を生成するいくつかの方法を示す概略図である。 本開示のある実験による、参照を示す参照画像、たとえば実験からの高解像度パン画像の図である。 本開示のある実験による、実験からの１６個の位置合わせされていない画像（ＲＧＢ、赤外線、近赤外線および短波赤外線などの画像を含む）のモザイクを示す位置合わせされていない画像の図である。 本開示のいくつかの実施形態による、相互情報を用いて位置合わせされた画像を示す、位置合わせされた画像の図である。 本開示のいくつかの実施形態による、相互情報およびスパース性駆動型後処理を用いて位置合わせされた画像を示す、位置合わせされた画像の図である。 本開示のいくつかの実施形態による、異なるレジストレーション方法を用いるレジストレーション前およびレジストレーション後の画像の図である。 本開示のある実験による、実験からの相互情報プロセスを用いる回転角度のレジストレーションパラメータ行列を示すグラフの図である。 本開示のある実験による、実験からの頑健な分解分析を用いる回転角度の頑健なレジストレーションパラメータの低ランクレジストレーションパラメータ行列を示すグラフの図である。 本開示のある実験による、実験からの回転角度誤差のレジストレーションパラメータ疎行列を示すグラフの図である。 本開示のある実験による、実験からの相互情報プロセスを用いる水平シフトのレジストレーションパラメータ行列を示すグラフの図である。 本開示のある実験による、実験からの頑健な分解分析を用いる水平シフトの頑健なレジストレーションパラメータの低ランクレジストレーション行列を示すグラフの図である。 本開示のある実験による、実験からの水平シフト誤差のレジストレーションパラメータ疎行列を示すグラフの図である。 本開示のある実験による、実験からの相互情報プロセスを用いる垂直シフトのレジストレーションパラメータ行列を示すグラフの図である。 本開示のある実験による、実験からの頑健な分解分析を用いる垂直シフトの低ランクレジストレーション行列を示すグラフの図である。 本開示のある実験による、実験からの垂直シフト誤差のレジストレーションパラメータ行列を示すグラフの図である。 本開示のある実験による、実験からの、相互情報（ＭＩ）、相互情報＋最小二乗（ＭＩ＋Ｌ２）法、および相互情報＋最小二乗＋スパース性駆動型（ＭＩ＋Ｌ２＋Ｌ１）法についての、回転角度に関するレジストレーションエラーの比較を示すグラフの図である。 本開示のある実験による、実験からの、相互情報（ＭＩ）、相互情報＋最小二乗（ＭＩ＋Ｌ２）法、および相互情報＋最小二乗＋スパース性駆動型（ＭＩ＋Ｌ２＋Ｌ１）法についての、水平シフトに関するレジストレーションエラーの比較を示すグラフの図である。 本開示のある実験による、実験からの、相互情報（ＭＩ）、相互情報＋最小二乗（ＭＩ＋Ｌ２）法、および相互情報＋最小二乗＋スパース性駆動型（ＭＩ＋Ｌ２＋Ｌ１）法についての、垂直シフトに関するレジストレーションエラーの比較を示すグラフの図である。 本開示のいくつかの実施形態による、代替のコンピュータまたはプロセッサを用いて実現することができる、図１Ａの方法を示すブロック図である。
上記で特定された図面はここに開示される実施形態を示しているが、議論で述べられているように、他の実施形態も企図されている。この開示は、例示的な実施形態を、限定ではなく代表として提示する。当業者は、ここに開示されている実施形態の原理の範囲および趣旨に含まれる多数の他の修正物および実施形態を考案することができる。
詳細な説明
図１Ａは、本開示の実施形態による、シーンまたはオブジェクトの画像の複数画像レジストレーションのための画像処理のための方法のフローチャートを示すブロック図である。方法１００Ａは、シーンまたはオブジェクトの画像データを受信するステップ１１０Ａを含み、画像データは、異なる回転角度、水平シフト、または垂直シフトのいずれかで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像を含む。
図１Ａのステップ１１５Ａは、まず、相互情報（ＭＩ）に基づくレジストレーションなどの画像レジストレーションプロセスを用いて、受信した画像データからの画像のペアを用いて、画像回転角度、画像水平シフトおよび画像垂直シフトを含むレジストレーションパラメータを推定することを含み得る。各画像のペアには、参照画像および浮動画像が含まれる。
図１Ａのステップ１２０Ａは、すべての画像のペアについて画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成することを含み得る。
図１Ａのステップ１２５Ａは、各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを得ることを含み得る。
図１Ａのステップ１３０Ａは、更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像と位置合わせして、画像の頑健なレジストレーションをもたらすことを含み得る。
図１Ｂは、本開示の実施形態による、本開示のいくつかの方法を実施するために用いられ得るいくつかのコンポーネントを含む方法を示す概略図である。たとえば、方法１００Ｂは、画像データなどのデータを含むデータを収集する１つ以上の外部センサ１４Ｂと通信するハードウェアプロセッサ１２Ｂを含むことができる。さらに、センサ１４Ｂは、画像信号に変換することができる画像データを生成することができる。ハードウェアプロセッサ１２Ｂは、コンピュータストレージメモリ、すなわちメモリ１０Ｂと通信しており、メモリ１０Ｂは、ハードウェアプロセッサ１２Ｂによって実現され得るアルゴリズム、命令および他のデータを含む格納されたデータを含み得る。
任意選択で、ハードウェアプロセッサ１２Ｂは、データソース３Ｂ、コンピュータデバイス４Ｂ、携帯電話デバイス５Ｂ、およびストレージデバイス６Ｂと通信するネットワーク７Ｂに接続されることができる。また、任意選択で、ハードウェアプロセッサ１２Ｂは、クライアントデバイス１８Ｂに接続されるネットワーク対応サーバ３９Ｂに接続されることができる。ハードウェアプロセッサ１２Ｂは、任意選択で、外部メモリデバイス１９Ｂ、送信機１６Ｂに接続されることができる。トランシーバ１３Ｂは、入力インターフェース／出力インターフェースとしての機能を含むことができ、位置合わせされていない画像などの画像データを含むデータを受信することができる。また、受信された画像データは、パン、ＲＧＢ、赤外線、近赤外線、短波赤外線、ＣＴ画像、Ｘ線画像、レーダー画像などの画像を含むよう考慮され得る画像の複数のモダリティを含むことができる。
画像データは、外部センサ１４Ｂによって収集され、およびトランシーバ１３Ｂによって、または外部メモリデバイス１５Ｂ、もしくは有線もしくは無線のいずれかの他のなんらかの通信手段から取得され得る。例えば、画像データまたは他のデータは、データソース３Ｂ、コンピュータ４Ｂ、電話のようなデバイス５Ｂまたはストレージ６Ｂに接続されているネットワーク７Ｂから取得することができる。企図されるのは、プロセッサ１２Ｂが画像データまたは他のデータを、例えば、メモリ転送デバイスまたは無線通信状デバイス（図示せず）など、直接的または間接的に取得できることである。ユーザインターフェース１７Ｂはキーボード（図示せず）を有することが可能であり、ユーザによるユーザインターフェース１７Ｂのキーボードの表面からの入力を受信すると、データを取得／受信することができる。
引き続き図１Ｂを参照して、プロセッサ１２Ｂは、コントローラ（図示せず）に接続されてクライアントデバイス１８Ｂを指示することができるネットワーク対応サーバ３９Ｂと通信することができる。さらに、プロセッサ１２Ｂは、第１のコントローラ２６Ｂおよび／または第２のコントローラ２８Ｂに接続され得、第２のコントローラ２８Ｂは、デバイス２９Ｂに接続され得る。コントローラ２６Ｂ、２８Ｂは、本開示のいくつかまたはすべての実施形態の少なくとも１つのアクションの実施を支援するために、画像処理技術に関連するデバイスに関連付けられるデバイスまたは同様のデバイスを制御するように構成され得る。
図１Ｃは、本開示のいくつかの実施形態による、シーンまたはオブジェクトの画像の複数画像レジストレーションのためのものである、図１Ａの方法のフロー図を示すブロック図である。方法１００Ｃは、シーンまたはオブジェクトの画像データを含むデータを取得するためのステップ１、１１０Ｃを含む。画像データには、異なる回転角度、水平シフト、または垂直シフトで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像が含まれる。トランシーバは、シーンまたはオブジェクトのデータおよび画像データを取得できる。画像データには、異なる回転角度、水平シフト、または垂直シフトで異なる測定から収集される単一のモダリティまたは異なるモダリティの画像が含まれる。企図されるのは、データがシーンおよび／またはオブジェクトの履歴画像データならびに他の履歴データであり得ることである。
図１Ｃのステップ２、１１５Ｃは、相互情報（ＭＩ）プロセス、相互相関プロセス、または特徴に基づくプロセスの１つであり得る画像レジストレーションプロセスを用いて、受信された画像データからの画像のペアを用いて、画像回転角度、画像水平シフトおよび画像垂直シフトを含むレジストレーションパラメータを推定することを含み得る。各画像のペアには、参照画像と浮動画像とが含まれる。
図１Ｃのステップ３、１２０Ｃは、すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成することを含み得る。
図１Ｃのステップ４、１２５Ｃは、レジストレーションの頑健性を追加するために用いられる後処理ステップまたは追加のステップであり、それは、各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と、各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを取得することを含み得る。
図１Ｃのステップ５、１３０Ｃは、更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像と位置合わせして、画像の頑健なレジストレーションをもたらすことを含み得る。さらに、実験から発見されたのは、本開示の画像レジストレーションに基づく方法が、マルチスペクトル（ＭＳ）、マルチモーダル画像、カラー画像、ＣＴおよびＭＲＩ画像、ならびにレーダー画像の両方の効果的なレジストレーションを示したことである。従来の画像レジストレーション方法は、レジストレーションパラメータを検索する際に収束せず、レジストレーションミスとなるのに対し、本開示の画像レジストレーションに基づく方法は、レジストレーションパラメータを検索する際に収束する結果、レジストレーションをもたらすことにより、従来の画像レジストレーション方法の問題を克服する結果となる。たとえば、実験からわかったことは、高い空間解像度およびスペクトル解像度の画像を実現するために、パン画像とマルチスペクトル画像との間の正確なレジストレーションが必要になり得るということである。レジストレーションに単一の画素またはサブ画素の誤差がある場合には、その誤差は色またはスペクトルの有意な歪みにつながる可能性があることが認識された。
引き続き図１Ｃを参照すると、企図されるのは、画像の頑健なレジストレーションを表示装置に表示することができるということであり、ユーザは表示された頑健な位置合わせされた画像を検討し、その検討に基づいて、ユーザは、他の利点の中でも特に、スペクトル歪みの低減や空間解像度の向上などの高い融合性能を提供するのに役立つ画像管理アクションを実行する。
図１Ｄは、方法１００Ｄが、本開示のいくつかの実施形態に従って、マルチスペクトル（ＭＳ）画像デバイス１２１Ｄ、パンクロマティック（パン）画像デバイス１２２Ｄおよびカメラデバイス１２３Ｄから、シーン１０９Ｄの画像データを含むデータをどのように収集できるかを示す概略図である。実施形態１００Ｄは、カメラ１２３Ｄを介したカラー写真１０３Ｄ、ＭＳデバイス１２１Ｄを介したＭＳ画像データ１０１Ｄ、およびをパン装置１２２Ｄ介したパンデータ１０２Ｄを含む、光学バンドを超える広い周波数範囲にわたるシーン１０９Ｄのデータの捕捉または収集を含む複数の検知機能が可能なセンサ１０３Ｄを示す。画像は、撮像デバイスが静止または移動している間に取得できる。企図されるのは、撮像デバイス１０３Ｄは、生物または非生物、金属または非金属物体などを含む１つ以上のオブジェクトの写真を撮ることができる、ということである。例示的な収集された画像データは、シーンにおける、異なる回転角度、水平シフト、または垂直シフトで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像を含むことができる。
遠隔検知では、パン画像およびマルチスペクトルもしくはハイパースペクトル画像などの異なるスペクトルの画像間、レーダーや光学などの異なるモダリティの画像間、または異なる視野角の画像間で画像融合を実行できる。レジストレーション問題は非凸問題であるため、単一の画像レジストレーション方法が、特にマルチスペクトルまたはマルチモーダル画像の場合に、常に最適なレジストレーションパラメータの検索に成功する保証はない。したがって、複数画像レジストレーションの頑健性を改善するために、１つの実現例では、画像の各１つを参照とし、他の画像を位置合わせすることを試みることが含まれた。すべてのレジストレーション情報を組み合わせることにより、本開示の頑健なレジストレーション計画がさらに実現された。さらに発見されたのは、頑健なマルチ画像レジストレーションのパラメータを抽出できるスパース性駆動型方法である。特に、第１のステップには、レジストレーションパラメータの複数の行列を生成することが含まれ、各行列は、回転角度、水平シフト、および垂直シフトなどのレジストレーションのパラメータに対応する。パラメータ行列の各列は参照画像に対応し、各行は位置合わせされるべき浮動画像に対応する。したがって、行列の各成分は、浮動参照画像ペア間のレジストレーションパラメータに対応する。次いで、次のステップは、各パラメータ行列を頑健なレジストレーションパラメータの低ランク行列とパラメータ誤差に対応する疎行列とに分解することを含んだ。マルチスペクトル画像とパンクロマティック画像とをランダムな剛体変換で位置合わせすることによってこの方法およびシステムをテストしたところ、実験は、この方法およびシステムが、従来の画像レジストレーション方法と比較して、異なる視野角から見られたマルチスペクトル／モダリティ画像を位置合わせするための性能を大幅に改善したことを実証した。
図１Ｅは、本開示のいくつかの実施形態による、別の方法が、生物または無生物の画像データ、すなわちＸ線画像およびＣＴ画像をどのように収集できるかを示す概略図である。実施形態１００Ｅは、Ｘ線画像およびＣＴ画像が、Ｘ線源１０３Ｅおよび１０３ＥＥならびにＸ線検出器（撮像デバイス）１０４Ｅおよび１０４ＥＥを含み得る撮像システムによって収集され得ることを示す。２つのＸ線源１０３Ｅおよび１０３ＥＥは、手術室の天井の固定位置に取り付けてもよく、撮像用Ｘ線ビームを２つの異なる角度位置（９０度離れた位置など）から投射し、マシンの中央１０５Ｅで交差させ（これは、治療中に患者を治療台１０６Ｅ上で位置決めするための基準点を与える）、患者を通過した後にそれぞれの検出器１０４Ｅおよび１０４ＥＥの撮像面を照明するように、整列させることができる。他の実施形態では、システム１００Ｅは、２つより多いかまたは少ないＸ線源および２つより多いまたは少ない検出器を含むことができ、検出器のいずれも固定ではなく可動であってもよい。さらに他の実施形態では、Ｘ線源の位置および検出器の位置を入れ替えてもよい。検出器１０４Ｅおよび１０４ＥＥは、Ｘ線を可視光に変換するシンチレーション材料（たとえば、アモルファスシリコン）と、光をレジストレーションプロセス中に参照画像と比較できるデジタル画像に変換するＣＭＯＳ（相補型金属酸化物シリコン）またはＣＣＤ（電荷結合素子）撮像セルのアレイとから作製されてもよい。例示的な収集された画像データは、異なる回転角度、水平シフト、または垂直シフトのいずれかで単一のモダリティまたは複数のモダリティの異なる測定から収集されたオブジェクトの画像を含むことができる。
図１Ｆは、本開示の実施形態による、別の方法が、白黒画像およびカラー画像などを含むことができる画像データ、すなわちカメラ画像をどのように収集できるかを示す概略図である。実施形態１００Ｆは、カメラデバイス１３４Ｆを含む撮像デバイス１３３Ｆを示す。２つ以上のカメラ１３４Ｆが、撮像デバイス１３３Ｆ、または１つ以上の異なるタイプのカメラデバイス内にあり得ることが企図される。ここで、画像データの対象は、顔、頭１３５Ｆなどの人間の身体部分を含むことができる。画像データの他の対象は、非生物、生物、静止物体または移動物体などを含むことができる。
図２は、本開示のいくつかの実施形態による、画像データを受信し、相互情報に基づくレジストレーションおよびスパース性駆動型後処理を用いて、改善されたレジストレーションで画像を生成するいくつかの方法を示す概略図である。実施形態２００は、シーンまたはオブジェクトの画像データ２１０を受信することを含む。画像データ２１０は、シーンにおける、異なる回転角度、水平シフト、または垂直シフトのいずれかで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像を含むことができる。
図２のステップ２１５は、受信された画像データからの画像のペアを用いて、画像プロセッサを介してレジストレーションパラメータを推定することを含むことができ、各画像のペアは、参照画像および浮動画像を含む。
図２のステップ２２０は、すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成することを含むことができる。
相互情報に基づくレジストレーション
２つの画像を位置合わせする場合、一方の画像は参照として、もう一方の画像は浮動画像として扱われる。次いで、両方の画像が同じ座標系になるように、浮動画像の画素サンプルが参照画像に変換される。浮動画像の位置ｓの画像強度をｆ（ｓ）と記し、参照画像における変換位置Ｔαｓでの強度をｒ（Ｔαｓ）と記す。ここで、Ｔαはパラメータαを伴う変換行列を表す。相互情報に基づくレジストレーションプロセスは、以下のプロセスを通じてαを判断する。
位置αでの両方の画像の重なり合うボリュームの結合画像強度ヒストグラムｈα（ｆ，ｒ）は、すべてのｓ∈Ｓαについて画像強度ペア（ｆ（ｓ），ｒ（Ｔαｓ））をビニングすることによって計算され、ここで、Ｓαは、Ｔαｓが参照画像のドメイン内にある格子画素の集合である。結合周辺および結合画像強度分布は、ｈα（ｆ，ｒ）の正規化によって得られる。
Figure 0007267233000004
Powellアルゴリズムは、典型的には、ｆ（ｓ）とｒ（Ｔαｓ）との間の相互情報を最大化する最適なレジストレーションパラメータα＊を検索するために用いられる。
Figure 0007267233000005
２Ｄ画像の剛体変換に対して、我々は３つの自由度を有する。
Figure 0007267233000006
 ここで、φ＊は回転角度、ｘ＊は水平シフト、ｙ＊は垂直シフトを表す。パラメータが決定したら、画像変換を用いて画像レジストレーションを実行できる。
図２のステップ２２５は、各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と、各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを取得することを含むことができる後処理ステップを含むことができる。
行列分析による頑健なレジストレーション
問題の定式化：参照画像と、すべての（Ｎ－１）個の画像を参照画像と位置合わせする目的で（Ｎ－１）個の位置合わせされていない画像とを含むＮ個の画像があると仮定する。レジストレーションの頑健性を改善するには、レジストレーションのためにＮ個の画像のすべての可能なペアを検討し、レジストレーションパラメータをあわせて分析する。
Figure 0007267233000007
 を、ｊ番目の画像が参照画像である状態で浮動画像としてのｉ番目の画像に対応する真のレジストレーションパラメータとする。可能なすべての画像ペアについて、レジストレーションパラメータの行列の集合を次のように形成できる。
Figure 0007267233000008
特に、第１の画像が参照としてとられる場合、つまり、ｊ＝１である場合、
Figure 0007267233000009
 はｉ番目の浮動画像（ｉ＝１，２，…Ｎ）の変換行列のパラメータである。我々は、
Figure 0007267233000010
 と定義する。剛体変換に対しては、我々は、
Figure 0007267233000011
 を有する。
Figure 0007267233000012
 を確認するのは簡単である。式中、１はすべての成分が１であるＮ次元ベクトルである。同様に、我々は、剛体画像変換に対してはＸ＝ｘ１Ｔ－１ｘＴおよびＹ＝ｙ１Ｔ－１ｙＴを有する。（７）は、真のレジストレーション行列はランク（Φ）≦ランク（φ１Ｔ）＋ランク（１φＴ）＝１＋１＝２を有し、それはΦが２以下のランクの低ランク行列であることを意味する。レジストレーションエラーが発生した場合、このプロパティを用いてレジストレーション行列のノイズを除去することになる。
実際には、ＭＩに基づく方法で取得したレジストレーションパラメータ行列
Figure 0007267233000013
 は、一般にノイズが多くなる。頑健な画像レジストレーションを実現するための１つのアプローチは、明示的なランク２制約を用いて最小二乗問題を解いて、レジストレーションパラメータを抽出することである。たとえば、回転角度については、我々は以下を解く。
Figure 0007267233000014
最小二乗法の基底の仮定は、パラメータ誤差はランダムガウスノイズであるということであるが、この問題では真ではない。
最小二乗法の代わりに、ロバスト主成分分析（ＲＰＣＡ）に触発されて、我々は、頑健なレジストレーションパラメータを達成するために、スパース性駆動型法を提案する。これは、次の問題を解くことによって実現される。
Figure 0007267233000015
 ここで、Ｌは低ランク行列を表し、Ｓは外れ値疎行列を表す。（１０）とＲＰＣＡとの違いは、ＲＰＣＡがおおよその低ランク行列を探すのに対し、ここではＬに厳密なランク２構造を課していることである。低ランク性は、（９）におけるその定義によって自動的に満たされる。水平シフトおよび垂直シフトなどの他のレジストレーションパラメータは、同様の方法で達成できる。
図２のステップ２３０は、更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像と位置合わせして、画像の頑健なレジストレーションをもたらすことを含むことができる。その結果の、画像の頑健なレジストレーションにより、他の側面や利点の中でもとりわけ、空間解像度の向上などの融合性能が向上する。
アルゴリズム：（１０）を解くために、交互最小化法が用いられる。最初に、あるステップを用いてＳをＳ０＝０として初期化し、次にあるステップを用いてＳおよびφを次のように順次更新する。
Figure 0007267233000016
（１１）における第１の更新プロセスは標準最小二乗問題であり、φの射影行列の疑似逆行列を用いて解くことができる。（１２）における第２の更新プロセスは単純化されたＬＡＳＳＯ問題であり、その解は次のようになる。
Figure 0007267233000017
反復アルゴリズムは、次のような収束基準が満たされるまでに終了する。
Figure 0007267233000018
実験／シミュレーション
図３Ａは、本開示のある実験による、実験からの参照画像を示すレジストレーション参照画像である。たとえば、図３Ａは、本開示の少なくとも１つの方法を検証するために、ＭＳ画像を対応するパン画像と位置合わせする問題が相互情報に基づく方法を用いて調べられるように、参照画像として用いられる高解像度パン画像の写真である。
図３Ｂは、本開示のある実験による、実験からの１６個の位置合わせされていない画像のモザイクを示す、位置合わせされていない画像である。例えば、図３Ｂは、１６個のマルチスペクトル画像（ＲＧＢ、赤外線、近赤外線、および短波赤外線などを含む）を有し得、それらはさらなる融合プロセスのために参照パン画像に位置合わせすると考えられる。たとえば、位置合わせされていない画像をシミュレートするために、十分に位置合わせされた画像セットに対して剛体変換が実行され、
Figure 0007267233000019
 図３Ｃは、本開示の実施形態による、相互情報に基づく方法を用いて初期推定レジストレーションパラメータを用いて位置合わせされた画像を示す、位置合わせされた画像である。見てとれるように、最適化アルゴリズムの発散のため、いくつかのバンドがパンクロマティック画像との位置合わせに完全に失敗した。
図３Ｄは、本開示の実施形態による、相互情報に基づく方法およびスパース性駆動型後処理を用いて、更新されたレジストレーションパラメータを用いて位置合わせされた画像を示す、位置合わせされた画像である。見てとれるように、すべての画像は、頑健なレジストレーション性能で参照パンクロマティック画像とよく位置合わせされている。
図４は、本開示の実施形態による、異なるレジストレーション方法を用いたレジストレーション前およびレジストレーション後の画像を示す画像である。例えば、図４は、列１、列２、および列３を示し、各列は、スペクトルバンドに対応し、図４の行Ａは、位置合わせされていないＭＳ画像を示す。
図４の列Ｂは、それぞれＭＩ法を用いて位置合わせされた画像を示す。行Ｂから観察されるように、画像内の一部の画像レジストレーションは充分に位置合わせされていない。
図４の列Ｃは、最小二乗法を用いて組み合わされたＭＩ法によって推定されたレジストレーションパラメータを用いて、位置合わせされたすべての画像を示す。しかしながら、列Ｃで気づくのは、一部の画像レジストレーションは少し良くなっているが、回転角度が依然として小さく、レジストレーション結果は、本開示の標準および画像処理産業における今日の多くの画像処理技術のニーズを満たすために許容できる品質のレベルではない。
図４の列Ｄは、本開示のいくつかのシステムおよび方法による、ＭＩベース＋スパース性駆動型方法を用いたレジストレーションを示す。本開示の方法によれば、我々はβ＝５０、Ｋ＝５００および
Figure 0007267233000020
 を設定し、Ｄ列で見ることができるように、すべてのＭＳ画像は視覚的にパン画像と非常によく位置合わせされている。
図５Ａは、本開示の実施形態による、実験からの相互情報に基づく方法によって推定され、低ランク行列と疎行列とに分解される回転角度のレジストレーションパラメータ行列を示すグラフである。
図５Ｂは、本開示のある実験による、実験からの更新された回転角度パラメータの低ランクレジストレーションパラメータ行列を示すグラフである。
図５Ｃは、本開示のある実験による、実験からの後処理における回転角度誤差のレジストレーションパラメータ疎行列を示すグラフである。
図６Ａは、本開示のある実験による、実験からの相互情報に基づく方法によって推定され、低ランク行列と疎行列とに分解される水平シフトのレジストレーションパラメータ行列を示すグラフである。
図６Ｂは、本開示のある実験による、実験からの更新された水平シフトパラメータの低ランクレジストレーションパラメータ行列を示すグラフである。
図６Ｃは、本開示のある実験による、実験からの水平シフト誤差のレジストレーションパラメータ疎行列を示すグラフである。
図７Ａは、本開示のある実験による、実験からの相互情報に基づく方法によって推定された垂直シフトのレジストレーションパラメータ行列を示すグラフである。
図７Ｂは、本開示のある実験による、実験からの更新された垂直シフトパラメータの低ランクレジストレーションパラメータ行列を示すグラフである。
図７Ｃは、本開示のある実験による、実験からの垂直シフト誤差のレジストレーションパラメータ疎行列を示すグラフである。
図８Ａ、図８Ｂおよび図８Ｃを参照して、レジストレーションパラメータと真の画像変換パラメータとの間の誤差が比較される。
図８Ａは、本開示のある実験による、実験からの、相互情報（ＭＩ）、相互情報＋最小二乗（ＭＩ＋Ｌ２）法、および相互情報＋最小二乗＋スパース性駆動型（ＭＩ＋Ｌ２＋Ｌ１）法についての、回転角度に関するレジストレーションエラーの比較を示すグラフの図である。観察されたのは、ＭＩに基づく方法の場合、一部のスペクトル画像は、比較的大きな回転角度誤差で、十分に位置合わせされないことである。さらに、最小二乗分析を用いてすべてのパラメータを組み合わせると（ＭＩ＋Ｌ２）、誤差は大幅に減少するが、依然として［０，４］度の範囲内にある。
しかしながら、本開示の頑健な方法が用いられる場合（ＭＩ＋Ｌ２＋Ｌ１）、回転角度誤差は、すべての１６のマルチスペクトル画像についてほぼゼロに減少し、正確で頑健な画像レジストレーションに至る。
図８Ｂは、本開示のある実験による、実験からの、相互情報（ＭＩ）、相互情報＋最小二乗（ＭＩ＋Ｌ２）法、および相互情報＋最小二乗＋スパース性駆動型（ＭＩ＋Ｌ２＋Ｌ１）法についての、水平シフトに関するレジストレーションエラーの比較を示すグラフの図である。
図８Ｃは、本開示のある実験による、実験からの、相互情報（ＭＩ）、相互情報＋最小二乗（ＭＩ＋Ｌ２）法、および相互情報＋最小二乗＋スパース性駆動型（ＭＩ＋Ｌ２＋Ｌ１）法についての、垂直シフトに関するレジストレーションエラーの比較を示すグラフの図である。
図８Ａ、図８Ｂおよび図８Ｃから理解できるように、本開示のシステムおよび方法は、相互情報に基づく画像レジストレーションの従来の発散問題を解く複数画像レジストレーションのための頑健なスパース性駆動型画像レジストレーション方法を提供する。
さらに、本開示のシステムおよび方法は、ランダムパラメータを用いた剛体変換の下での高解像度パンクロマティック画像および低解像度マルチスペクトル画像の位置合わせについて検討される。結果は、相互情報に基づくレジストレーションがいくつかの画像を正しく位置合わせできない場合に、本開示のシステムおよび方法は複数画像レジストレーションの精度および頑健性を大幅に改善することを示す。
特徴
本開示の別の実施形態によれば、シーンまたはオブジェクトの画像の複数画像レジストレーションのためのコンピュータ実施方法である。コンピュータ実施方法は、シーンまたはオブジェクトの画像データを受信することを含む。画像データは、シーンにおける、異なる回転角度、水平シフト、または垂直シフトのいずれかで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像を含むことができる。受信された画像データからの画像のペアを用いて、画像プロセッサを介してレジストレーションパラメータを推定することを含み、各画像のペアは、参照画像および浮動画像を含む。すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成することを含む。各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを得ることを含む。更新されたレジストレーションパラメータを用いて変換行列を形成し、画像データの画像を少なくとも１つの参照画像と位置合わせして、画像の頑健なレジストレーションをもたらすことを含む。以下の局面は、上記の実施形態の修正された実施形態の１つまたは組合せを構成するものとして企図される。
本開示の一局面によれば、上記の実施形態に鑑み、画像レジストレーションプロセスは、相互情報（ＭＩ）プロセス、相互相関プロセス、または特徴に基づくプロセスのうちの１つである。別の局面は、浮動画像と参照画像との間のレジストレーションパラメータに対応するパラメータ行列に入力された各画像のペアを含むことができる。
本開示の一局面によれば、上記の実施形態に鑑み、画像データは、シーンのマルチスペクトル（ＭＳ）画像、パンクロマティック（ＰＡＮ）画像、カラー画像、またはなんらかの組み合わせを含む。さらに別の局面は、オブジェクトのＣＴ画像もしくはＭＲＩ画像の一方または両方を含む複数のモダリティの画像データを含むことができ、および／または画像データはシーンのレーダー画像を含む。さらに、画像データは、シーンのマルチスペクトル（ＭＳ）画像、パンクロマティック（ＰＡＮ）画像、カラー画像の１つまたは組み合わせを含む、単一のモダリティまたは異なるモダリティを含むことができる。
別の局面は、パラメータ行列が撮像プロセッサによって並列に生成され、パラメータ行列の各パラメータ行列を別々に生成するための総計算時間と比較すると、計算時間が少なくなることであり得る。
本開示の一局面によれば、更新されたレジストレーションパラメータの低ランク行列は、低ランク行列に厳密なランク≦２の構造を課せられる。さらに、別の局面は、更新されたレジストレーションパラメータを用いて変換行列を形成する画像の位置合わせが、所定の収束閾値が満たされるまで続き、位置合わせが終了すると、画像の頑健なレジストレーションをもたらすことができることである。ここで、所定の収束閾値は正の数である。
本開示の一局面によれば、上記の実施形態に鑑み、トランシーバを介して画像データを受信し、画像データをメモリに格納することをさらに含む。メモリおよびトランシーバは画像プロセッサと通信しており、以前にメモリに格納されているのはデータであり、そのデータには、シーンの画像履歴データ、オブジェクトの画像履歴データ、またはシーンおよびオブジェクトの両方の画像履歴データ、画像レジストレーションプロセスが、画像プロセッサによって実行可能な格納された命令とともに含まれる。上記の実施形態の別の局面は、入力インターフェースを用いて画像データを取得すること、そして、画像データを記憶媒体の画像データベースに格納することをさらに含むことができる。記憶媒体は、以前に格納されたデータを有する画像処理データベースも含み、データは、シーンの画像履歴データ、オブジェクトの画像履歴データ、またはシーンおよびオブジェクトの画像履歴データの両方、画像レジストレーションプロセスを、コンピュータによって実行可能な格納された命令とともに含む。ここで、画像データベースにおける格納されている画像データの量は、画像処理データベースにおけるすべてのデータ量よりも多い。画像データベースからのすべてのデータと撮像処理データベースからのデータとを含む結合されたデータベースからのデータにアクセスする場合と比較して、記憶媒体は、画像処理データベースに別途アクセスすることにより、処理するデータがより少ないため、方法を動作させるために必要なコンピュータ処理時間量がより少ない。
定義
ＣＴ画像：本システムおよび方法によれば、Ｘ線ＣＴと呼ばれる「コンピュータ断層撮影」（ＣＴ）として理解でき、医療技術分野や産業用撮像用途で用いることができる。たとえば、医用撮像は、生体撮像の一部としての使用を含み得、Ｘ線撮影、磁気共鳴イメージング、医療超音波検査または超音波、内視鏡検査、エラストグラフィ、触覚イメージング、サーモグラフィー、医療撮影、陽電子放出断層撮影（ＰＥＴ）および単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）としての核医学機能的撮像技術などを用いる放射線医学を組み込む。医用撮像の場合と同様に、産業用撮像用途には、非断層撮影ラジオグラフィー（産業用ラジオグラフィー）およびコンピュータ断層撮影ラジオグラフィー（コンピュータ断層撮影）の両方を含めることができる。しかし、陽電子放出断層撮影（ＰＥＴ）や単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）など、他の多くのタイプのＣＴが存在する。ＣＴの前身であるＸ線トモグラフィーは、他の多くの形態の断層撮影および非断層撮影ラジオグラフィーと共に、ラジオグラフィーの１つの形式である。Ｘ線ＣＴの産業用用途では、コンポーネントの内部検査に用いられる、スキャンされたオブジェクトの３次元の内部および外部表現を生成するために、照射を用いるものもある。産業用ＣＴスキャンの主な用途には、探傷、故障分析、計測、アセンブリ分析、リバースエンジニアリング用途、非破壊材料分析などがある。
図９は、図１Ａの方法を示すブロック図であり、それは、本開示の実施形態に従って、代替のコンピュータまたはプロセッサを用いて実現することができる。コンピュータ９１１は、バス９５６を介して接続される、プロセッサ９４０、コンピュータ可読メモリ９１２、ストレージ９５８、ならびにディスプレイ９５２およびキーボード９５１を伴うユーザインターフェース９４９を含む。例えば、プロセッサ９４０およびコンピュータ可読メモリ９１２と通信するユーザインターフェース９６４は、ユーザによるユーザインターフェース９５７の表面、キーボード９５３からの入力を受け付けると、画像データを取得し、コンピュータ可読メモリ９１２に格納する。
コンピュータ９１１は、電源９５４を含むことができ、用途に応じて、電源９５４はオプションでコンピュータ９１１の外部に配置できる。バス９５６を介してリンクされ得るのは、表示装置９４８に接続するように適合されたユーザ入力インターフェース９５７であり、表示装置９４８は、特にコンピュータモニタ、カメラ、テレビ、プロジェクタ、モバイルデバイスなどを含み得る。プリンタインターフェース９５９も、バス９５６を介して接続されることができ、印刷装置９３２に接続するようにされることもでき、印刷装置９３２は、特に、液体インクジェットプリンタ、固体インクプリンタ、大規模商業プリンタ、サーマルプリンタ、ＵＶプリンタ、または色素昇華型プリンタを含むことができる。ネットワークインターフェースコントローラ（ＮＩＣ）９３４は、バス９５６を介してネットワーク９３６に接続するように適合され、画像データまたは他のデータは、とりわけ、プロセッサ９１１の外部のサードパーティ表示装置、サードパーティ撮像装置、および／またはサードパーティ印刷装置でレンダリングされることができる。コンピュータ／プロセッサ９１１は、バス９５６に接続されるＧＰＳ９０１を含むことができる。
引き続き図９を参照すると、画像データまたは他のデータは、とりわけ、ネットワーク９３６の通信チャネルを介して送信され得、ならびに／または記憶および／もしくはさらなる処理のために記憶システム９５８内に格納され得る。さらに、時系列データまたは他のデータを、受信機９４６（もしくは外部受信機９３８）から無線もしくは有線で受信するか、または送信機９４７（もしくは外部送信機９３９）を介して無線もしくは有線で送信することができ、受信機９４６および送信機９４７は両方ともバス９５６を介して接続される。コンピュータ９１１は、入力インターフェース９０８を介して外部検知装置９４４および外部入力／出力装置９４１に接続されてもよい。入力インターフェース９０８は、マシンのようなデバイス９０２に接続されてもよい、１つ以上の入力／出力装置９４１、外部メモリ９０６、外部センサ９０４に接続されることができる。コントローラ９４２は、デバイス９４３に接続され得る。さらに、他のコンピュータ９４５が、バス９５６に接続され得る。例えば、外部検知装置９４４は、マシンの収集された時系列データの前、間、後のデータを収集するセンサを含み得る。コンピュータ９１１は、他の外部コンピュータ９４２に接続され得る。出力インターフェース９０９は、プロセッサ９４０から処理されたデータを出力するために用いられ得る。プロセッサ９４０および非一時的コンピュータ可読記憶媒体９１２と通信するユーザインターフェース９４９は、ユーザによるユーザインターフェース９４９の表面９５２からの入力を受け付けると、領域データを取得して、非一時的コンピュータ可読記憶媒体９１２に格納することに注目されたい。さらに、コントローラ９６１をバス９５６に接続して、本開示のシステムおよび方法の実施形態に関連付けられるデバイスを制御することができる。
本記載は、例示的な実施形態のみを与え、本開示の範囲、適用性、または構成を限定することを意図しない。むしろ、例示的な実施形態の以下の記載は、当業者に、１つ以上の例示的な実施形態を実現することを可能にする記載を提供するであろう。企図されるのは、特許請求の範囲に記載されるように開示される主題の精神および範囲から逸脱することなく、要素の機能および構成において行われ得るさまざまな変更である。
実施形態の完全な理解を与えるために、具体的な詳細が以下の記載において与えられる。しかしながら、当業者によって理解されることは、実施形態がこれらの具体的な詳細なしで実施され得ることであり得る。例えば、開示された主題におけるシステム、プロセス、および他の要素は、不必要な詳細で実施形態を不明瞭にしないために、ブロック図形式でコンポーネントとして示され得る。他の例では、周知のプロセス、構造、および技法は、実施形態を不明瞭にすることを回避するために、不必要な詳細なしに示され得る。さらに、さまざまな図面における同様の参照番号および名称は、同様の要素を示した。
加えて、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明され得る。フローチャートは、操作を順次プロセスとして記載し得るが、操作の多くは、並列または同時に実行できる。さらに、操作の順序を並べ替えることができる。プロセスは、その操作が完了したときに終了され得るが、論じられていない、または図面に含まれていない追加のステップがある場合がある。さらに、任意の特定の記載されるプロセスのすべての動作がすべての実施形態で生じるわけではない。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応する場合がある。プロセスが関数に対応する場合、関数の終了は、呼び出し元の関数またはメイン関数への関数の戻りに対応し得る。
さらに、開示される主題の実施形態は、少なくとも部分的に、手動または自動のいずれかで実現され得る。手動または自動の実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、もしくはそれらの任意の組み合わせで実行され得るか、または少なくとも支援され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に格納され得る。プロセッサが必要なタスクを実行する場合がある。
本開示の上記の実施形態は、多数の方法のいずれかで実現することができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現されてもよい。ソフトウェアで実現される場合、ソフトウェアコードは、単一のコンピュータで提供されるか、複数のコンピュータ間で分散されるかに関係なく、任意の好適なプロセッサまたはプロセッサの集まりで実行できる。そのようなプロセッサは、１つ以上のプロセッサが集積回路コンポーネントにある、集積回路として実現され得る。しかしながら、プロセッサは、任意の好適なフォーマットの回路を用いて実現されてもよい。
また、本明細書で概説されるさまざまな方法またはプロセスは、さまざまなオペレーティングシステムまたはプラットフォームのいずれか１つを採用する１つ以上のプロセッサで実行可能なソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングもしくはスクリプトツールのいずれかを用いて記述でき、フレームワークまたは仮想マシンで実行される実行可能マシン言語コードまたは中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、さまざまな実施形態で所望のように組み合わせたり分散させたりすることができる。
また、本開示の実施形態は、その例が提供された方法として具体化されてもよい。方法の一部として実行される行為は、任意の好適な方法で順序付けられてもよい。したがって、例示的な実施形態では順次動作として示されているいくつかの動作を同時に実行することを含み得る、動作が説明される通りではない順序で実行される実施形態を構築することができる。さらに、特許請求の範囲においてクレーム要素を修飾する第１、第２などの序数詞の使用は、それ自体では、あるクレーム要素の優先順位、先行性、もしくは順序が別のクレーム要素、またはメソッドの動作が実行される時間的順序を上回ることを暗示せず、特定の名称を有するあるクレーム要素を（ただし、序数詞を用いるため）同じ名称の別の要素と区別してそれらクレーム要素を区別するための単にラベルとして用いられるにすぎない。
本開示は特定の好ましい実施形態を参照して説明されたが、本開示の精神および範囲内でさまざまな他の適合および変更を行うことができることを理解されたい。したがって、本開示の真の精神および範囲内に入るそのようなすべての変形および修正を包含することは、特許請求の範囲の局面である。
３Ｂ データソース、４Ｂ コンピュータデバイス、５Ｂ 携帯電話デバイス、６Ｂ ストレージデバイス、７Ｂ ネットワーク、１０Ｂ メモリ、１２Ｂ ハードウェアプロセッサ、１３Ｂ トランシーバ、１４Ｂ 外部センサ、１５Ｂ 外部メモリデバイス、１６Ｂ 送信機、１７Ｂ ユーザインターフェース、１８Ｂ クライアントデバイス、１９Ｂ 外部メモリデバイス、３９Ｂ ネットワーク対応サーバ、２６Ｂ 第１のコントローラ、２８Ｂ 第２のコントローラ、２９Ｂ デバイス、１００Ｂ 方法。

Claims (19)

  1. シーンまたはオブジェクトの画像の複数画像レジストレーションのためのコンピュータ実施方法であって、
    前記シーンまたは前記オブジェクトの画像データを受信することを備え、前記画像データは、前記シーンにおける、異なる回転角度、水平シフト、または垂直シフトのいずれかで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像を含み、前記方法はさらに、
    前記受信された画像データからの画像のペアを用いて、画像プロセッサを介してレジストレーションパラメータを推定することを備え、各画像のペアは、参照画像および浮動画像を含み、前記方法はさらに、
    すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成することと、
    各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを得ることと、
    前記更新されたレジストレーションパラメータを用いて変換行列を形成し、前記画像データの前記画像を少なくとも１つの参照画像と位置合わせして、前記画像の頑健なレジストレーションをもたらすこととを備える、シーンまたはオブジェクトの画像の複数画像レジストレーションのためのコンピュータ実施方法。
  2. 前記画像レジストレーションプロセスは、相互情報（ＭＩ）プロセス、相互相関プロセス、または特徴に基づくプロセスのうちの１つである、請求項１に記載のコンピュータ実施方法。
  3. 各画像のペアは、前記浮動画像と前記参照画像との間の前記レジストレーションパラメータに対応する、請求項１に記載のコンピュータ実施方法。
  4. 前記画像データは、前記シーンのマルチスペクトル（ＭＳ）画像、パンクロマティック（ＰＡＮ）画像、カラー画像の１つまたは組み合わせを含む、単一のモダリティまたは異なるモダリティを含む、請求項１に記載のコンピュータ実施方法。
  5. 前記画像データは、前記オブジェクトのＣＴ画像もしくはＭＲＩ画像の一方または両方を含む、異なるモダリティを含む、請求項１に記載のコンピュータ実施方法。
  6. 前記画像データは、前記シーンのレーダー画像を含む、請求項１に記載のコンピュータ実施方法。
  7. 前記パラメータ行列は前記画像プロセッサによって並列に生成され、前記パラメータ行列の各パラメータ行列を別々に生成するための総計算時間と比較すると、計算時間が少なくなる、請求項１に記載のコンピュータ実施方法。
  8. 前記更新されたレジストレーションパラメータの低ランク行列は、前記低ランク行列に厳密なランク≦２の構造を課せられる、請求項１に記載のコンピュータ実施方法。
  9. 前記更新されたレジストレーションパラメータを用いて前記変換行列を形成する画像の位置合わせは、所定の収束閾値が満たされるまで続き、前記位置合わせが終了すると、前記画像の前記頑健なレジストレーションをもたらす、請求項１に記載のコンピュータ実施方法。
  10. 前記所定の収束閾値は正の数である、請求項９に記載のコンピュータ実施方法。
  11. トランシーバを介して前記画像データを受信することと、
    前記画像データをメモリに格納することとをさらに備え、前記メモリおよび前記トランシーバは前記画像プロセッサと通信しており、以前に前記メモリに格納されているのはデータであり、前記データは、前記シーンの画像履歴データ、前記オブジェクトの画像履歴データ、または前記シーンおよび前記オブジェクトの両方の画像履歴データ、前記画像レジストレーションプロセスを、前記画像プロセッサによって実行可能な格納された命令とともに含む、請求項１に記載のコンピュータ実施方法。
  12. シーンまたはオブジェクトの画像の複数画像レジストレーションのためのシステムであって、
    前記シーンまたは前記オブジェクトの画像データを受信するためのトランシーバを備え、前記画像データは、前記シーンにおける、異なる回転角度、水平シフト、または垂直シフトのいずれかで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像を含み、前記システムはさらに、
    前記トランシーバと通信する画像プロセッサを備え、前記画像プロセッサは、
    前記受信された画像データからの画像のペアを用いて、画像回転角度、画像水平シフトおよび画像垂直シフトを含むレジストレーションパラメータを推定するよう構成され、各画像のペアは、参照画像および浮動画像を含み、前記画像プロセッサはさらに、
    すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成し、
    各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを得て、
    前記更新されたレジストレーションパラメータを用いて変換行列を形成し、前記画像データの前記画像を少なくとも１つの参照画像と位置合わせして、前記画像の頑健なレジストレーションをもたらし、
    前記頑健な位置合わせされた画像を表示装置に表示するよう構成され、ユーザは前記表示された頑健な位置合わせされた画像を検討し、前記ユーザの検討に基づいて、前記ユーザは画像管理アクションを実行する、シーンまたはオブジェクトの画像の複数画像レジストレーションのためのシステム。
  13. 前記画像レジストレーションプロセスは、相互情報（ＭＩ）プロセス、相互相関プロセス、または特徴に基づくプロセスのうちの１つである、請求項１２に記載のシステム。
  14. 前記画像データは、マルチスペクトル（ＭＳ）画像、パンクロマティック（ＰＡＮ）画像、カラー画像、ＣＴ画像、ＭＲＩ画像もしくはレーダー画像の１つまたは組み合わせを含む、請求項１２に記載のシステム。
  15. 前記画像回転角度行列の前記更新されたレジストレーションパラメータの低ランク行列は、前記低ランク行列に厳密なランク≦２の構造を課せられる、請求項１２に記載のシステム。
  16. 方法を実行するためにコンピュータによって実行可能なプログラムが具現化された非一時的なコンピュータ可読記憶媒体であって、前記方法は、シーンまたはオブジェクトの画像の画像処理のためのものであり、
    前記シーンまたは前記オブジェクトの画像データを取得することを備え、前記画像データは、前記シーンにおける、異なる回転角度、水平シフト、または垂直シフトのいずれかで単一のモダリティまたは複数のモダリティの異なる測定から収集された画像を含み、前記方法はさらに、
    前記取得された画像データからの画像のペアを用いて、前記コンピュータを介してレジストレーションパラメータを推定することを備え、各画像のペアは、参照画像および浮動画像を含み、前記方法はさらに、
    すべての画像のペアに対して画像レジストレーションプロセスを用いて、画像回転角度行列、画像水平シフト行列、および画像垂直シフト行列を含むレジストレーションパラメータに対応するパラメータ行列を生成することを備え、各行列の各成分は前記浮動画像と前記参照画像とのペア間のレジストレーションパラメータに対応し、前記方法はさらに、
    各パラメータ行列を、更新されたレジストレーションパラメータの低ランク行列と各低ランク行列のレジストレーションパラメータ誤差に対応する疎行列とに分解して、頑健なレジストレーションのための更新されたレジストレーションパラメータを得ることと、
    前記更新されたレジストレーションパラメータを用いて変換行列を形成し、前記画像データの前記画像を少なくとも１つの参照画像と位置合わせして、前記画像の頑健なレジストレーションをもたらすこととを備える、非一時的なコンピュータ可読記憶媒体。
  17. 前記画像レジストレーションプロセスは、相互情報（ＭＩ）プロセス、相互相関プロセス、または特徴に基づくプロセスのうちの１つである、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
  18. 前記画像回転角度行列の前記更新されたレジストレーションパラメータの低ランク行列は、前記低ランク行列に厳密なランク≦２の構造を課せられる、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
  19. 入力インターフェースを用いて前記画像データを取得することと、
    前記画像データを前記記憶媒体の画像データベースに格納することとをさらに備え、前記記憶媒体は、以前に格納されたデータを有する画像処理データベースも含み、前記データは、前記シーンの画像履歴データ、前記オブジェクトの画像履歴データ、または前記シーンおよび前記オブジェクトの両方の画像履歴データ、前記画像レジストレーションプロセスを、前記コンピュータによって実行可能な格納された命令とともに含み、
    前記画像データベースにおける格納された画像データの量は、前記画像処理データベースにおけるすべてのデータ量よりも多く、前記画像データベースからのすべてのデータと前記撮像処理データベースからのデータとを含む結合されたデータベースからのデータにアクセスする場合と比較して、前記記憶媒体は、前記画像処理データベースに別途アクセスすることにより、処理するデータがより少ないため、前記方法を動作させるために必要なコンピュータ処理時間がより少ない、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
JP2020087285A 2019-05-31 2020-05-19 複数の剛体変換画像のための頑健な画像レジストレーション Active JP7267233B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/427,736 2019-05-31
US16/427,736 US10949987B2 (en) 2019-05-31 2019-05-31 Robust image registration for multiple rigid transformed images

Publications (2)

Publication Number Publication Date
JP2020198096A JP2020198096A (ja) 2020-12-10
JP7267233B2 true JP7267233B2 (ja) 2023-05-01

Family

ID=73551311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020087285A Active JP7267233B2 (ja) 2019-05-31 2020-05-19 複数の剛体変換画像のための頑健な画像レジストレーション

Country Status (2)

Country Link
US (1) US10949987B2 (ja)
JP (1) JP7267233B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270445B2 (en) * 2017-03-06 2022-03-08 The Regents Of The University Of California Joint estimation with space-time entropy regularization
JP2022086206A (ja) 2020-11-30 2022-06-09 大王製紙株式会社 ティシューペーパー及びティシューペーパーの製造方法
CN112818875B (zh) * 2021-02-04 2024-02-02 成都理工大学 一种基于低秩稀疏分解的易燃液体检测信号去噪方法
EP4053794A1 (en) * 2021-03-05 2022-09-07 Leica Microsystems CMS GmbH Multispectral microscope system and method for registering first and second images by means thereof
CN114187337B (zh) * 2021-12-07 2022-08-23 推想医疗科技股份有限公司 图像配准方法、分割方法、装置、电子设备以及存储介质
WO2023149963A1 (en) * 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping
CN114820739B (zh) * 2022-07-01 2022-10-11 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置
CN117173439A (zh) * 2023-11-01 2023-12-05 腾讯科技（深圳）有限公司 基于gpu的图像处理方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024763A (ja) 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
JP2014188250A (ja) 2013-03-28 2014-10-06 Fujifilm Corp 画像表示装置および方法
JP2017143351A (ja) 2016-02-08 2017-08-17 Kddi株式会社 カメラのキャリブレーション装置、方法及びプログラム
JP2018534038A (ja) 2015-10-09 2018-11-22 インサイテック リミテッド 種々のイメージング・モダリティを用いて得られる画像を位置合せし、画像レジストレーションを検証するためのシステムおよび方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3500945B2 (ja) * 1998-01-19 2004-02-23 株式会社日立製作所 マルチスペクトル衛星画像の処理方法と処理システム並びに水圏評価方法
JP3869355B2 (ja) * 2002-12-10 2007-01-17 株式会社東京機械製作所 多色刷輪転機における見当誤差検出方法、見当誤差検出装置及び見当調整自動制御装置
WO2014190554A1 (en) * 2013-05-31 2014-12-04 Nokia Corporation Calibration data
EP3154409B1 (en) * 2014-06-16 2019-05-01 Agency for Science, Technology and Research Reducing speckle noise in optical coherence tomography images
US9846974B2 (en) * 2014-12-05 2017-12-19 Stmicroelectronics S.R.L. Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition
WO2017011801A1 (en) * 2015-07-16 2017-01-19 Digimarc Corporation Signal processors and methods for estimating geometric transformations of images for digital data extraction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024763A (ja) 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
JP2014188250A (ja) 2013-03-28 2014-10-06 Fujifilm Corp 画像表示装置および方法
JP2018534038A (ja) 2015-10-09 2018-11-22 インサイテック リミテッド 種々のイメージング・モダリティを用いて得られる画像を位置合せし、画像レジストレーションを検証するためのシステムおよび方法
JP2017143351A (ja) 2016-02-08 2017-08-17 Kddi株式会社 カメラのキャリブレーション装置、方法及びプログラム

Also Published As

Publication number Publication date
US20200380703A1 (en) 2020-12-03
US10949987B2 (en) 2021-03-16
JP2020198096A (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
JP7267233B2 (ja) 複数の剛体変換画像のための頑健な画像レジストレーション
Blum et al. Multi-sensor image fusion and its applications
US10635930B2 (en) Patient position control for scanning
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
US10043088B2 (en) Image quality score using a deep generative machine-learning model
Isaac et al. Super resolution techniques for medical image processing
US10092191B2 (en) Joint visualization of 3D reconstructed photograph and internal medical scan
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
US9824486B2 (en) High resolution free-view interpolation of planar structure
US20170032527A1 (en) Method and system for head digitization and co-registration of medical imaging data
WO2021232756A1 (en) Systems and methods for image processing
US20220139062A1 (en) Learning apparatus, learning method, and learning program, region-of-interest extraction apparatus, region-of-interest extraction method, and region-of-interest extraction program, and learned extraction model
KR101885562B1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
US9020215B2 (en) Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images
KR20200131737A (ko) 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치
CN111079470B (zh) 人脸活体检测的方法和装置
Fu et al. Oif-net: An optical flow registration-based pet/mr cross-modal interactive fusion network for low-count brain pet image denoising
US20200043143A1 (en) Motion correction systems and methods for improving medical image data
US10672145B2 (en) Device for extracting three-dimensional information from X-ray images of an object, method for calibrating said device, and method for generating said X-ray images
KR101923962B1 (ko) 의료 영상의 열람을 지원하는 방법 및 이를 이용한 장치
US9727965B2 (en) Medical image processing apparatus and medical image processing method
Dornaika et al. Image registration for foveated panoramic sensing
CN111587449B (zh) 图像数据处理方法、设备和系统
US10425629B2 (en) System for dense registration of two-dimensional depth images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221121

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230419

R150 Certificate of patent or registration of utility model

Ref document number: 7267233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150