JP6501800B2 - 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築 - Google Patents

Description

本発明は２０１３年５月２９日に出願され、発明の名称が「Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｉｍａｇｅｓ ｆｒｏｍ ａｎ ｉｎ ｖｉｖｏ Ｍｕｌｔｉ−Ｃａｍｅｒａｓ Ｃａｐｓｕｌｅ」である米国仮特許出願第６１／８２８，６５３号に関する。ここでは上記米国仮特許出願の全体内容は参照として引用されている。

本発明は、生体内カプセルカメラで撮像された画像からの画像ステッチおよびその表示に関する。

カプセル内視鏡は従来の内視鏡の様々な問題を対処する生体内イメージングデバイスである。カメラは、データをベースステーション受信器または送受信器に伝送する無線（ｒａｄｉｏ）伝送器と共に、嚥下可能なカプセル内に収納される。体外のデータ記録器は伝送されたデータの受信および記録に使用されてもよい。そのデータは主にデジカルカメラに記録された画像を含む。カプセルは、ベースステーションから指令またはその他のデータを受信するための無線受信機を含んでもよい。無線周波数の送信を使用する代わりに、周波数の低い電磁信号を使用してもよい。電力は、誘導方式により外部インダクタからカプセルの内部インダクタに供給されてもよく、またはカプセル内のバッテリから供給されてもよい。内蔵（ｏｎ−ｂｏａｒｄ）記憶装置付きの他のタイプのカプセルカメラにおいて、撮像された画像は外部デバイスへの伝送ではなく、内蔵記憶装置に保存される。内蔵記憶装置付きカプセルはカプセルの排出後に回収される。内蔵記憶装置付きカプセルは、データ記録器を取付けたり、無線データ受信器の近傍に制限されたりすることなく、患者には快適さと自由を与える。

進行方向に向ける（ｆｏｒｗａｒｄ−ｌｏｏｋｉｎｇ）カプセルカメラはカメラを１つ含むが、サイドビューまたはパノラマビューを提供するマルチカメラを使用する他のタイプのカプセルカメラもある。生体の組織の表面を適切に観察するため、サイドアングルまたはリバースアングルが必要である。ポリープまたは他の異常は正確に診断するために徹底的に観察することが必要であるので、医師または診断医がこれらの器官の全てのエリアを見ることが重要である。２００６年１２月１９日に出願され、発明の名称が「Ｉｎ ｖｉｖｏ ｓｅｎｓｏｒ ｗｉｔｈ ｐａｎｏｒａｍｉｃ ｃａｍｅｒａ」である米国特許出願第１１／６４２，２７５号に、カメラ周辺環境のパノラマ画像を撮影するカメラが開示されている。

自律（ａｕｔｏｎｏｍｏｕｓ）カプセルシステムにおいて、カプセルカメラが胃腸（ＧＩ）管を通って移動する間に多数の画像が他のデータとともに収集される。通常、取得されてプロセスされた画像とデータは表示デバイスに表示されて診断医または医療専門家に検査される。しかし、各画像はＧＩ管の小さいセクションの限られた視野（ｖｉｅｗ）のみを提供する。多数のカプセル画像から単一の複合ビューを表する大きいピクチャを形成することが望ましい。例えば、多数のカプセル画像を内部ＧＩ管の表面の断面図の形成に使用することができる。大きいピクチャは、高い解像度の大きいスクリーン表示デバイスを利用することで、ユーザがさらに多くの情報を同時に見えるようにすることが可能である。画像ステッチ（stitching）プロセスは、画像の間の余分の重畳エリアを取り除くことを含めて、内部ＧＩ管の表面のより大きいエリアは単一複合ピクチャとして同時に見ることを可能にするようにしてもよい。さらに、大きいピクチャは内部ＧＩ管の表面の全景または重要な部分を提供することができる。そのため、診断医または医療専門家がより容易かつ迅速に関心のあるエリア（例えばポリープ）を特定することができなければならない。

コンピュテーショナル・フォトグラフィーの分野において、画像モザイク処理技術はより小さい画像から大きいピクチャにステッチするために開発された。画像アライメントおよびステッチに関する一般的な技術アプローチのレビューは題名が「Ｉｍａｇｅ Ａｌｉｇｎｍｅｎｔ ａｎｄ Ｓｔｉｔｃｈｉｎｇ： Ａ Ｔｕｔｏｒｉａｌ」であり、２００６年１２月１０日に公開され、著者がＳｚｅｌｉｓｋｉであるマイクロソフト・リサーチ・テクニカル・レポートＭＳＲ−ＴＲ−２００４−９２に記載されている。

画像モザイク処理では、まず、画像間の対応する部分、オブジェクトまたはエリアを識別する。対応する部分、オブジェクトまたはエリアを識別した後、すなわち、２つの画像が登録された後、対応する部分、オブジェクトまたはエリアを揃えることで、画像をステッチすることが可能である。２つの画像は直接に画素ドメインに登録されてもよく、または画像から抽出された特徴に基いてマッチングされてもよい。画素に基づく画像マッチングは直接マッチングと称してもよい。画像マッチングの品質を評価するための類似度測定はいくつかあり、例えば距離自乗和（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｓｔａｎｃｅ；ＳＳＤ）、正規化相互相関（ｎｏｒｍａｌｉｚｅｄ ｃｒｏｓｓ ｃｏｒｒｅｌａｔｉｏｎ；ＮＣＣ）、相互情報（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ；ＭＩ）などが挙げられる。ＳＳＤに対してノーマライゼーションを行えば、ＮＣＣはＳＳＤと同様である。
特に、画像Ａと画像Ｂの相互情報は以下のように定義し、２つ異なるモダリティからの画像をマッチングする。

相互情報は、画像強度値の同時分布ｐ（ａ，ｂ）と、それらの画像が独立である時の画像強度値の同時分布ｐ（ａ）ｐ（ｂ）との間の距離を測定する。これは、２つの画像の間の依存関係の測定である。前提は、それらの画像が正確にアラインする時に、画像の強度値の間に最大依存関係があることである。誤った登録は相互情報の測定値が減少する結果につながる。そのため、より大きい相互情報はより信頼性の高い登録を意味する。

特徴に基づくマッチングはまず各画像における特徴点の集合を決めてから対応の特徴記述子を比較する。２つの異なる視野角から取得された２つの画像パッチまたは特徴をマッチングするために、対応度に基いて、スケールやローテーションなどを含むリジッドモデルを評価すること。変形のオブジェクトからの２つの画像をマッチングするために、ローカルディフォーメーションを含む非リジッドモデルを計算してもよい。

米国特許出願第１１／６４２，２７５号

通常、特徴点の数は対応画像の画素の数よりもはるかに少ない。そのため、特徴に基づく画像マッチングの計算負荷は実質的に画素に基づく画像マッチングの計算負荷よりも少ない。しかし、ペアワイズマッチングは依然時間がかかる。通常、この分野において公知技術であるｋ−ｄ ｔｒｅｅはこの手順のスピードアップに活用される。したがって、特徴に基づく画像マッチングはこの分野によく使用されている。それにもかかわらず、特徴に基づくマッチングはいくつかの状況において画像に対してうまく動作しない可能性がある。この場合、直接画像マッチングは予備（ｆａｌｌ ｂａｃｋ）モードとして常に使用可能であり、または上記２つのアプローチの組合せが好ましい。

通常、画像マッチング技術は一定のモーションモデルを仮定する。カメラで撮像されたシーンがリジッドオブジェクトからなる時、特徴マッチングまたは画素ドメインマッチングに基づく画像マッチングは十分うまく動作する。しかし、もしシーンにおけるオブジェクトが変形したり、区別できる特徴を欠いたりする場合、画像マッチングタスクは非常に困難になる。ＧＩ管を通って移動間に撮像されたカプセル画像は状況がさらに厳しくなる。カメラの移動時におけるＧＩ管の壁に対応するシーンが変形し、よく区別できる特徴を欠くだけでなく、シーンがカメラから短い距離で撮像されることもある。オブジェクトとカメラの間の距離が短いため、よく使用されていたリニアカメラモデルは異なるシーンの間のマッチングをよく行えない可能性がある。さらに、近いオブジェクトからの光の反射はオブジェクトのいくつかの部分の過度な露光を引き起こす可能性がある。そのため、上記の課題を克服できることが期待されている。

本開示は、画像マッチングの品質によりカメラで撮像された画像を適応的に表示する方法を開示している。画像ステッチは効率的なビューまたは莫大な数の画像の検査を提供するが、画像ステッチは、特にカメラモデルに適しない画像に対し、不自然な結果をもたらす。本発明は画像マッチングの品質を活用することで、基礎画像をステッチするか否かをガイドする。したがって、改善した画像の再構築およびより視覚的に見やすいビューを達成した。一実施形態において、カメラで撮像された複数の画像は受信され、画像の各ペアのための画像マッチングの品質が決定される。画像マッチングの品質はマッチングされる２つの画像の間で測定される。画像ペアは画像マッチングの品質により、高信頼度画像ペアまたは低信頼度画像ペアとされる。高信頼度画像ペアは１つまたはそれ以上のより大きい複合ピクチャにステッチされ、表示デバイスに表示される。一方、低信頼度画像ペアはステッチせず、個別の画像として表示される。

高信頼度マッチング画像と低信頼度アンマッチング画像は交互に表示デバイスに表示されてもよく、すなわち高信頼度マッチング画像と低信頼度アンマッチング画像は順番に表示される。高信頼度マッチング画像と低信頼度アンマッチング画像は同時に表示デバイスに表示されてもよい。この場合、高信頼度マッチング画像はある表示エリアに表示され、低信頼度アンマッチング画像は他の表示エリアに表示される。

本発明の一側面は画像マッチングの品質の様々な測定を対処する。例えば、画像マッチングの品質は、特徴が抽出された正確な画像マッチングに対応する事後確率に基づいてもよく、各マッチングされた特徴ペアはインライア（ｉｎｌｉｅｒ）または外れ値（ｏｕｔｌｉｅｒ）となるバイナリー確率変数としてモデル化される。この場合、画像マッチングの品質は単にインライアに属するマッチングされた特徴ペアの数をカウントすることで測定することが可能である。インライアに属する特徴の数が閾値を超えたら、画像ペアを高信頼度マッチング画像ペアとし、そうでなければ、画像ペアを低信頼度アンマッチング画像ペアとする。閾値はインライアに属する特徴の確率および外れ値に属する特徴の確率に依存する。

画像マッチングの品質は画素ドメイン測定に基いてもよい。例えば、画像マッチングの品質はマッチングされる２つの画像の間の距離自乗和（ＳＳＤ）に基いてもよい。もしＳＳＤは閾値よりも小さければ、画像ペアを高信頼度マッチング画像ペアとし、そうでなければ、画像ペアを低信頼度アンマッチング画像ペアとする。また、画像マッチングの品質はマッチングされる２つの画像の間の正規化相互相関（ＮＣＣ）または相互情報（ＭＩ） に基いてもよい。もしＮＣＣまたはＭＩは閾値を超えたら、画像ペアを高信頼度マッチング画像ペアとし、そうでなければ、画像ペアを低信頼度アンマッチング画像ペアとする。

グローバルトランスフォーメーションに加えてローカルディフォーメーションをも含むより複雑なケースについて、画像マッチングの品質は、画像ピラミッドと、フリーフォーム・ディフォーメーション、例えばＢ−ｓｐｌｉｎｅディフォーメーションとの組合せで評価してもよい。よいグローバルマッチングのための検索は、オリジナル画像をダウンサンプリングすることで画像ピラミッドの粗いレベルから開始してもよい。各ピラミッドレベルにおいて、グローバルトランスフォーメーションは、ローカルシフトを平均し、または徹底的な検索を行うことで評価してもよい。このようなグローバルトランスフォーメーションは、オリジナル画像である最終レベルまで、画像ピラミッドの次のレベルにおいてリファインされる。この手順を繰り返すことで、外れ値効果を補償してもよい。グローバルトランスフォーメーションの評価後、重畳エリアを制御点／グリッドの集合に分割することで、重畳エリアにおいてフリーフォーム・ディフォーメーションを評価してもよい。最適化関数のアウトプットは、画像ペアを高信頼度マッチング画像ペアまたは低信頼度アンマッチング画像ペアに分類する信頼度スコアとして使用してもよい。

図１は本発明の一実施例による、画像マッチングに基づいた高信頼度と低信頼度画像ペアの典型的な決定、および同じ表示エリアにおいて交互に高信頼度マッチング画像とアンマッチングされた低信頼度画像を表示することを示す。 図２は本発明の一実施例による、画像マッチングに基づいた高信頼度と低信頼度画像ペアの典型的な決定、および高信頼度マッチング画像と低信頼度アンマッチング画像をそれぞれの表示エリアに表示することを示す。 図３は本発明の一実施例による、画像マッチングの品質にガイドされ、画像ステッチを含む、典型的な画像を表示するためのシステムのフローチャートを示す。

概して記載されており、図面に示されている本発明の構成要素は、幅広い種類の異なる形態にアレンジおよび設計されてもよいことは明らかにに分かる。したがって、下方に図面に示す本発明のシステムおよび方法の実施形態のより詳しい記載は、本発明の本発明のスコープを意図的に制限するものではなく、本発明の選択された実施形態の代表例に過ぎない。本明細書の全ての「１つの実施形態」、「一実施形態」または似たような文言は、実施例に関して記載されている特定の特徴、構造または特性は少なくとも本発明の１つの実施例に含まれてもよいことを意味する。したがって、本明細書における異なる箇所に記載の「１つの実施形態において」または「一実施形態において」というフレーズは全て同じ実施形態に属する必要がない。

さらに、記載の特徴、構造または特性を、１つまたはそれ以上の実施形態に適切な任意形式で組合せてもよい。しかし、関係領域における通常の知識を有する者は、１つまたはそれ以上の特定細部または他の方法や構成要素などがなくても、本発明は実行可能であると理解している。本発明の側面を分かりやすくするため、他の例において、公知構造または操作を詳細に図示しない、または記載しない。本発明の示された実施形態は図面を参照すれば、よく理解でき、図面において、類似部分は全て類似数字を振る。以下の記載はあくまでも例であり、請求項のように本発明と合致する装置と方法の特定の選択させた実施形態を簡単に示している。

前述のように、画像マッチングはいくつかの状況において画像（特に人間の胃腸（ＧＩ）管を通るカプセルで撮像した画像）に対してうまく動作しない可能性がある。本発明による実施形態は画像マッチングの品質測定を使用する。測定されたマッチング品質によれば、マッチング信頼度レベルは決定される。マッチング信頼度レベルが十分である時、基礎画像はステッチされる。そうでなければ、基礎画像はステッチされない。例えば、特徴に基づく画像マッチングが使用される場合、画像マッチングは実行され、様々な対応箇所をマッチングする。マッチング後、ランダム・サンプル・コンセンサス（ＲＡＮｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ；ＲＡＮＳＡＣ）プロセスは画像の間のトランスフォーメーション・モデルに適合するインライアの集合の選択に使用される。この分野において、ＲＡＮＳＡＣは２つの画像の間の特徴点における最適なトランスフォームを探すために用いられる公知技術である。マッチングを検証するために、信頼度スコアは確率モデルに基いて計算される。

マッチング画像の各ペアについて、特徴対応箇所の部分集合は幾何学的に一致し（すなわち、ＲＡＮＳＡＣ インライア）、残りの特徴は一致しない（すなわち、ＲＡＮＳＡＣ外れ値）。対応箇所の集合を検証するためには、特徴の集合が正確な画像マッチング（すなわちインライア）または正しくない画像マッチング（すなわち外れ値）によって生成される確率は評価される。ある画像について、特徴の総数はｎ_ｆと記され、インライアの数はｎ_ｉと記され、画像マッチングの正確／不正確はバイナリー変数ｍ∈｛０，１｝で記され、ｍ＝１は正確なマッチングを示し、ｍ＝０は不正確なマッチングを示す。ｉ番目の特徴対応箇所がインライア／外れ値であり、バイナリー変数ｆ^（ｉ）∈｛０，１｝で記され、式中、ｆ＝１はインライアを示し、ｆ＝０は外れ値を示すイベントは、独立ベルヌーイ分布であると仮定される。したがって、全ての特徴がインライアである確率は二項分布である：

式中、ｐ_１は、特徴が正確な画像マッチングが得られるインライアである確率であり、ｐ_０は、特徴が正しくない画像マッチングが得られるインライアである確率である。インライアの総数（ｎ_ｉ）は

によって計算される。画像マッチングが正確である事後確率はベイズ定理で評価可能である：

正確／不正確な画像マッチングのイベントをユニフォーム・プライア（すなわち、プライア確率分布）とすると、ｐ（ｍ＝０）＝ｐ（ｍ＝１）である。画像マッチングを受け入れる基準は

か否かに基いており、式中、ｐ_ｍｉｎは画像マッチングを受け入れる基準として使用される最小確率閾値である。数学的な展開のシーケンスを介し、この条件は尤度比検定（ｌｉｋｅｌｉｈｏｏｄ ｒａｔｉｏ ｔｅｓｔ）となる：

ｐ_ｍｉｎ、ｐ_１とｐ_０の値は画像モデルにより、またはテストデータに基いて、適切に選択される。上記決定プロセスはされに下記テストのように単純化してもよい：

式中、ｇはｐ_ｍｉｎ、ｐ_１とｐ_０の関数である。すなわち、ｐ_ｍｉｎ、ｐ_１とｐ_０の値の決定後、ｇは決定できる。決定プロセスは簡単にインライアの数（ｎ_ｉ）をカウントすることになる。式（７）の条件が満たされたら、画像マッチングは検証され、登録は信頼な登録とされる。そうでなければ、画像マッチング検証されず、登録は低信頼度を有する。上記実施形態において、画像マッチングの品質は、式（４）に示すように、特徴が抽出された画像マッチングが正確である事後確率として測定される。もし画像マッチングの品質は閾値（すなわち、Ｐ_ｍｉｎ）を超えたら、画像マッチングは検証される。さらなる展開後、本発明の１つの実施例による決定プロセスは簡単にインライアの数（ｎ_ｉ）をカウントし、その結果を閾値と比較することになる。インライアの数をカウントすることで画像マッチングの品質を測定することができるが、外れ値の数をカウントすることで画像マッチングの品質を測定してもよい。この場合、外れ値の数は第二閾値より少なかったら、画像マッチングは検証される。そうでなければ、画像マッチングは検証されない。

他の実施形態において、このシステムは非・特徴に基づく直接マッチングを利用し、画像マッチングの品質の測定として距離自乗和（ＳＳＤ）を計算する。画像Ａと画像Ｂの間のＳＳＤは以下のように定義される：

式中、（ｘ，ｙ）は重畳エリアにおける画素であり、Ｔは画像Ａから画像Ｂへのトランスフォーメーションである。注意深く閾値Ｄｍａｘを選び、もしＤｓｓｄ（Ａ，Ｂ｜Ｔ）＜Ｄｍａｘであれば、画像マッチングは検証され、登録は高信頼度を有する。そうでなければ、登録は検証されず、登録は信頼的でない。他の実施例において、正規化相互相関（ＮＣＣ）または相互情報（ＭＩ）は、マッチングの品質を評価して信頼度スコアを計算する基準として使用してもよい。

他の実施形態において、連続する２つの画像をステッチするため、まず、そのペア画像の各画像はダウンサンプルされ、画像ピラミッドを作る。粗いレベルから、グローバルトランスフォーメーションは予め定めた範囲内に徹底的な検索で評価される。得られたグローバルトランスフォーメーションは、オリジナル画像である最終レベルまで、次のレベルにおいてリファインされる。グローバルトランスフォーメーションの評価後、フリーフォーム・ディフォーメーション・トランスフォーメーションは重畳エリアに適用され、ローカルディフォーメーションを評価してもよい。最適化オブジェクト関数のアウトプットは、マッチングの品質を評価して信頼度スコアを計算する基準として使用されてもよい。

他の実施形態において、連続する２つの画像をステッチするために、まず、そのペア画像の各画像はダウンサンプルされ、画像ピラミッドを作る。粗いレベルから、グローバルトランスフォーメーションは、フリーフォーム・ディフォーメーションを全体画像に適用させて計算されたローカルトランスフォーメーションを平均することで評価される。得られたグローバルトランスフォーメーションは、オリジナル画像である最終レベルまで、次のレベルにおいてリファインされる。プロセスが収束し、外れ値効果を除去するまでにこのような手順を繰り返す。グローバルトランスフォーメーションの評価後、フリーフォーム・ディフォーメーション・トランスフォーメーションは重畳エリアに適用され、ローカルディフォーメーションを評価してもよい。最適化オブジェクト関数のアウトプットは、マッチングの品質を評価して信頼度スコアを計算する基準として使用されてもよい。

他の実施形態において、以下の条件が真実である場合のみ、３つ以上の画像を高信頼度で一緒にステッチしてよい。画像ｉｌ，ｉ２， ．．． ，ｉＮの集合の場合、各画像ｉｊ（ｊ＝ｌ，２，．．．Ｎ）について、他の画像から高信頼度でｉｊにマッチする画像を少なくとも１つ見つけることができる。高信頼度でｉｊにマッチする画像は複数ある可能性がある。そうでなければ、ｉｊは他の画像とステッチできず、この画像集合から取り除かれることを意味する。上記プロセスは、画像集合から取り除かれる画像がなくなるまで繰り返されてもよい。次に、この集合にある全ての画像は一緒にステッチし、大きい複合画像を形成してもよい。取り除かれた全ての画像は個別に表示される。

１つの実施例において、ｉｌ， ｉ２，．．．，ｉＮは時間ドメインに沿う画像のシーケンスであり、ｉｌ、ｉ２、ｉ３、ｉ５、ｉ６、ｉ７、ｉ８、ｉｌ２はマッチングが高信頼度であるので、一緒にステッチされ、複合画像Ｉ１として表示されるが、ｉ４、ｉ９、ｉ１Ｏとｉｌｌはマッチングが高信頼度でなく、単一画像として表示される。もしｉ４とｉ９とｉｌｌはマッチングが信頼であるが、ｉ１Ｏはそうでなければ、映像において、ｉ４、ｉ９とｉｌｌは複合画像Ｉ２として一緒にステッチされ、表示されるが、ｉ１Ｏ単一画像として表示される。

あまり少ない画像をステッチし、１つの複合画像に表示することは、デメリットがメリットを上回る場合もある。例えば、単一画像の寸法とアスペクト比が固定される一方、ステッチされた画像は任意のサイズを有するので、一定のフレームレートで表示された映像では、２つの画像がステッチされた複合画像を見ることよりも、２つの画像を見たほうが時間的に効率的であることがある。画像がステッチされ、複合画像として表示される前に、閾値Ｔを選んで、高信頼度でマッチングされる画像の最小値を設定してもよい。

上記の画像マッチングの品質は画像ステッチをガイドするのに使用されることが可能である。画像マッチングの品質が高い時、登録は信頼であるとされてもよい。一実施形態において、画像の通過時間が不連続であっても、画像はステッチされ、画像のためのより大きい複合ピクチャを高信頼度で形成される。それら低信頼度だとされている画像について、画像はステッチされない。ステッチされない画像は個別の画像または画像シーケンスとして扱われ、映像として閲覧される。図１は本発明による１つの実施例を示し、Ａｌ、Ａ２とＡ３は、映像全体にわたって、３つの高信頼度の画像グループを表す。Ａｌ、Ａ２とＡ３はそれぞれ高信頼度を有する期間ｔ_Ａ１、ｔ_Ａ２とｔ_Ａ３の画像に対応する。各グループ（すなわち、Ａｌ、Ａ２またはＡ３）の画像は１つまたはそれ以上より大きい複合ピクチャにステッチされる。Ｂｌ、Ｂ２とＢ３は低信頼度を有する期間ｔ_Ｂ１、ｔ_Ｂ２とｔ_Ｂ３の画像に対応する。一実施形態において、Ａｌ、Ａ２、Ａ３と関連付けられた画像は表示エリア１１０に表示され、その次にＢｌ、Ｂ２、Ｂ３と関連付けられた画像が表示されてもよい。図１は、グループＡ１と対応する複合ピクチャが表示される場合を示している。表示順番はＡｌ、Ａ２、Ａ３、そしてＢｌ、Ｂ２、Ｂ３であってもよい。表示はＡｌ、Ｂ１、Ａ２、Ｂ２、Ａ３、Ｂ３との順番でもよい。Ａｌ、Ａ２、Ａ３と関連付けられた画像が表示される時、ステッチされたより大きい画像は同時に多数の画像の検査のための観察に使用されることができる。Ｂｌ、Ｂ２、Ｂ３と関連付けられた画像が表示される時、画像は個別の画像として扱われ、手動で１つずつ表示してもよく、または好ましい再生レートで映像シーケンスとして表示してもよい。図１において、画像は一定の速度で撮像される。他の実施形態において、画像は一定でないフレームレートで撮像されてもよい。

図２は本発明による他の実施例を示している。同様に、Ａｌ、Ａ２とＡ３は映像全体にわたって高信頼度の画像を表す。Ｂｌ、Ｂ２とＢ３は低信頼度を有する画像に対応する。表示エリアが２つあり、１つはＡ１、Ａ２とＡ３を表示し、他の表示エリアはＢ１、Ｂ２とＢ３を表示する。２つの表示エリア（２１０と２２０）は独立してＡ１／Ａ２／Ａ３とＢ１／Ｂ２／Ｂ３を表示する。Ａｌ、Ａ２、Ａ３と関連付けられた画像は表示エリア２１０にステッチされたより大きい複合画像として表示されることができる。Ｂｌ、Ｂ２、Ｂ３と関連付けられた画像は個別の画像として表示されることができる。これらの画像は、表示エリア２２０において、手動で１つずつ表示されてもよく、または好ましい再生レートで映像として表示されてもよい。

図３は、本発明の実施例によるシステムの典型的なフローチャートを示しており、このシステムは画像マッチングの品質でガイドされた画像ステッチを含む画像を表示する。カメラで撮像された複数の画像はステップ３１０に示すように受信される。画像はメモリから回収されてもよく、プロセッサから受信されてもよい。各画像の画像マッチングの品質はステップ３２０に示すように決定される。画像マッチングの品質はマッチングされる２つの画像の間で測定される。そして、画像ペアはステップ３３０に示すように画像マッチングの品質により、高信頼度マッチング画像ペアまたは低信頼度アンマッチング画像ペアとされる。高信頼度画像はステップ３４０に示すように１つまたはそれ以上のより大きい複合ピクチャにステッチされる。ステッチされたより大きい複合ピクチャはステップ３５０に示すように表示デバイスに表示される。

特定の例はカプセル画像に向けているが、本発明による画像マッチングの品質に基づく画像ステッチは異なる視野角で撮像された自然なシーンの画像に適用してもよい。

本発明は、本発明の精神または本質的な特性から逸脱しない限り、他の特定の形態に具体化してもよい。上記の例は全ての側面において単に説明だと考えられべき、制限ではない。そのため、本発明のスコープは上記の説明ではなく、特許請求の範囲に示す通りである。特許請求の範囲と均等する意味および範囲に該当する全ての変更は本発明のスコープに含まれる。

１１０ 表示エリア
２１０ 表示エリア
２２０ 表示エリア

Claims (8)

1. カプセルカメラで撮像された複数の画像を受信するステップと、
   前記複数の画像から選択された対象画像集合における対象画像毎に、
   選択された対象画像に対応する第一の画像と、前記対象画像集合におけるもう一つの画像に対応する第二の画像とにより構成された各画像ペアと関連付けられた画像マッチングの品質を決定するステップと、
   前記画像マッチングの品質の決定において、各画像ペアについて、インライア特徴の数をカウントする、または前記第一の画像と前記第二の画像の間の一つ又はそれ以上の重畳エリアについて距離自乗和（ＳＳＤ）を決定するステップと、
   前記インライア特徴の數が第一の閾値より大きいこと、または前記距離自乗和（ＳＳＤ）が第二の閾値より小さいことに対応する前記画像マッチングの品質により、前記選択された対象画像と関連付けられた少なくとも一つの対応の画像ペアが高信頼度マッチングを有する場合、前記選択された対象画像をマッチング画像とするステップと、
   前記選択された対象画像と関連付けられた全ての対応の画像ペアは前記第一の閾値より小さいまたは等しいインライア特徴の數、もしくは前記第二の閾値より大きいまたは等しい距離自乗和（ＳＳＤ）有する場合、前記選択された対象画像をアンマッチング画像とするステップと、
   を実行するステップと、
   前記対象画像集合におけるマッチングした画像のみを１つまたはそれ以上の複合ピクチャにステッチするステップと、
   前記１つまたはそれ以上の複合ピクチャを表示デバイスに表示するステップと、
   を含む、人間の胃腸（ＧＩ）管を通って移動するカプセルカメラで撮像されたＧＩ管の画像を表示する方法。
2. 前記１つまたはそれ以上の複合ピクチャと前記対象画像集合におけるアンマッチング画像を前記表示デバイスに交互に表示し、前記１つまたはそれ以上の複合ピクチャを第一期間に表示し、前記アンマッチング画像を第二期間に表示し、前記第一期間と前記第二期間は重畳しない、
   請求項１に記載の方法。
3. 前記１つまたはそれ以上の複合ピクチャを前記表示デバイスの第一表示エリアに表示し、前記対象画像集合におけるアンマッチング画像を前記表示デバイスの第二表示エリアに表示する、
   請求項１に記載の方法。
4. 前記対象画像集合におけるマッチングした画像のみを１つまたはそれ以上の複合ピクチャにステッチするステップは、１つの複合ピクチャについて対応の画像ペアの数が閾値以上である場合のみに実行される、
   請求項１に記載の方法。
5. 表示デバイスと、前記表示デバイスに接続されたプロセッサと、を含む、人間の胃腸（ＧＩ）管を通って移動するカプセルカメラで撮像されたＧＩ管の画像を表示するシステムであって、
   前記プロセッサは、
   前記カプセルカメラで撮像された複数の画像を受信し、
   選択された対象画像に対応する第一の画像と、前記対象画像集合におけるもう一つの画像に対応する第二の画像とにより構成された各画像ペアと関連付けられた画像マッチングの品質を決定し、
   前記画像マッチングの品質の決定において、各画像ペアについて、インライア特徴の数をカウントする、または前記第一の画像と前記第二の画像の間の一つ又はそれ以上の重畳エリアについて距離自乗和（ＳＳＤ）を決定し、
   前記インライア特徴の數が第一の閾値より大きいこと、または前記距離自乗和（ＳＳＤ）が第二の閾値より小さいことに対応する前記画像マッチングの品質により、前記選択された対象画像と関連付けられた少なくとも一つの対応の画像ペアが高信頼度マッチングを有する場合、前記選択された対象画像をマッチング画像とし、
   前記選択された対象画像と関連付けられた全ての対応の画像ペアは前記第一の閾値より小さいまたは等しいインライア特徴の數、もしくは前記第二の閾値より大きいまたは等しい距離自乗和（ＳＳＤ）有する場合、前記選択された対象画像をアンマッチング画像とし、
   前記対象画像集合におけるマッチングした画像のみを１つまたはそれ以上の複合ピクチャにステッチし、
   前記１つまたはそれ以上の複合ピクチャを表示デバイスに表示するようにされている、
   システム。
6. 前記対象画像集合におけるアンマッチング画像がステッチせず、個別の画像として前記表示デバイスに表示される、
   請求項５に記載のシステム。
7. 前記１つまたはそれ以上の複合ピクチャと前記アンマッチング画像が前記表示デバイスに交互に表示され、前記１つまたはそれ以上の複合ピクチャが第一期間に表示され、前記アンマッチング画像が第二期間に表示され、前記第一期間と前記第二期間は重畳しない、
   請求項６に記載のシステム。
8. 前記１つまたはそれ以上の複合ピクチャが前記表示デバイスの第一表示エリアに表示され、前記アンマッチング画像が前記表示デバイスの第二表示エリアに表示される、
   請求項６に記載のシステム。

Images