JP5520543B2

JP5520543B2 - 階層化メッシュに基づくデータの半自動整合

Info

Publication number: JP5520543B2
Application number: JP2009191515A
Authority: JP
Inventors: ゴーパル・ビリジェリ・アヴィナッシュ; パトリック・マイケル・ヴァーチュー
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2008-08-29
Filing date: 2009-08-21
Publication date: 2014-06-11
Anticipated expiration: 2029-08-21
Also published as: DE102009043868A1; US8068652B2; JP2010055615A; US20100054630A1

Description

本発明は一般に、画像処理システムおよび技法に関し、さらに詳細には、画像に階層化メッシュ区分化法を施して得た分割に基づいて画像を位置合わせする若しくは整合させるための対話式整合技法に関する。

多くの画像システムおよび技法が知られており、現在、さまざまな技術分野において使用されている。たとえば、医療画像診断においては、生体構造、異常性、病変、動脈瘤、萎縮などの有用な画像を作成するために、画像システムのさまざまなモダリティが採用されることがある。一般に、そのような画像システムは、特定の物理的効果に従って動作し、有用な画像を作成するために処理することができる画像データを収集する。そのような画像システムの最新のモダリティは、処理されて格納され、さまざまな後処理技法によって操作されうるデジタルデータの収集に基づいている。たとえば、医療分野において、そのような画像システムは、Ｘ線システム、コンピュータ断層撮影システム、磁気共鳴画像診断システム、陽電子放出断層撮影システム、超音波診断システムなどを含む。これらおよびその他のさまざまなデジタル画像システムのモダリティは、特に工業検査、梱包および手荷物検査、防衛用途など、他の技術分野に存在する。

医療分野において、多くの臨床的判断は、１つまたは複数の画像データセットから使用可能な分析情報に基づいて行われるか、または分析情報から導かれる。たとえば、放射線医学の領域において、これは通常、関心領域が位置合わせされるようにデータセットを空間的に整合することを含む。実際的な視点から、画像は、手動の読み取り、自動化アルゴリズムを介した分析、またはこれらの技法の組み合わせのいずれかによって分析される。画像の比較および対照を可能にするため、画像の位置合わせまたは整合は多くの場合整然と行われている。つまり、画像がさまざまな対象について、または同じ対象で異なる時間に、さらに異なる画像モダリティで作成される場合があるので、画像で見ることのできる特性、生体構造、特徴などは相互に適切に位置合わせされていないこともある。画像整合には、混乱または誤った解釈を防ぐためにデータの完全性を尊重しながら、比較されるべき一方または両方の画像を移動または改変するということに伴う極めて困難な数学的問題を提示する可能性がある。これらの問題が、医療分野に限らず、画像整合が実行される他のあらゆる分野において提示されることを念頭に置く必要がある。

一例として、医療画像分析において、指示医師は多くの場合、特定の目的のために画像が作成されて解釈されることを求める。そのような目的は、さまざまな異常性または病状の進行または緩解の検出、評価、分析から多岐にわたる可能性がある。画像の複数のデータセットは、造影剤の有無、または経時的な変化の分析、さらに特定の機能データセットとの組み合わせなど、比較の目的で使用されることがある。これらの比較および対照の多くは、時間の経過に伴う単一の患者内の変化に基づいて行われるが、同様の比較は、患者間で、または場合によっては「アトラス」画像と呼ばれる標準画像または基準画像と特定の患者の画像との間で行うことができる。複数のデータセットを使用して必要な分析を行うため、データセットは最初に正確かつ堅固に整合される必要がある。この場合も同様に、画像または画像内の特徴と、標準画像即ち基準画像の特徴との位置合わせまたは比較を必要とする医療分野の外部の用途では、同様の整合プロセスを躊躇することも多い。

多くのコンテキスト固有のアルゴリズムが存在し、その目的が複数のデータセットを整合することであっても、画像データの実質上すべてのソースの多様性は、すべての整合の問題にまさに望まれるように機能する特定のアルゴリズムを結果としてもたらすわけではない。さらに、拡大縮小、ノイズ、モーション、部分ボリューム変更などのような係数は、整合アルゴリズムの正確さおよび精度を妨げるアーティファクトを作り出すことがある。

多くの実際的な用途において、整合アルゴリズムから得られた結果に関する主な問題点は、数値的基準に基づいて正確であるかどうかではなく、その件に関して最終決定者である人間ユーザがいかにそれを知覚するかである。さらに、採用される数値的基準に基づいて整合結果を「訂正する」必要が一般にある。そのような訂正は、手動の整合技法では容易に達成されない。そのような技法は普通、人間の技術者が、整合プロセスの前に、点、線、サービス、ボリュームなどを提供することができるようにする。グローバル変換を伴う対話式整合の方法もまた、ユーザの期待には及ばない。すべてのそのような場合において、迅速な整合を容易にするため、柔軟でありながら、しかも直観的なツールを人間ユーザに提供する必要があるが、これは機械計算により補足することができる。

本発明は、デジタル画像を基準画像に整合する方法を提供する。方法は、基準画像および整合対象画像にアクセスするステップを含み、整合対象画像は少なくとも２つの階層レベルに区分化される。次いで、ユーザ選択は区分化レベルから受信され、その後に選択された区分化レベルに従って基準画像の少なくとも１つの区分化要素を表示するステップが続く。さらなるユーザ選択は選択されたレベルにおいて区分化要素から、および選択された要素の修正による整合対象画像の改変の入力として受信される。修正済みの選択された要素を含む、改変された整合対象画像は格納される。

発明はまた、基準画像および整合対象画像にアクセスするステップを含むデジタル画像を基準画像に整合する方法も提供し、整合対象画像は少なくとも２つの階層レベルに区分化され、区分化レベルのユーザ選択を受信し、選択された区分化レベルに従って基準画像の少なくとも１つの区分化要素を表示する。方法はまた、選択されたレベルにおいて区分化要素のユーザ選択を受信するステップ、および選択された要素の変換、回転、または拡大縮小による整合対象画像の改変のためのユーザ入力を受信するステップを含み、ユーザは選択された要素の変換、回転、および拡大縮小のいずれかまたはすべてを実行することができる。ステップ（ｂ）から（ｅ）は、さまざまな区分化レベルについて繰り返される。最後に、修正済みの選択された要素を含む、改変された整合対象画像は格納される。

発明はまた、基準画像および整合対象画像を格納するためのデジタル記憶装置を含む基準画像にデジタル画像を整合するシステムも提供し、整合対象画像は少なくとも２つの階層レベルに区分化される。基準画像および整合対象画像にアクセスし、区分化レベルのユーザ選択、選択されたレベルにおける区分化要素のユーザ選択、および選択された要素の修正による整合対象画像の改変のためのユーザ入力を受信するように構成される処理回路が提供される。処理回路は、選択されたレベルにおける選択された要素のユーザ修正に基づいて整合対象画像を改変する。表示装置は、処理回路に結合され、基準画像、整合対象画像、選択された区分化レベルにおける選択された要素、およびユーザ入力が行われる際に改変された整合対象画像を表示するように構成される。

本発明のこれらおよびその他の特徴、態様、および利点は、図面全体を通して類似する特徴が類似する部分を表す付属の図面を参照して以下の詳細な説明を読めば、さらに深く理解されよう。

整合されるべき少なくとも１つの画像の階層化区分化に基づく対話式整合を可能にする本発明の技法による画像処理システムを示す概略図である。本発明の技法の態様による階層化区分化の第１のレベルにおける画像の要素、および要素の操作のための自由度を示す概略図である。要素がさらに操作されうるさらに詳細化された階層レベルにおける要素の同様の表現を示す図である。さらなる詳細化のレベルにおける要素の操作を示す同様の概略図である。本発明の技法による１つまたは複数の画像が整合されるために使用することができる階層化区分化方式の表現を示す概略図である。対話式の位置合わせが第１の階層レベルにおいて先行する医療画像を示す簡略化された線図である。位置合わせがさらなる階層レベルにおいて先行する同じ画像を示す類似の線図である。対話式整合がさらなるレベルにおいて行われている同じ画像を示す線図である。階層化区分化に基づいて画像の対話式整合を実行するための例示的な論理を示す流れ図である自動化および手動の階層化整合技法を共に使用して本発明が実施されうる方法を示す概略図である。

ここで図面を使用し、最初に図１を参照すると、整合されるべき一方または両方の画像の階層化区分化に従って画像の対話式整合または位置合わせを可能にするよう適合される画像処理システム１０が概略的に示される。画像処理システム１０は一般に、画像システム１２および画像データ記憶装置１４を含む。当業者には理解されるように、画像システム１２は、使用される用途およびコンテキストに応じて、幅広い画像デバイスおよびモダリティを含むことができる。たとえば、医療画像診断のコンテキストにおいて、システムは、放射線透過写真術システム（Ｘ線、コンピュータ断層撮影、トモシンセシス、蛍光透視）、磁気共鳴画像診断、陽電子放出断層撮影、超音波画像診断など、任意の既知の画像化物理学に基づくことができる。実際に、システムは、そのようなモダリティの組み合わせを含むことができ、以下で説明されるように、ある期間にわたりさまざまなモダリティまたは同一のモダリティシステムで生成された画像は、位置合わせ、整合、比較を行うことができる。手荷物および小包検査、セキュリティ検査、工業団地検査など、その他のコンテキストにおいて、同様の技術を採用することができる。以下で説明されるように、生成される画像および行われる比較は、画像システム１２を介して作成される画像と同一または異なる画像システムで作成される別の画像との間であってもよく、その他の比較は、システム１２で生成される画像と一般的な基準画像との間で行われてもよい。たとえば、基準画像は、関心の「標準」または典型的な特徴を指示する基準画像ライブラリからの画像を含むことができる。同様の基準画像は、２つ以上の複合を備えることができ、場合によっては、特定の関心の理由、特徴、生体構造、異常性などの基準を共に表す多くの基準画像を備えることもできる。そのような基準画像は、時にはアトラス画像と呼ばれることもある。

画像システム１２は、最終的に、グレースケールまたは色を表す値によって各々符号化された、離散的なピクセル要素またはピクセルの配列で構成されるデジタル画像を生成する。離散化されたピクセル値は画像システム１２から直接に生成されてもよく、または画像システムがスキャナまたはその他のデジタル化デバイスを使用して（たとえば、フィルム上の）アナログ画像をデジタル化画像に変換してもよい。デジタル化された画像は、医療診断分野におけるＤＩＣＯＭ標準に従ってなど、既知のファイル形式に従来どおりの方法で格納される。そのようなファイルは通常、画像データだけではなく、生成された日付、データに画像化された対照、画像が生成されたシステムなどに関する基準情報も含む。

次いで、これらのデータファイルは、画像データ記憶装置１４に格納される。記憶装置は画像システム１２と一体化されていてもよく、あるいは画像システムとは別個であってもよく、場合によっては画像システムから完全にリモートであってもよい。たとえば、医療診断のコンテキストにおいて、そのような記憶装置は、病院、診療所内のシステムから、あるいは病院または診療所の全システムから、画像を収集する画像保管通信システム（ＰＡＣＳ）を含むことができる。画像は取り出されて、以下に説明されるように、技術者および専門家（たとえば、医療のコンテキストにおける放射線科医）などによる後処理、読み取りのためにワークステーションに伝達することができる。画像データはまた、一般に知られている圧縮技法により記憶装置内で圧縮することもできる。そのような場合、画像データは通常、圧縮形式でワークステーションに伝達され、後に記憶能力および帯域幅の最適な使用まで圧縮解除される。

システム１０は、画像データ記憶装置１４からの画像データの取り出しを可能にすることにより、画像の位置合わせ、整合、および比較を提供する。たとえば、図１に示される実施形態において、基準画像１６は、整合対象画像１８と共に取り出されてもよい。位置合わせの目的で、整合されるべき画像の一方または両方が改変されてもよいことを理解されたい。つまり、画像は通常、関心の領域または特徴に関して一方が正確にもう一方の上に位置することはないので、一方または両方の画像内の特徴の輪郭、形状、位置、拡大縮小などの一部の改変は、もう一方の画像内の同様の領域または特徴の場所に対応するような適合を必要とする。本発明の技法は２つ（またはそれ以上）の画像がこの方法で改変されることを可能にするが、便宜上、本発明の説明は、１つの画像を基本的に固定された基準画像１６として扱い、もう一方の画像は、本明細書において整合対象画像１８として修正または移動が行われる対象とする。さらに、基準画像は画像データ記憶装置１４から導かれるものとして示されるが、ここでアトラス画像、一般基準画像、ライブラリ画像などは比較の目的で使用され、これらは、内部または外部ネットワークを介して、インターネット経由で、加入者サービスなどにより、ユーザによってアクセスされる場所を含むその他の場所に格納することができることにも留意されたい。この場合も同様に、基準画像はさまざまな方法で整合対象画像に対応することができ、おそらくは、２つの画像が関心の任意の領域または特徴における経時的な変化を調べるために、異なる期間における同一の患者から作成される可能性も高い。そのような調査は、たとえば、病状の発症または進行、治療に対する病状の反応などを文書化することができる。その他の用途において、比較は、対象の画像と、別の対象の類似する画像との間で行うこともできる。医療画像診断の分野以外のコンテキストにおいて、比較は、整合対象画像の検出可能な対象（たとえば、顔、パッケージに同封された品物、製造品の特徴、外形、または潜在的な欠陥）と、そのような特徴の既知の外形との間で同様に行われてもよい。

図１に示されるように、階層化区分化アルゴリズム２０は、以下でさらに詳細に説明されるように整合対象画像１８に適用される。一般に、階層化区分化アルゴリズムは、整合対象画像を、区分化要素または部分のレベルまで下位分割する。そのような区分化は、画像システム１２において実行されるか、または整合および比較が行われるワークステーションの後処理において、またはそのような整合および比較の前に行われてもよい。実際、画像自体は、一体の（区分化されていない）フォーマットおよび／または区分化されたフォーマットで格納することができる。また以下で説明されるように、そのような区分化は、整合対象画像を、あらかじめ定められた形状および大きさの要素に分割するか、または特定の特徴の検出に従って分割することができる。以下で説明される特定の実施形態において、たとえば、画像は、長方形または正方形要素の異なるレベルに区分化することができる。しかし、階層化区分化が整合対象画像で識別可能な特定の生体構造または構造（たとえば、体の領域、器官、器官の部分など）を伴うような、さらに特徴に固有の区分化を実行することができる。

最終的に、基準画像１６および階層区分化画像２２は、ワークステーション２４を介してユーザに使用可能になる。ワークステーション２４は、メモリ回路２６および処理回路２８を含むように示されている。当業者によって理解されるように、ワークステーションは、潜在的に複雑な画像データの操作を実行し、そのため通常は、汎用パーソナルコンピュータ、画像処理用の特殊用途ワークステーションなど、能力を備えたプログラム式コンピュータである。さらに、図１には示されていないが、ワークステーションは、基準画像１６および整合対象画像１８をアクセス、ダウンロード、および処理することができるように、画像データ記憶装置１４および／または画像システム１２と通信するためのインターフェイス回路を含む。しかし、一般に、区分化画像２２および基準画像１６は、最終的に、処理回路２８用のアプリケーションコードと共に、メモリ回路２６に格納される。ワークステーションはまた、ワークステーションがこれらの画像のいずれか、または整合プロセスの結果を、他のコンピュータ、他のワークステーション、記憶装置、指示医師、工業のコンテキストにおける生産技術者および設計者などに伝達できるようにするモデムなどのインターフェイス回路も含む。

ワークステーションは、以下で説明されるように、画像の整合の対話式プロセスを可能にするように特別に設計される。このプロセスにより、ユーザは２つ以上の画像をオーバーレイし、さまざまなレベルにおける区分化要素の移動および拡大縮小に基づいて極めて直観的な方法で画像を位置合わせすることができる。そのような対話を容易にするため、ワークステーションは、表示装置、グラフィカルユーザインターフェイス、およびユーザ入力デバイスを含むユーザインターフェイスデバイス３０を含む。表示装置は、通常、ユーザによる画像の適正な目視の位置合わせおよび判別を可能にするのに十分な解像度を有する任意の適切なコンピュータ画面を含むことができる。グラフィカルユーザインターフェイスは実際に、表示装置上の画像のオーバーレイ、移動、および拡大縮小を可能にするアプリケーションプログラムの一部である。以下で説明されるように、グラフィカルユーザインターフェイスにより、ユーザは、区分化のレベルを選択することができ、区分化要素を操作することができ、次いでユーザによる要素の移動に基づいて改変された画像を再構築する補間を実行することができる。ユーザは、通常、従来のキーボード、マウス、または区分化画像のそのような選択および改変を容易にする任意のその他の入力デバイスを含むユーザ入力デバイスを介してそのような変更を行う。

整合エンジン３２は一般に、画像の自動化または半自動化整合を実行するために提供される。整合エンジンには、ワープ、スプライン、または任意のその他の既知の技法による整合のアルゴリズムを含むさまざまなアプリケーションプログラムを使用することができる。以下でさらに詳細に説明されるように、ユーザ対話式整合を可能にする論理を含む階層化対話式手動整合エンジン３４もまた提供される。補間エンジン３６は、整合プロセスを可能にするアプリケーションプログラムの一部であってもよい。補間エンジンは、通常、移動された要素および移動された要素に隣接する要素のピクセル値または輝度を改変して、移動された要素が円滑に拡大、縮小、または要素の移動によって影響を受けたピクセルを改変する既知の補間方式に基づくことができる。そのような補間は、以下で説明されるように、要素の移動の後に実行することができる。最終的に、処理回路は、ユーザによって行われた変更を受け入れ、そのような移動に従って区分化画像を補間または再構築し、再構築された画像、または再構築された画像および基準画像の組み合わせを入出力共用ファイルに格納する。格納は、メモリ回路２６、または画像データ記憶装置１４など他のリモートメモリデバイスに行うことができる。

図２、３、および４は、区分化のさまざまなレベルにおける簡略化された区分化画像、および画像の要素の移動の自由度を示す。特に、図２に示されるように、この場合も同様にグレーレベルまたは色に対応するデジタル値によって定義されるピクセルの配列で構成される画像３８は、階層化要素の連続またはメッシュに分解される。要素４０を含む第１のレベルは、図２に示される。要素は、最初、画像の残りの部分に接続され、同様の要素によって囲まれていてもよい。この場合も同様に、正方形要素が図２に示されているが、要素は、器官、組織など、特定の関心特徴の輪郭であってその輪郭に沿ったものであってもよい。そのようなコンテキストにおいて、要素は、同様の要素に囲まれていても、囲まれていなくてもよい。このようにして、ユーザは、その特徴を、基準画像内の類似する特徴またはその他の特徴（たとえば、骨組織、心臓、肺、肝臓、脳など）と位置合わせするように、特徴全体を移動させることができる。第１レベルの要素４０は、図２において、画像３８の隣接する部分から若干ずれているように示されている。図２において概略的に示されるように、移動のいくつかの自由度が現在想定される。これらは、矢印４２によって指示される変換、参照番号４４によって指示される回転、および参照番号４６によって指示される拡大縮小を含む。変換は、全要素を、上、下、またはそのいずれかの側への移動によって行うことができる。一方、回転は通常、要素全体を回転させるが、少なくとも補間前の要素内のすべてのピクセルの相互の関係を保持する。拡大縮小は、要素内のすべての関係を同様に保持するが、特定のピクセルのデジタル値を変更するか、または要素内のピクセルの数を改変する場合がある。この場合も同様に、本発明の技法は、当技術分野で一般に知られている変換、回転、および補間の計算を採用することができる。

図３は、同じ画像の区分化要素、および同じ要素４０の区分化要素を、詳細度または特異度を高めて表している。この場合、要素４０は、４つの類似する要素４８に分解されている。ここで、区分化の第２レベルにおける要素の各々は、独立して選択され、前述の要素４０と同様の方法で移動されてもよい。したがって、それぞれ参照番号４２、４４、４６によって指示されるように、類似する変換、回転、および拡大縮小操作を各要素４８に実行することができる。

図４は、さらなる詳細化のレベル、および区分化要素の移動を表す。この場合、第１レベルの区分化要素４０が第２レベルの区分化要素４８に下位分割されるだけではなく、各要素４８が第３レベルの要素５０に下位分割されうる。前述と同様に、これらの要素５０の各々は、参照番号４２、４４、および４６によって指示されるように独立して変換、回転、および拡大縮小することができる。さまざまなレベルにおいて要素を操作する能力を備えた同様の区分化は、さらなる詳細化のレベルにも行うことができる。実際、より高いレベルの場合、全画像自体を、変換、回転、および拡大縮小することができる。その後、望ましい柔軟性および解像度のレベルに応じて、ますます詳細化された、またはさらに小さい要素を定義することができる。

図５は、前述のレベルへの画像の階層化区分化の全体的な方式を表す。一般に、方式は、画像を、各々の後続のレベルがそれ自体下位分割されるレベルへと画像を下位分割するものと見なすことができる。したがって、元の整合対象画像は、ノード５２によって表すことができる。このノードは、次に２つ以上のノード５４に分割される。３つのそのようなノードまたは要素が図５に示されるが、わずかに２つの要素またはセグメントが使用されてもよく、３つよりも多くの要素が採用されてもよい。同様に、次のさらに下位のレベル５６において、セグメントまたは要素５４のうちの少なくとも１つがさらに下位分割される。

すべての関心が特定の特徴に向けられる画像について、その特徴のみがレベル５４において区分化されうることに留意されたい。後続のレベルは、その特徴の副次特徴を含むことができる。たとえば、これは、心臓、肺、肝臓、特定の生体組織および器官などの医学的評価における一例であってもよい。その特定の構造の独立した操作が有効であることもあり、区分化の追加のレベルはその特定の構造のみに実行される。さらに、本発明の技法は、３次元画像に加えて２次元画像に使用することができるが、簡略にするため、本発明の説明において２次元画像のみが示されていることに留意されたい。そのような３次元画像は、磁気共鳴画像診断システム、コンピュータ断層撮影システム、超音波診断システムなどを含む多種多様なモダリティ画像システムで作成することができる。そのような場合、前述の区分化と基本的に同じ区分化が３次元データに実行され、３次元の変換および回転、および１次元、２次元、または３次元の拡大縮小を同時または単独に可能にすることになる。

一例として、図６、７、および８は、医療診断のコンテキストにおいて基準画像にオーバーレイされた整合対象画像の操作を示す。示されている例において、画像は、ヒトの膝の矢状方向デジタルＸ線画像である。当業者によって理解されるように、そのような画像は、Ｘ線源と検出器との間に介在する組織によるＸ線照射の吸収または減衰に応じて、明るさがより大きいかまたはより小さい程度の輝度を持つピクセルのマトリクスを備える。ヒト組織を通過する通常のＸ線画像において組織は、軟部組織（皮膚、脂肪、筋肉）ならびに硬骨および軟骨の視覚化を可能にする。基準画像および整合対象画像は、適切に位置合わせされないこともあるので、そのような整合は極めて有用である。この場合も同様に、整合は、整合対象画像をアトラスまたは一般基準画像、もしくは異なる患者から作成された画像に重ね合わせるように行うことができる。（病状の進行または増大もしくは治療に対する病状への反応により）時間の経過に伴う生体構造の変化が予測される場合、同一患者の画像と異なる時点における生体構造との間で比較を行うことができる。この場合も同様に、特定の例は医療診断のコンテキストにおいて行われるＸ線画像におけるものであるが、技法は、任意のモダリティによって作成される、任意の対象または関心項目の任意のデジタル画像に適用することができる。

図６に示されるように、整合対象画像５８は、前述のワークステーションで稼働するグラフィカルユーザインターフェイスおよびアプリケーションソフトウェアによって定義されるコンピュータ画面に表示される。この場合、膝の画像であるため、骨および軟部組織などの生体構造の特徴は、全体を通じて参照番号６０によって指示されているように画像で見ることができる。整合対象画像の背後に見える基準画像は、全体を通じて参照番号６２によって指示される。基準画像または整合対象画像のグレーイングまたはゴースティング、画像の組み合わせ、画像の不透明オーバーレイ、またはそのような視覚化技法の任意の組み合わせを含む、多くのさまざまな視覚化技法をこの目的で使用することができる。一般に、アプリケーションは、ユーザが少なくとも一時的に基準画像および整合対象画像の両方を見られるようにする場合、最も有用となる。しかし、いずれかの画像の一部または完全な不透明性は、操作段階中は、整合対象画像の要素と参照された画像の類似する特徴との適正な位置合わせを可能にする上で有用となる。

図６に示される画像において、区分化の第１レベルにおける要素６４は、整合対象画像の残りの部分からずれている。そのようなずれは通常、ユーザが要素の上、または要素を選択するための要素の特定のポイントの上でカーソルまたはその他のグラフィカルツールを移動させることによって行われる。その後、要素は、望ましい場所で要素をドラッグアンドドロップすることにより、移動することができる。同様の直観的なツールは、要素を拡大縮小および回転するために使用することができる。回転または拡大縮小を行った後、要素はさらに変換することができる。一般に、要素は、整合対象画像および基準画像の残りの部分の両方に関して、操作することができ、要素から遠ざけるか、要素に近づけるか、または全体に位置変更するように移動し、拡大縮小することができる。グラフィカルユーザインターフェイスは通常、選択および視覚化を容易にするため、および整合のプロセスを進めるための１つまたは複数のツールを含む。そのようなツールは、単純または複雑であってもよく、幅広い機能を含むことができる。図６に示される簡単なバージョンにおいて、たとえば、インターフェイスは、ユーザが、区分化のレベルの選択（この場合は、レベル１が選択済み）、移動された要素と整合対象画像の残りの部分との間の補間の制御、画像の混成などを行えるようにするナビゲーションおよび制御ツール６６を含む。その他のツールは、一例として、整合および区分化画像の前後への移動、拡大縮小、またはいずれかの画像の相対透過性または不透過性のウィンドウ操作などを行う機能を含むことができる。

図７は、図６に示される画像における要素６４の下位部分の移動を同様に示す。したがって、同じグラフィカルユーザインターフェイスにおいて、同じ画像５８は、基準画像である画像６２の上にオーバーレイされる。しかし、ここでは、参照番号６８により指示されるように、第２レベルの区分化が選択されている。したがって、より小さい要素７０は、ユーザによる選択が可能である。選択されると、この要素は、前述のように変換、回転、および拡大縮小することができ、ユーザは一般に、基準画像、整合対象画像、またはその両方の近隣または類似する特徴に対応するように要素を移動させる。図８は、第３レベルの区分化における同様の操作を表す。ここで、要素７０は、同様の選択、変換、回転、および拡大縮小によってユーザが移動および操作することのできるより小さい要素７２を使用可能にするように、さらに区分化されている。

図９は、前述の対話式の階層化区分化ベースの整合を実行する論理の例示的なステップを要約する。図９において全体を通じて参照番号７４により指定されるプロセスは、ステップ７６において指示されるように基準画像および整合対象画像にアクセスするステップで開始する。この場合も同様に、これらの画像は通常画像ツアーデバイス、ライブラリ、加入者サービス（標準アトラス画像の場合）などに格納されている。画像は、ダウンロードされるか、またはユーザが少なくとも整合対象画像を操作するワークステーションにロードされる。ステップ７８において、画像は、任意の適切なグラフィカルツールを使用してオーバーレイされる。この段階において、基準画像は、たとえば、整合対象画像の背後に配置することができ、整合対象画像は回転、変換、拡大縮小されるか、または一般に基準画像と位置合わせされてもよい。

次いで、ステップ８０において、ユーザが画像の整合に何らかの不満がある場合、ユーザは階層化手動整合を実行することを選択してもよい。このプロセスを開始するため、ユーザは区分化レベルを選択する。上記で図６、７、８を参照して示されているように、選択されたレベルは、ユーザが選択および操作できるように整合対象画像の特定の区分化部分または要素を使用可能にする。ステップ８２において、ユーザは望ましい要素または要素のグループを選択する。これは通常、望ましい要素の上にカーソルを置き、強調表示されるか、ユーザへのフィードバックに選択済みとして枠で示されるか、またはグラフィックで指定されて示される要素を選択することによって実行される。ステップ８４において、ユーザは、変換、回転、および拡大縮小により画像要素を整合することができ、基準画像、整合対象画像の残りの部分、またはその両方に関して望ましい状況および望ましい大きさに選択された要素を配置することができる。ステップ８４はまた、補間が行われうることを指示する。この補間は、移動または拡大縮小された要素をシームレスな方法で整合対象画像の周辺部分が基準画像とさらに緊密に一致するように効果的に示すことができる。ステップ８６において、対話式整合が完了した場合、操作された整合対象画像は、ステップ８８において指示されるように格納することができる。つまり、ステップ８６において、ユーザは通常、整合が現在満足なものであるかどうか、または追加の調整が整合の外観を向上させる上で役立つかどうかについて、視覚的な判断を行う。変更済みの整合対象画像の格納に加えて、整合対象画像および基準画像の特徴を組み合わせる画像など、合成画像を格納することもできる。時間の経過に伴う関心特徴における変化の測定のためなど、整合対象画像と基準画像との間の相違の分析、比較、量的および質的測定などを含む、さらなる操作を実行することもできる。ステップ８６において、整合対象画像のさらなる操作が望まれる場合、ユーザはステップ８０に戻り、別のレベルを選択して、対話式整合プロセスを続行することができる。

図９において概略が示され、区分化、対話式整合、および補間に関連して上記で説明されているが、本発明の技法は、その他の区分化、整合、および画像位置合わせのプロセスの使用を除外するものではないことに留意されたい。たとえば、前述の階層化区分化対話式整合の手法は、従来の整合プロセスと併せて、そのようなプロセスの前、後に、または繰り返して使用することができる。一例として、ユーザは、整合対象画像を基準画像と十分に位置合わせするように操作することができ、次いで、ワープ、スプラインなどに基づいてなど、従来の整合計算を行わせることができる。代替として、そのような従来の方法が最初に使用されてもよいが、より直観的に比較可能、または視覚的に満足な整合および比較を行うために、対話式手法を２番目に使用することができる。

図１０は、一般的にこのタイプの処理を表す。示されているように、参照番号９２によって指定されている階層化手動整合の前に、参照番号９０によって指示されるように、一部のタイプの自動化（または半自動化）整合を採用することができる。一般に、これは、整合が満足なものであるかどうかを判断することができるように、画像が重ね合わされるかまたは位置合わせされる場合である。この最初の評価は通常視覚によるものだけであるが、整合品質の計算されたインジケータも使用することができる。ユーザが画像の１つまたは複数の部分が整合を向上させるために調整される必要があると判断した場合、ユーザは、階層化手動整合の１つまたは複数のレベルを進み、上記で説明されているように、各レベルにおいて１つまたは複数の要素を位置合わせすることができる。その後、ユーザは以前採用された同じ整合技法に戻ることができるか、または参照番号９４により指示されるように、別の自動化技法に進むこともできる。自動化技法は同一である必要はなく、実際に複数のそのような技法が相互を補足することができることに留意されたい。任意の段階において、ユーザは、手動整合を行うことにより、戻って整合の任意の部分をオーバーライドすることができる。

本発明は、ユーザの対話により、２次元以上における２つ以上の画像の整合を可能にする程度まで、有用性および技術的効果を提供する。特に、本発明は、整合対象画像を、個別に変換、回転、および拡大縮小することができるユーザ操作可能な要素に分解することにより、さらに満足のいくように整合対象画像を基準画像と位置合わせする十分な有用性および能力を提供する。

本発明の特定の特徴のみが本明細書において示され説明されているが、数多くの修正および変更が当業者には考案されるであろう。したがって、以下の特許請求の範囲は、そのような修正および変更のすべてが本発明の真の精神の範囲内に含まれるものとして網羅することを意図されていることを理解されたい。

１０画像処理システム
１２画像システム
１４画像データ記憶装置
１６基準画像
１８整合対象画像
２０階層化区分化アルゴリズム
２２階層化区分化画像
２４ワークステーション
２６メモリ回路
２８処理回路
３０ユーザインターフェイス
３２整合エンジン
３４ユーザ入力デバイス
３６補間エンジン
３８画像
４０レベル１要素
４２変換移動
４４回転移動
４６拡大縮小移動
４８レベル２要素
５０レベル３要素
５２レベル−１
５４レベル−２
５６レベル−３
５８画像（整合）
６０生体構造
６２基準画像
６４要素
６６ナビゲーション／制御ツール
６８レベルセレクタ
７０要素
７２要素

Claims

デジタル画像を基準に整合するための方法であって、
（ａ）基準画像（１６）および整合対象画像（１８）にアクセスするステップ（７６）であって、前記整合対象画像は区分化要素（６４）の少なくとも２つの階層レベル（５２〜５６）に区分化されるステップと、
（ｂ）区分化レベルのユーザ選択を受信するステップ（８０）と、
（ｃ）前記選択された区分化レベルに従って前記基準画像の少なくとも１つの区分化要素を表示するステップ（６４）と、
（ｄ）前記選択されたレベルにおける区分化要素（６４）のユーザ選択を受信するステップ（８２）と、
（ｅ）前記選択された要素の修正による前記整合対象画像の改変のためのユーザ入力を受信するステップ（８４）と、
（ｆ）前記修正済みの選択された要素を含む前記改変された整合対象画像を格納するステップ（８８）とを備え、
上位レベルの各区分化要素（６４）の各々は、下位レベルの区分化要素（６４）に空間的に分割される、方法。
前記基準および整合対象画像の初期整合（９０）を実行するステップ（７６）を備える請求項１記載の方法。
前記初期整合の相対的品質の初期評価を実行するステップを備える請求項２記載の方法。
前記初期評価は前記ユーザによる視覚的評価である請求項３記載の方法。
前記基準（１６）および整合（１８）画像は２次元画像である請求項１乃至４のいずれかに記載の方法。
前記ユーザ入力は前記選択された区分化要素の変換（４２）、回転（４４）、または拡大縮小（４６）を含む請求項１乃至５のいずれかに記載の方法。
前記選択された区分化レベルにおいて異なる要素に対してステップ（ｄ）および（ｅ）を繰り返すステップを含む請求項１乃至６のいずれかに記載の方法。
異なる区分化レベルに対して、および前記選択された区分化レベルの各々における少なくとも１つの区分化要素に対してステップ（ｂ）、（ｄ）、および（ｅ）を繰り返すステップを含む請求項１乃至７のいずれかに記載の方法。
前記修正済みの区分化要素と前記整合対象画像の残りの部分との間にピクセル値を補間するステップ（８４）を備える請求項１乃至８のいずれかに記載の方法。
ステップ（ａ）の後に階層化区分化（２２）プロセスを前記整合対象画像に実行するステップを備える請求項１乃至９のいずれかに記載の方法。