JP6692906B2 - 線形画像特徴に対する改良されたマーカー配置のための画像処理 - Google Patents

Description

本発明は、画像処理装置、画像表示装置、画像データの処理方法、画像表示方法、及びコンピュータプログラムに関する。

ＵＳ８，２２９，１８６は、データ空間内に定められた医療画像データセット内の管状組織のための中心線決定方法を開示し、方法は、管状組織ボリューム内部の少なくとも１つの始点及び少なくとも１つの終点を受け取るステップと、前記ボリューム内にとどまる前記始点及び前記終点間の経路を自動的に決定するステップと、前記経路を用いて前記管状組織を自動的にセグメント化するステップと、前記セグメント化から前記管状組織のための中心線を自動的に決定するステップとを含む。受け取るステップ、経路を決定するステップ、セグメント化するステップ、及び中心線を決定するステップは、医療画像データセットの同じデータ空間上で実行される。

受け取られるユーザ指定の始点及び終点は、入力装置の精度、画像ズームレベル、ユーザの現在の身体的若しくは精神的状態、又は画像特性などの要因に依存する可能性があり、したがって、配置精度に欠ける。

本発明の目的は、線形画像特徴を含む２次元画像に対するユーザ指定位置の正確かつ精密な配置を保証することである。

本発明の第１の側面によれば、画像処理装置が提示される。該装置は、
− ２次元ピクセルグリッド内のピクセルに割り当てられる入力ピクセル値を受け取る画像入力インターフェイスであって、前記入力ピクセル値は少なくとも１つの線形画像特徴を有する画像を表し、前記線形画像特徴は、前記線形画像特徴の内側のピクセルと、前記線形画像特徴の外側の隣接ピクセルとの間で入力ピクセル値コントラストを呈する、画像入力インターフェイスと、
− 前記ピクセルグリッド内のマーカーの位置を示すマーカー位置データを受け取るマーカー入力インターフェイスであって、前記マーカーは、前記線形画像特徴上の位置を示すためのものである、マーカー入力インターフェイスと、
− 前記ピクセルデータ及び前記マーカー位置データを用いて、前記２次元ピクセルグリッドに関して改良されたマーカー位置を示す改良されたマーカー位置データを決定するマーカー位置改良ユニットとを備え、
− 前記マーカー位置改良ユニットはさらに、
− 前記マーカー位置データを用いて、前記マーカー位置を含む所定の画像領域をカバーするサーチ領域を決定し、
− 前記サーチ領域内の各ピクセルについて（以下、計算対象ピクセル）、少なくとも２つのピクセル窓によって形成される隣接計算領域を決定し、前記ピクセル窓は、少なくとも２つの異なるピクセルラインに沿って、ピクセル窓のそれぞれの端部ピクセルまで延在し、これらピクセル窓は前記計算対象ピクセルをそれぞれのピクセル窓の中心ピクセルとして含み、
− 各ピクセル窓について、前記計算対象ピクセルを通過し、ピクセルラインに沿って前記ピクセル窓が延在する当該ピクセルラインと直交するラインに関する、前記入力ピクセル値のローカルミラー対称性グレードを示す対称性指標のそれぞれの値を決定し、
− 各ピクセル窓について、前記ピクセル窓について決定された前記対称性指標の値と、前記中心ピクセルの前記入力ピクセル値と前記ピクセル窓の各端部ピクセルの前記入力ピクセル値との間のコントラスト差量の増加に伴い大きさが増加するよう定められた対称性重み付け係数とを用いて、それぞれの加重対称性値を決定し、
− 各ピクセルについて、それぞれのピクセルについて決定された前記加重対称性値に基づいてそれぞれの対称性値を決定し、ピクセルに対して最も高い対称性値が決定された当該ピクセルを決定することによって、前記サーチ領域内のピクセルの中からターゲットピクセルを識別し、前記改良されたマーカー位置データを、前記ターゲットピクセルの前記位置データとして決定する。

したがって、本発明の第１の側面の画像処理装置は、画像内の線形画像特徴に対するマーカーの配置を改善し、ここで、マーカーは線形画像特徴上の位置を示すためのものである。該画像処理装置は、画像における改良されたマーカー位置データの決定を達成する。

該画像処理装置は、画像内のマーカーが、正確に線形画像特徴上に位置するよう画像内に配置されることが意図されているにもかかわらず、しばしば、（今日では多くの場合、コンピュータマウスのようなポインティングツール又はタッチディスプレイ上の指によって提供される）ユーザ入力によって誤って配置されるという認識に基づく。線形画像特徴に対するマーカーのこのような不正確な配置は、選択された入力装置の精度、画像のズームレベル、ユーザの精神的又は身体的状態、又は画像特性などの様々な要因のうちの１つ又は組合せに起因し得る。

マーカー入力インターフェイスで受け取られたこのような誤った又は少なくとも不正確な初期マーカー位置データに基づく場合であってもマーカーを正確に配置するために、画像処理装置は、受け取られたマーカー位置データを改良するマーカー位置改良ユニットを有する。マーカー位置改良ユニットは、改良されたマーカー位置を決定するために線形画像特徴の対称特性を利用する。

線形画像特徴は、特に、横方向よりも縦方向に伸長する画像特徴であり、ここで、横方向とは、縦方向の伸長に垂直な画像内の方向である。線形画像特徴は折れ曲がった、湾曲した、又は蛇行する撮像対象に関連し得るので、縦方向伸長の方向は変化し得る。縦方向伸張の方向とともに、横方向伸張の方向が変化する。前記画像特徴の内側のピクセルと、線形の外側の隣接ピクセルとの間で入力ピクセル値コントラストを呈する線形画像特徴は、本発明の第１の側面の画像処理装置を用いたマーカー位置の改良に特に適している。線形特徴の例は、カテーテル、ガイドワイヤ、針、糸、爪などの介入装置の画像である。

線形画像特徴上の位置を示すための受け取られたマーカー位置データを改良するために、装置は画像内のサーチ領域を決定する。サーチ領域は、マーカー入力インターフェイスを介して受け取られたマーカー位置を含む。それぞれが少なくとも１つのピクセルシーケンスを含む少なくとも２つのピクセル窓によって形成される隣接計算領域内に位置するピクセルの入力ピクセル値に基づいて、装置はさらに、少なくとも２つのミラーラインに関するピクセル値のローカル対称性グレードを示す対称性指標を決定する。これらのミラーラインは画像特徴を表すものではなく、マーカー位置の改良プロセス中にミラー対称性を決定するための数学的ツールとして使用される。ミラーラインは、ピクセルグリッドに関して適切に定義され得る。

その後、入力ピクセル値に関して計算された対称性指標を使用して、加重対称性値が求められる。このために、中心ピクセルのピクセル入力値と、各ピクセル窓の各端部ピクセルのピクセル値との間のコントラスト差量が増加するに伴い大きさが増加するように定められた重み付け係数が使用される。各ピクセルについて、該ピクセルについて求められた加重対称性値に基づいて対称性値が決定され、最も高い対称性値を有するピクセルが識別される。このピクセルの位置が、改良されたマーカー位置として使用される。加重対称性値に基づいて決定される対称性値は、改良されたマーカー位置を有するピクセルを識別するために使用されるので、この対称性値は識別値とみなすことができる。

ピクセルについて決定された複数の加重対称性値に基づいて該ピクセルの対称性値を決定するために、これらの加重対称性値のうちの１つが選択され、識別値と見なされ得る対称性値として使用され得る。例えば、最も高い加重対称性値又は最も低い加重対称性値が選択され得る。また、ピクセルの対称性値、すなわち識別値を決定するために、該ピクセルについて決定された複数の加重対称性値が組み合わせられてもよい。例えば、ピクセルの対称性値、すなわち識別値を決定するために、該ピクセルについて決定された複数の加重対称性値が線型結合されてもよい。

なお、所与のピクセルについて決定された単なる高いグレードのミラー対称性は、問題を解決しない。完全に線形画像特徴の外側のピクセルにも該当し得るからである。例えば、画像のコントラストが乏しい部分内のピクセルは、高いグレード又はミラー対称性を有するように映る。このようなピクセルは、当然ながら、線形画像特徴上の位置としての適格性に関しては興味深いものではない。しかし、重み付け係数の使用は、線形画像特徴内に位置するピクセルと、線形画像特徴外のピクセルの高いミラー対称性グレードを区別することを可能にする。

画像処理装置は、撮像技術が適用される多くの技術分野、例えばＸ線撮影、磁気共鳴イメージング、医療用超音波検査、内視鏡検査、サーモグラフィー、医療用写真撮影、及び核イメージングなどの医療用イメージング技術に関連して有利に使用され得る。

以下、本発明の第１の側面の画像処理装置の実施形態について説明する。

入力ピクセル値は、異なる実施形態において、画像の任意の色成分、例えばＲＧＢカラーコードを示し得る。他の実施形態では、入力ピクセル値はグレースケール上の輝度値である。入力ピクセル値は、以下の例によりさらに説明されるように、異なるタイプの画像情報を表し得る。

一実施―カー位置改良ユニットはさらに、それぞれのピクセルについて決定された加重対称性値に基づいて決定された対称性値が所定の閾値制約を満たす場合にのみ、改良されたマーカー位置データを出力するように構成される。加重対称性値に対するこの閾値制約は、線形画像特徴として識別されるために要求される入力ピクセル値の十分なコントラストを定義するように選択され得る。

入力ピクセル値及びマーカー位置データなどのファクタに依存して、画像によっては、同一の最高加重対称性値を有する複数のターゲットピクセルが識別され得る。したがって、別の実施形態では、マーカー位置改良ユニットはさらに、複数のターゲットピクセルが識別された場合、ターゲットピクセルと受け取られたマーカー位置データとの間の距離指標の値を求め、改良されたマーカー位置データを、最も小さい距離指標を有するターゲットピクセルの位置データとして決定するよう構成される。このアプローチは、ほとんどの状況において、ターゲットピクセルの決定における上記のような曖昧さを解決する。

サーチ領域の各ピクセルの計算領域を適切に選択することにより、マーカー位置改良ユニットのパフォーマンスを向上させることができる。一実施形態では、マーカー位置改良ユニットは、少なくとも２つの前記ピクセル窓を、２次元ピクセルグリッド内で互いに直交する方向に延びるピクセル窓として決定するように構成される。他の実施形態では、前記２つの異なる方向は互いに直交することが好ましいが、必ずしも直交する必要はない。２次元ピクセルグリッドの３つ以上の方向に延びるピクセル窓を有する計算領域を利用する実施形態も可能であるが、より多くの計算労力が要求される。したがって、互いに直交する２つの方向のみを使用することが有利である。

改良されたマーカー位置を決定するために、少なくとも３つのピクセルシーケンスを含むピクセル窓を使用することが有利であることが判明した。これにより、マーカー位置の改良が、入力ピクセル値におけるアーチファクトからの影響を受けにくくなる。２つのピクセル窓のそれぞれの３つのピクセルシーケンスに基づいて改良されたマーカー位置データを決定することによって、アーチファクトの影響が低減される。低い計算複雑性を達成するという点で特に有利な実施形態では、２つの直交する方向は、入力ピクセル値が割り当てられる２次元グリッドの座標軸に対応する。

画像処理装置のパフォーマンスを強化する他の実施形態では、フィルタユニットが設けられ、フィルタユニットは、初期画像を表す、２次元ピクセルグリッド内のピクセルに割り当てられる初期ピクセル値を受け取り、所定の変換規則を用いて初期ピクセル値を変換し、変換された初期ピクセル値を入力ピクセル値として画像入力インターフェイスに提供するように構成される。一部の実施形態では、所定の変換規則は、血管度フィルタなどの線形画像特徴を強調するためのフィルタを実装する。ある具体的実施形態では、フィルタユニットは、初期ピクセル値を入力ピクセル値に変換するための変換規則として、Ｆｒａｎｇｉの血管強調フィルタを実装する。Ｆｒａｎｇｉのフィルタによる変換は、血管度値を決定するために、各ピクセルついて、ヘッセ行列の二次導関数及び固有値の計算を行うことを含む。これらの血管度値は、画像内の線形構造を識別するための改良されたピクセル基礎を形成する。他の実施形態は、大きい血管度値を有し得るいくつかの背景物体の影響を締め付ける、よりバランスの良い分布を得るために、血管度フィルタを適用することによって得られた血管度値の等化を行うことをさらに含む変換規則を適用する。

他の実施形態では、フィルタユニットは、マーカー位置データを受け取り、受け取られたマーカー位置データに基づいて、初期画像の一部を形成する限定されたフィルタリング領域を決定し、フィルタリング領域のみの初期ピクセル値を変換するよう構成される。この実施形態では、マーカー位置データを受け取った後、初期画像の一部のみが処理される。これにより、計算労力が少なくなる。しかしながら、変換を開始するには、フィルタユニットはマーカー位置データの受け取りを待たなければならない。

他の実施形態は、初期ピクセル値を受け取るとすぐに初期ピクセル値の変換を開始するフィルタユニットを含む。マーカー位置データを受け取ると、対応する限定されたフィルタリング領域が変換されているか否かを決定し、変換されていない場合、限定されたフィルタリング領域の変換を開始する。決定されたマーカー位置データのための限定されたフィルタリング領域は、マーカー位置に基づいて決定されるサーチ領域に含まれるピクセルに対応するピクセル窓の一部を形成する全ピクセルを少なくとも含む。

本発明の第２の側面によれば、画像表示装置が提供される。画像表示装置は、本発明の第１の側面に係る画像処理装置又はその実施形態のうちの１つと、画像処理装置に接続され、画像を表すピクセルを２次元ピクセルグリッド内で表示し、また、画像処理装置から受け取られた改良されたマーカー位置データによって定められるピクセルグリッド内の位置に少なくとも１つのマーカーを表示するように構成された表示ユニットとを含む。

画像表示装置は、本発明の第１の側面の画像処理装置と同様の効果を奏する。

本発明の第３の側面によれば、画像データの処理方法が提供される。方法は、
− ２次元ピクセルグリッド内のピクセルに割り当てられる入力ピクセル値を受け取るステップであって、前記入力ピクセル値は少なくとも１つの線形画像特徴を有する画像を表し、前記線形画像特徴は、前記線形画像特徴の内側のピクセルと、前記線形画像特徴の外側の隣接ピクセルとの間で入力ピクセル値コントラストを呈する、ステップと、
− 前記ピクセルグリッド内のマーカーの位置を示すマーカー位置データを受け取るステップであって、前記マーカーは、前記線形画像特徴上の位置を示すためのものである、ステップと、
− 前記ピクセルデータ及び前記マーカー位置データを用いて、前記２次元ピクセルグリッドに関して改良されたマーカー位置を示す改良されたマーカー位置データを決定するステップとを含み、
− 前記改良されたマーカー位置を決定するステップはさらに、
− 前記マーカー位置データを用いて、前記マーカー位置を含む所定の画像領域をカバーするサーチ領域を決定するステップと、
− 前記サーチ領域内の各ピクセルについて（以下、計算対象ピクセル）、少なくとも２つのピクセル窓によって形成される隣接計算領域を決定するステップであって、前記ピクセル窓は、少なくとも２つの異なるピクセルラインに沿って、ピクセル窓のそれぞれの端部ピクセルまで延在し、これらピクセル窓は前記計算対象ピクセルをそれぞれのピクセル窓の中心ピクセルとして含む、ステップと、
− 各ピクセル窓について、前記計算対象ピクセルを通過し、ピクセルラインに沿って前記ピクセル窓が延在する当該ピクセルラインと直交するラインに関する、前記入力ピクセル値のローカルミラー対称性グレードを示す対称性指標のそれぞれの値を決定するステップと、
− 各ピクセル窓について、前記ピクセル窓について決定された前記対称性指標の値と、前記中心ピクセルの前記入力ピクセル値と前記ピクセル窓の各端部ピクセルの前記入力ピクセル値との間のコントラスト差量の増加に伴い大きさが増加するよう定められた対称性重み付け係数とを用いて、それぞれの加重対称性値を決定するステップと、
− 各ピクセルについて、それぞれのピクセルについて決定された前記加重対称性値に基づいてそれぞれの対称性値を決定し、ピクセルに対して最も高い対称性値が決定された当該ピクセルを決定することによって、前記サーチ領域内のピクセルの中からターゲットピクセルを識別するステップと、
− 前記改良されたマーカー位置データを、前記ターゲットピクセルの前記位置データとして決定するステップとを含む。

本発明の第３の側面の方法は、本発明の第１の側面の装置に関連して提示された利点を共有するが、これらの利点に限定されない。また、上記方法の実施形態は、本発明の第１の側面の装置の実施形態の追加特徴の機能に対応する追加方法ステップを採用する。

本発明の第４の側面は、コンピュータのプロセッサによって実行されると、本発明の第３の側面に係る画像データの処理方法を実行するための実行可能コードを含むコンピュータプログラムによって形成される。請求項１に記載の画像処理装置、請求項７に記載の画像表示装置、請求項８に記載の画像データの処理方法、及び請求項９に記載のコンピュータプログラムは、特に従属請求項に記載されているような同様の及び／又は同一の好ましい実施形態を有することを理解されたい。

本発明の好ましい実施形態は、従属請求項又は上記実施形態と独立請求項との任意の組み合わせとすることもできることを理解されたい。

本発明の上記及び他の側面は、以下に記載される実施形態を参照しながら説明され、明らかになるであろう。

図１Ａ〜図１Ｄは、本発明の一実施形態に係る、画像処理前、処理中、及び処理後の線形画像特徴を含む２次元ピクセルグリッドを示す。 図２は、線形画像特徴を含む別の２次元ピクセルグリッドを示す。 図３は、線形画像特徴を含む別の２次元ピクセルグリッドを示す。 図４は、画像処理装置の一実施形態のブロック図である。 図５は、画像処理装置の他の実施形態のブロック図である。 図６は、画像処理装置の他の実施形態のブロック図である。 図７は、本発明の一実施形態に係る、画像処理中の他のピクセルグリッドを示す。

図１Ａ〜図１Ｄは、線形画像特徴１０２を有する画像を形成する２次元ピクセルグリッド１００の図である。線形画像特徴は、線形画像特徴の内側のピクセル（より暗い）と、線形の外側の近傍のピクセル（より明るい）との間にピクセル値のコントラストを呈する。したがって、線形画像特徴１０２は、該特徴を構成しない隣接ピクセルと区別可能な入力ピクセル値を有するピクセルによって形成される。

以下の説明では、図４を併せて参照する。図４は、画像処理装置４００の一実施形態のブロック図である。装置４００は、少なくとも１つの線形画像特徴を有する画像を表す、２次元グリッド内のピクセルに割り当てられる入力ピクセル値を受け取るように構成された画像入力インターフェイス４０２と、前記ピクセルグリッド内のマーカーの位置を示すマーカー位置データを受け取るよう構成されたマーカー入力インターフェイス４０４であって、前記マーカーは、前記線形画像特徴上の位置を示す役割を果たす、マーカー入力インターフェイス４０４と、前記２次元ピクセルグリッドに対して改良されたマーカー位置を示す改良されたマーカー位置データを決定するよう構成されたマーカー位置改良ユニット４０６とを備える。改良された位置データの決定方法の例が、図１Ａ、図１Ｂ、及び図１Ｃを参照して説明される。入力ピクセル値は、例えば、所与のピクセルのＲＧＢ色成分を示す値、グレースケール値を示す値、又は対応する変換規則を使用して所定のフィルタを適用した後に得られる変換された値である。入力ピクセル値は、画像入力インターフェイス４０２によって受け取られる。

ピクセルグリッド１００内のマーカー１０４の位置を示すマーカー位置データは、マーカー入力インターフェイス４０４によって受け取られる。マーカー１０４の位置は、１ピクセルサイズの太枠で示される。当然ながら、任意の他のマーカーシンボルが使用され得る。マーカー１０４は、線形画像特徴１０２上の位置、最も好ましくは線形特徴１０２の長手方向を基準とした中心線上の位置を示すためのものである。マーカー位置は、マーカー位置データによって表される。ピクセルグリッド１００内の初期マーカー位置は、通常、ユーザが入力装置とインタラクトすることによって決定される。異なる実施形態では、ユーザは、マウス、キーボード、タッチ又は類似の位置入力インターフェイス上のポインティングデバイスによって制御されるカーソルを使用することによって、画像上のマーカー１０４のマーカー位置を選択してもよい。しかし、入力装置の精度、画像のズームレベル、ユーザの現在の身体的又は精神的状態、又は画像特性などの要因に起因して、望ましい中心位置に正確に配置されないおそれがある。

図１Ｂは、マーカー位置１０４を含む所定の画像領域をカバーするサーチ領域１０６を示す。サーチ領域１０６は、マーカー１０４のマーカー位置データ及び所定のサーチ領域面積を用いて、マーカー位置改良ユニット４０６によって決定される。一部の実施形態では、サーチ領域は必ずしも中央にマーカー１０４を有する必要がない。

図１Ｃは、マーカー位置改良ユニット４０６によって決定される計算領域１１０を示す。図１Ｂに示されるサーチ領域１０６内の各ピクセル（以下、計算対象ピクセル）について、隣接計算領域が決定される。例えば、マーカー１０４について決定されたサーチ領域１０６内に位置する計算ピクセル１０８に対して、計算領域１１０が決定される。計算領域は、少なくとも２つの異なるピクセルラインに沿って延在する少なくとも２つのピクセル窓によって形成され、各ピクセル窓はそれぞれの端部ピクセルまで延び、また、各ピクセル窓は計算対象ピクセルを該ピクセル窓の中心ピクセルとして含む。この説明の例の隣接計算領域１１０を形成する２つのピクセル窓は、それぞれ、各シーケンスが５つのピクセルを有する３つのピクセルシーケンスによって形成される。ピクセルグリッド１００の表示に従って、１つのピクセル窓は垂直方向に延び、第２のピクセル窓は水平方向に延びる。両方のピクセル窓が計算対象ピクセル１０８を含む。ピクセル窓のサイズは、画像解像度（総画素数）、撮像対象の倍率、及び使用されるズーム係数（該当する場合）に基づいて適切に決定される。例えば、ピクセル窓は、画像平面の２方向において撮像対象物体の数ｍｍ（例えば３ｍｍ、４ｍｍ、又は５ｍｍ）の領域にわたって広がるように選択され得る。計算領域を形成するピクセル窓のサイズは、マーカー位置の改良の最大レンジを決定する。計算領域は、線形画像特徴の幅よりも大きい画像領域にわたって適切に延在する。

図１Ｄは、サーチ領域１０６に対する加重対称値が最も高いターゲットピクセル１０４’がマーカー位置改良ユニット４０６によって識別されたピクセルグリッド１００を表す。ターゲットピクセルを識別するための様々な代替例が後述される。
画像処理装置４００のマーカー位置改良ユニット４０６は、マーカー１０４のマーカー位置データを受けとると、サーチ領域１０６を決定する。サーチ領域内の各ピクセル（以下、計算対象ピクセル）について、２つの窓によって形成される計算領域を決定し、各窓がピクセルシーケンスを含む。

計算対象ピクセル１０８の計算領域１１０内の各ピクセル窓について、計算対象ピクセルを通過し、かつ対応するピクセルラインと直交する少なくとも２つのミラーラインを基準とした入力ピクセル値のローカルミラー対称性グレードを示す対称性指標の値が決定される。この例示的な実施形態では、ミラーラインは、垂直及び水平方向に延びる。

好適なローカルミラー対称性グレード決定動作の例は、計算対象ピクセル１０８に対する距離が同じである計算対象ピクセル１０８の両側に位置するピクセル間の入力ピクセル値の差のモジュールの和の計算を含む。一例は、ピクセル１１２．ａ及び１１２．ｂ並びにピクセル１１４．ａ及び１１４．ｂの入力ピクセル値を減算すること、及びこれらの減算演算のモジュールを加算することを含む。対称性が高いピクセル位置に位置するピクセルは、この和の量が少ない。図１Ｃに記載されているようないくつかの実施形態では、中央シーケンスがピクセル値においてアーチファクトを提示する場合、すなわち、入力ピクセル値が実際の画像に対応せず、例えばデジタル化処理におけるエラーに起因する歪みに対応する場合に滑らかな対称性推定を得るために、この演算が各座標方向の３つのピクセルラインに対して実行される。２つ以上のラインに対する対称性演算を計算することにより、これらのアーチファクトの影響が低減される。

ミラーラインに垂直な２つの方向に関して加重対称性値を決定するために、上記演算とともに加重（重み付け）係数が使用される。ピクセルラインの端部が線形画像特徴の外側に位置し、計算対象ピクセルが線形画像特徴の内側に位置する場合、これは高い重み（大きさにおいて）を達成する。一部の実施形態で使用される例示的な重み付け係数は、所与のピクセル窓の両端に位置するピクセルの入力ピクセル値を加算し、ピクセルシーケンスの中心に位置するピクセルの値の２倍を減算することによって決定される。したがって、重み付け係数の値は、線形画像特徴の内側又は外側に含まれる（例えば、特徴に平行な）ピクセルセグメントと（結果として、重み付け係数は小さくなる）、線形画像特徴を横断し、両端は特徴の外側にあるが中央は内側にあるピクセルシーケンス（結果として、前者の場合に比べてモジュール値が高くなる）との区別を可能にする。

ある具体的実施形態では、最大加重対称性値の決定は、２つのピクセル窓を使用して２次元ピクセルグリッド内の位置（ｘ_ｃ，ｙ_ｃ）に位置するピクセルに対して実行され、２つのピクセル窓はそれぞれ２つの座標方向ｘ（例えば水平方向）及びｙ（例えば垂直方向）に伸び、長さＮ（Ｎは奇数の正の整数）の単一のピクセルシーケンスと重み付け係数とから形成される。入力ピクセル値Ｐ（ｘ，ｙ）に対する画像処理装置によって実行される計算は、この特定の場合、以下のとおりである。

ここで、Ｐ（ａ，ｂ）は、座標ピクセルグリッドの位置（ａ，ｂ）に位置するピクセルの入力ピクセル値を表し、ＳＮＷＸは、ピクセルグリッドの垂直方向に沿って伸び、位置（ｘ_ｃ，ｙ_ｃ）を通過するミラーラインに関する入力ピクセル値のローカル対称性グレードを示す対称性指標であり、ＳＮＷＹは、ピクセルグリッドの水平方向に沿って伸び、位置（ｘ_ｃ，ｙ_ｃ）を通過するミラーラインに関する入力ピクセル値のローカル対称性グレードを示す対称性指標であり、ＷＦＸは、ピクセルグリッドの水平方向に伸びるピクセル窓のために計算された重み付け係数であり、ＷＦＹは、ピクセルグリッドの垂直方向に伸びるピクセル窓のために計算された重み付け係数であり、ＳｙｍｍｅｔｒｙＶａｌｕｅは、２つのピクセル窓について求められた加重対称性値の最小値である。

他の実施形態は、ＳＮＷＸ及びＳＮＷＹと重み付け係数ＷＦＸ、ＷＦＹとの間で他の演算を使用して、サーチ領域内の各ピクセルについて量ＳｙｍｍｅｔｒｙＶａｌｕｅの値を決定し、例えば、限定はされないが、最も重み付け係数の高い座標方向において対称性指標（ＳＮＷＸ又はＳＮＷＹ）をＳｙｍｍｅｔｒｙＶａｌｕｅ値として指定する。所与の座標方向において複数のピクセルラインが評価される実施形態では、対称性指標（ＳＮＷＸ及びＳＮＷＹ）を求めるために異なる演算が実行され、例えば、限定はされないが、窓内の各ピクセルラインについて取得された対称性指標（ＳＮＷＸ及びＳＮＷＹ）値を加算し、結合されたＳＮＷＸ（ＳＮＷＹ）をＷＦＸ（ＷＦＹ）と乗算する。その後、画像処理は、改良されたマーカー位置データを、該ピクセル（サーチ領域内のピクセルの加重対称性値の中で最も高い値を有するピクセル）の位置データとして決定する。他の実施形態では、ＳｙｍｍｅｔｒｙＶａｌｕｅ値が正規化されるか、又は複数の重複しない値域から単一の値域を示す離散値を割り当てられる。

図２は、入力ピクセル値を有するピクセルによって形成され、線形画像特徴２０２を有する画像２００を示す。この実施形態では、２つのマーカー位置データ２０４及び２０６が受け取られている。画像処理装置４００は、両方のマーカー位置について、対応するサーチ領域を決定し、それぞれのサーチ領域内のすべてのピクセルについて加重対称性値を決定する。マーカー位置２０４の場合、改良されたマーカー位置は入力マーカー位置と一致する。すなわち、マーカー位置によって示されるピクセルは、この具体例では、そのサーチ領域内の全ピクセルのうち最も高い加重対称性値を有する。ユーザ入力位置２０６の場合、画像処理装置は、この具体例では、マーカー位置によって示されるピクセルの加重対称性値よりも高い加重対称性値を有するサーチ領域内のピクセルが存在すると判定することができた。このようにして、画像処理装置は、入力マーカー位置に対応しないピクセルを示す改良されたマーカー位置データを決定する。この実施形態では、画像は、マーカー位置２０４及び２０６、並びに改良されたマーカー位置２０８を示すマーカーとともに表示される。この具体的実施形態では、異なるマーカーデータグラフィカル表現（異なる色及び／又は形状）を使用することによって、改良されたマーカー位置データ（例えば、マーカー位置データ２０８に改良されたマーカー位置データ２０６）と、改良されていないマーカー位置データ（例えば、マーカー位置２０４）とが区別されている。

図３は、２つの線形画像特徴３０２及び３０４を含む別の２次元ピクセルグリッド３００を示す。この実施形態では、２つのマーカー位置データ３０６及び３０８が受け取られている。画像処理装置４００は、両方のマーカー位置について、対応するサーチ領域を決定し、それぞれのサーチ領域内のすべてのピクセルについて加重対称性値を決定する。マーカー位置３０６の場合、改良されたマーカー位置データは入力マーカー位置データと一致する。すなわち、マーカー位置データによって示されるピクセルは、そのサーチ領域内の全ピクセルのうち最も高い加重対称性値を有する。ユーザ入力位置３０８の場合、画像処理装置は、マーカー位置によって示されるピクセルの加重対称性値よりも高い加重対称性値を有するサーチ領域内のピクセルが存在すると判定することができた。マーカー位置データ３０８に対応するサーチ領域が複数の線形画像特徴の一部を含む実施形態では、同じ最高加重対称性値を有する複数のターゲットピクセルが特定され得る。この実施形態では、マーカー位置ユニットは、全てのターゲットピクセルとマーカー位置データとの間の距離指標を求め、距離指標の最小値を有するターゲットピクセルに対応する改良されたマーカー位置３１０を出力するように構成される。このようにして、画像処理装置は、入力マーカー位置データに対応しないピクセルを示す改良されたマーカー位置データを決定する。この実施形態では、２次元ピクセルグリッド３００は、マーカー位置３０６及び３０８、並びに改良されたマーカー位置３１０を示すマーカーとともに表示される。この具体的実施形態では、異なるマーカーデータグラフィカル表現（異なる色及び／又は形状）を使用することによって、改良されたマーカー位置データ（例えば、マーカー位置データ３１０に改良されたマーカー位置データ３０８）と、改良されていないマーカー位置データ（例えば、マーカー位置３０６）とが区別されている。

図５は、画像処理装置５００の他の実施形態のブロック図である。装置５００は、画像入力インターフェイス４０２、マーカー入力インターフェイス４０４、マーカー位置改良ユニット４０６、及びフィルタユニット５０２を含み、フィルタユニット５０２は、初期画像を表す、２次元ピクセルグリッド内のピクセルに割り当てられる初期ピクセル値を受け取り、所定の変換規則を用いて初期ピクセル値を変換し、変換された初期ピクセル値を入力ピクセル値として画像入力インターフェイスに提供するように構成される。所定の変換規則の例は、限定されないが、血管度（ｖｅｓｓｅｌｎｅｓｓ）フィルタなどの線形画像特徴を強調するためのフィルタである。このような血管度フィルタの周知例は、Ｆｒａｎｇｉのフィルタである。Ｆｒａｎｇｉのフィルタによる変換は、血管度値を決定するために、各ピクセルついて、ヘッセ行列の二次導関数及び固有値の計算を行うことを含む。その後、これらの血管度値は、線形構造に対応するピクセルを決定するために使用される。他の実施形態は、大きい血管度値を有し得るいくつかの背景物体の影響を締め付ける、よりバランスの良い分布を得るために、血管度フィルタを適用することによって得られた血管度値の等化を行うことをさらに含む変換規則を適用する。

図６は、画像入力インターフェイス４０２、マーカー入力インターフェイス４０４、マーカー位置改良ユニット４０６、及びフィルタユニット６０２を含む画像処理装置６００の別の実施形態のブロック図を示す。この実施形態では、フィルタユニット６０２はさらに、マーカー位置データを受け取り、受け取られたマーカー位置データに基づいて、初期画像の一部を形成する限定されたフィルタリング領域を決定し、フィルタリング領域のみの初期ピクセル値を変換するよう構成される。この実施形態では、マーカー位置データを受け取った後、初期画像の一部のみが処理される。これにより、計算がより簡単な実施形態が得られる。しかしながら、変換を開始するには、フィルタユニットはマーカー位置データを待たなければならない。好適な実施形態は、初期ピクセル値を受け取ると初期ピクセル値の変換を開始するフィルタユニットを含む。マーカー位置データを受け取ると、対応する限定されたフィルタリング領域が変換されているか否かをチェックし、そうでない場合、限定されたフィルタリング領域の変換を開始する。マーカー位置データに対する限定されたフィルタリング領域は、マーカー位置に基づいて決定されるサーチ領域に含まれるピクセルに対応するピクセル窓の一部を形成する全ピクセルを少なくとも含む。

図７は、本発明の一実施形態に係る、画像処理中の２座標ピクセルグリッド７００を示す。ピクセル７０２を示すマーカー位置データが、マーカー入力インターフェイスによって受け取られている。マーカー位置改良ユニットは、この実施形態ではピクセル７０２を中心位置として有さないサーチ領域７０４を決定する。計算領域のために使用されるピクセル窓は、この実施形態では５ピクセルの長さを有し、ピクセルグリッドの２つの座標方向のそれぞれに３つの５ピクセルシーケンスを含む。サーチ領域７０４内の例示的なピクセル７０６．ａについて、計算領域として領域７０８．ａが決定される。サーチ領域７０４内の第２の例示的なピクセル７０６．ｂについて、計算領域として領域７０８．ｂが決定される。一部の実施形態では、受け取られたマーカー位置データが選択可能な領域７１０の外側に位置するピクセルを示す場合、マーカー位置改良ユニットはマーカー位置データの位置を改良することができず、一部の実施形態では、好適にユーザに知らせる。

一部の実施形態では、マーカー位置改良ユニットは、マーカー位置データを改良されたマーカー位置データとともに出力するように構成され、これにより、ユーザが改良されたマーカー位置データの有効性を検証し、不満であれば変更することを可能にする。他の実施形態では、マーカー位置データと改良されたマーカー位置データは、両者の区別を容易にするために、マーカーの異なるグラフィカル表示（例えば、十字、円、星、四角、ドットなど）によって表される。

要約すると、画像処理装置は、２次元ピクセルグリッド内のピクセルに割り当てられる入力ピクセル値を受け取るように構成された画像入力インターフェイスと、前記ピクセルグリッド内のマーカーの位置を示すマーカー位置データを受け取るように構成されたマーカー入力インターフェイスと、前記ピクセルデータ及び前記マーカー位置データを用いて、最も高い対称性値、すなわち識別値（前記マーカー位置を含むサーチ領域内のピクセルの加重対称性値に基づき決定される）を有するターゲットピクセルを識別し、改良されたマーカー位置データを前記ターゲットピクセルの前記位置データとして決定するよう構成されたマーカー位置改良ユニットとを備える。

本発明は、図面及び上記において詳細に図示及び記載されているが、かかる図示及び記載は説明的又は例示的であり、非限定的であると考えられるべきである。本発明は、開示の実施形態に限定されない。開示の実施形態の他の変形例が、図面、開示、及び添付の特許請求の範囲から、クレームされる発明に係る当業者によって理解及び実施され得る。

特許請求の範囲において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は複数を除外しない。

単一のステップ又は他のユニットが、請求項に記載される複数のアイテムの機能を果たし得る。複数の手段が互いに異なる従属請求項に記載されているからといって、これらの手段の組み合わせが好適に使用することができないとは限らない。

特許請求の範囲内のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。

Claims (9)

1. ２次元ピクセルグリッド内のピクセルに割り当てられる入力ピクセル値を受け取る画像入力インターフェイスであって、前記入力ピクセル値は少なくとも１つの線形画像特徴を有する画像を表し、前記線形画像特徴は、前記線形画像特徴の内側のピクセルと、前記線形画像特徴の外側の隣接ピクセルとの間で入力ピクセル値コントラストを呈する、前記画像入力インターフェイスと、
   前記ピクセルグリッド内のマーカーの位置を示すマーカー位置データを受け取るマーカー入力インターフェイスであって、前記マーカーは、前記線形画像特徴上の位置を示すためのものである、前記マーカー入力インターフェイスと、
   ピクセルデータ及び前記マーカー位置データを用いて、前記２次元ピクセルグリッドに関して改良されたマーカー位置を示す改良された前記マーカー位置データを決定するマーカー位置改良ユニットとを備え、
   前記マーカー位置改良ユニットはさらに、
   前記マーカー位置データを用いて、前記マーカー位置を含む所定の画像領域をカバーするサーチ領域を決定し、
   前記サーチ領域内の各ピクセル、すなわち計算対象ピクセルについて、少なくとも２つのピクセル窓によって形成される隣接計算領域を決定し、前記ピクセル窓は、少なくとも２つの異なるピクセルラインに沿って、前記ピクセル窓のそれぞれの端部ピクセルまで延在し、前記ピクセル窓は前記計算対象ピクセルをそれぞれのピクセル窓の中心ピクセルとして含み、
   各ピクセル窓について、前記計算対象ピクセルを通過し、ピクセルラインに沿って前記ピクセル窓が延在する当該ピクセルラインと直交するラインに関する、前記入力ピクセル値のローカルミラー対称性グレードを示す対称性指標のそれぞれの値を決定し、
   各ピクセル窓について、前記ピクセル窓について決定された前記対称性指標の値と、前記中心ピクセルの入力ピクセル値と前記ピクセル窓の各端部ピクセルの入力ピクセル値との間のコントラスト差量の増加に伴い大きさが増加するよう定められた対称性重み付け係数とを用いて、それぞれの加重対称性値を決定し、
   各ピクセルについて、それぞれのピクセルについて決定された前記加重対称性値に基づいてそれぞれの対称性値を決定し、ピクセルに対して最も高い対称性値が決定された当該ピクセルを決定することによって、前記サーチ領域内のピクセルの中からターゲットピクセルを識別し、前記改良されたマーカー位置データを、前記ターゲットピクセルの前記位置データとして決定する、画像処理装置。
2. 前記マ―カー位置改良ユニットはさらに、それぞれのピクセルについて決定された前記加重対称性値に基づいて決定された対称性値が所定の閾値制約を満たす場合にのみ、前記改良されたマーカー位置データを出力する、請求項１に記載の画像処理装置。
3. 前記マーカー位置改良ユニットはさらに、複数のターゲットピクセルが識別された場合、前記ターゲットピクセルと受け取られた前記マーカー位置データとの間の距離指標の値を求め、前記改良されたマーカー位置データを、最も小さい距離指標を有する前記ターゲットピクセルの位置データとして決定する、請求項１に記載の画像処理装置。
4. 前記マーカー位置改良ユニットは、少なくとも２つの前記ピクセル窓を、前記２次元ピクセルグリッド内で互いに直交する方向に延びるピクセル窓として決定する、請求項１に記載の画像処理装置。
5. 初期画像を表す、前記２次元ピクセルグリッド内のピクセルに割り当てられる初期ピクセル値を受け取り、所定の変換規則を用いて前記初期ピクセル値を変換し、変換された初期ピクセル値を前記入力ピクセル値として画像入力インターフェイスに提供する、フィルタユニットをさらに備える、請求項１に記載の画像処理装置。
6. 前記フィルタユニットは、前記マーカー位置データを受け取り、受け取られた前記マーカー位置データに基づいて、前記初期画像の一部を形成する限定されたフィルタリング領域を決定し、前記フィルタリング領域の初期ピクセル値のみを変換する、請求項５に記載の画像処理装置。
7. 請求項１に記載の画像処理装置と、前記画像処理装置に接続され、画像を表すピクセルを２次元ピクセルグリッド内で表示し、前記画像処理装置から受け取られた改良されたマーカー位置データによって定められる前記２次元ピクセルグリッド内の位置に少なくとも１つのマーカーを表示する表示ユニットとを含む、画像ディスプレイ装置。
8. 画像データを処理するための方法であって、前記方法は、
   ２次元ピクセルグリッド内のピクセルに割り当てられる入力ピクセル値を受け取るステップであって、前記入力ピクセル値は少なくとも１つの線形画像特徴を有する画像を表し、前記線形画像特徴は、前記線形画像特徴の内側のピクセルと、前記線形画像特徴の外側の隣接ピクセルとの間で入力ピクセル値コントラストを呈する、ステップと、
   前記ピクセルグリッド内のマーカーの位置を示すマーカー位置データを受け取るステップであって、前記マーカーは、前記線形画像特徴上の位置を示すためのものである、ステップと、
   ピクセルデータ及び前記マーカー位置データを用いて、前記２次元ピクセルグリッドに関して改良されたマーカー位置を示す前記改良されたマーカー位置データを決定するステップとを含み、
   前記改良されたマーカー位置を決定するステップはさらに、
   前記マーカー位置データを用いて、前記マーカー位置を含む所定の画像領域をカバーするサーチ領域を決定するステップと、
   前記サーチ領域内の各ピクセル、すなわち計算対象ピクセルについて、少なくとも２つのピクセル窓によって形成される隣接計算領域を決定するステップであって、前記ピクセル窓は、少なくとも２つの異なるピクセルラインに沿って、前記ピクセル窓のそれぞれの端部ピクセルまで延在し、前記ピクセル窓は前記計算対象ピクセルをそれぞれのピクセル窓の中心ピクセルとして含む、ステップと、
   各ピクセル窓について、前記計算対象ピクセルを通過し、ピクセルラインに沿って前記ピクセル窓が延在する当該ピクセルラインと直交するラインに関する、前記入力ピクセル値のローカルミラー対称性グレードを示す対称性指標のそれぞれの値を決定するステップと、
   各ピクセル窓について、前記ピクセル窓について決定された前記対称性指標の値と、前記中心ピクセルの入力ピクセル値と前記ピクセル窓の各端部ピクセルの入力ピクセル値との間のコントラスト差量の増加に伴い大きさが増加するよう定められた対称性重み付け係数とを用いて、それぞれの加重対称性値を決定するステップと、
   各ピクセルについて、それぞれのピクセルについて決定された前記加重対称性値に基づいてそれぞれの対称性値を決定し、ピクセルに対して最も高い対称性値が決定された当該ピクセルを決定することによって、前記サーチ領域内のピクセルの中からターゲットピクセルを識別するステップと、
   前記改良されたマーカー位置データを、前記ターゲットピクセルの前記位置データとして決定するステップとを含む、方法。
9. コンピュータのプロセッサによって実行されると、画像データを処理するための請求項８に記載の方法を実行するための実行可能コードを含む、コンピュータプログラム。
   
   

Images