JP6133906B2

JP6133906B2 - ポインタ動きを処理するためのシステムおよび方法

Info

Publication number: JP6133906B2
Application number: JP2014558226A
Authority: JP
Inventors: ビストロフ，ダニエル; ヴィームケ，ラファエル
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2012-02-24
Filing date: 2013-01-28
Publication date: 2017-05-24
Anticipated expiration: 2033-01-28
Also published as: BR112014020960A2; BR112014020960B1; US9542012B2; WO2013124751A1; CN104145237B; CN104145237A; EP2817695B1; US20150035753A1; JP2015509628A; EP2817695A1

Description

本発明は、ポインティングデバイスによって与えられるポインタ動きのリアルタイム処理のためのシステムおよび方法に関する。本発明はさらに、前記システムを有するワークステーションおよび撮像装置ならびに前記方法をプロセッサ・システムに実行させる命令を含んでいるコンピュータ・プログラム・プロダクトに関する。

コンピュータ・マウス、タッチスクリーン、スタイラスなどといったポインティングデバイスは、ユーザーがコンピュータ、タブレットなどといった装置と対話できるようにする。前記対話は、グラフィカル・ユーザー・インターフェースの使用に関わってもよい。ここで、ポインタまたはカーソルがしかるべく位置されおよび／または動かされることによってポインティングデバイスの位置または動きが画面上に表現される。このようにして、装置と対話する直観的な方法が与えられる。

ユーザーが画面上に表示されるポインタを使って画像の処理を実行するようポインティングデバイスを操作できるようにするシステムおよび方法が知られている。たとえば、ユーザーは、ポインティングデバイスをしかるべく動かすことによって画像中に直線または曲線を描いてもよい。

特に、医療画像における境界の描画を容易にすることが知られている。非特許文献１は、最小限のユーザー入力を要求しつつ精確な境界抽出を許容すると言われるツールを記述している。ユーザーがマウスを、手動で指定されたシード点から始まって動かすにつれて、対話レートで最適な境界が計算され、選択される。マウス位置がオブジェクト・エッジの近傍にくると、「ライブ・ワイヤ」境界が関心オブジェクトにスナップしてそれに巻き付く。シード点配置を容易にするために、ユーザーが指定した近傍内で最大の勾配大きさピクセル（maximum gradient magnitude pixel）にマウス・ポインタを強制するカーソル・スナップが利用可能であることを注意しておく。

上記のツールの問題は、画像中の位置を確立するために画像中の特定のピクセルにマウス・ポインタをスナップさせることがユーザーにとって不便であるということである。

W.A. Barrett et al.、"Interactive Live-Wire Boundary Extraction"、Medical Image Analysis、1(4):331-341,1997

ユーザーがポインティングデバイスを使って画像中の位置をより便利に確立できるようにするシステムまたは方法をもつことが有利であろう。

この懸念によりよく対処するために、本発明の第一の側面は、ポインティングデバイスによって与えられるポインタ動きのリアルタイム処理のためのシステムを提供する。本システムは：
・輪郭を有する画像中の第一の位置にポインタを表示するための出力と；
・ユーザーが操作できるポインティングデバイスからポインタ動きデータを取得するためのユーザー入力であって、前記ポインタ動きデータは前記第一の位置から前記画像中の第二の位置への前記ポインタのポインタ動きを示す、ユーザー入力と；
・（ｉ）前記輪郭に直交する方向に沿った前記ポインタ動きを減らすことによって前記ポインタ動きを減衰させ、（ｉｉ）前記減衰されたポインタ動きに基づいて前記ポインタの第三の位置を確立するプロセッサとを有する。

本発明のあるさらなる側面では、前記システムを有するワークステーションおよび撮像装置が提供される。

本発明のあるさらなる側面では、ポインティングデバイスによって与えられるポインタ動きのリアルタイム処理のための方法が提供される。本方法は：
・輪郭を有する画像中の第一の位置にポインタを表示する段階と；
・ユーザーが操作できるポインティングデバイスからポインタ動きデータを取得する段階であって、前記ポインタ動きデータは前記第一の位置から前記画像中の第二の位置への前記ポインタのポインタ動きを示す、段階と；
・前記輪郭に直交する方向に沿った前記ポインタ動きを減らすことによって前記ポインタ動きを減衰させる段階と；
・前記減衰されたポインタ動きに基づいて前記ポインタの第三の位置を確立する段階とを含む。

本発明のあるさらなる側面では、前記方法をプロセッサ・システムに実行させるための命令を含むコンピュータ・プログラム・プロダクトが提供される。

上記の施策は、ポインティングデバイスによって提供されるポインタ動きのリアルタイム処理を提供する。ここで、リアルタイムとは、ユーザーがポインティングデバイスを操作する間に、すなわちいわゆる対話レート（interactive rates）で、ポインタ動きが処理されることをいう。本システムは、たとえばポインタを画像に重ねることによって、画像中の第一の位置にポインタを表示することを可能にするディスプレイまたはディスプレイ出力のような出力を有する。ポインタは、カーソルとも普通に呼ばれる、矢印または十字線のような図的な指標である。結果として、ポインタは、画像を画面上で見ているときに、ユーザーに見える。ポインタの第一の位置は、ポインティングデバイスの物理的な位置または第一の時点におけるポインティングデバイスに対するユーザーの物理的な位置、たとえばタッチスクリーンの表面に対するユーザーの指の位置を反映していてもよい。

本システムはさらに、ユーザーがポインティングデバイスを操作するときにポインティングデバイスからポインタ動きデータを取得するユーザー入力を有する。ポインタ動きデータは、前記第一の位置から前記画像中の第二の位置へのポインタの動きを示し、それによりシステムが第二の位置を確立することを許容する。ポインタ動きは、ポインティングデバイスの、またはポインティングデバイスに対するユーザーの物理的な動きを、たとえばタッチスクリーン上のユーザーの指の動きを反映していてもよい。

画像は輪郭を含む。輪郭は、ピクセルまたはボクセルのような画像の要素によって形成される。輪郭は、エッジ、すなわち二つのオブジェクトの間のまたはオブジェクトとその背景との間の明瞭な境界であってもよい。輪郭はまた、同じまたは同様の値をもつピクセルまたはボクセルによって形成されてもよい。たとえばあるテクスチャー領域内のまたは画像勾配に沿った線である。たとえば、概念上、地形の地図におけるある等高線と同様のものである。輪郭は開いた輪郭であってもよい、すなわち接続されていない始点および終点を有していてもよいことを注意しておく。また、閉じた輪郭であってもよい、すなわち自身とつながった輪郭であってもよい。

本システムはさらに、画像中の輪郭の配向または方向に垂直な方向のポインタ動きを減らすプロセッサを有する。よって、ポインタ動きの、輪郭に向かうおよび／または輪郭から離れる方向に向けられた成分が小さくされる。結果として、減衰されたポインタ動きが得られ、これがポインタの第三の位置を確立するために使われる。したがって、第三の位置は、第一の位置からのポインタの減衰された動きに対応する。結果として、第三の位置は典型的には第二の位置とは異なる。

上記の施策は、ユーザーによって与えられるポインタの動きが輪郭に向かうおよび／または輪郭から離れる方向で減らされる効果をもつ。よって、輪郭の配向に基づいてポインタ動きが減衰させられる。したがって、ポインタ動きは普通なら輪郭により近いおよび／または輪郭からより遠い第二の位置につながるところ、ポインタ動きが減衰させられるため、輪郭にそれほど近くないおよび／または輪郭からそれほど遠くない第三の位置が確立される。

本発明は、部分的には、ポインティングデバイスを使って画像中の輪郭に追随するまたは所与の距離で輪郭に追随することがユーザーにとって一般には難しいという認識に基づいている。輪郭に追随するまたは所与の距離で、すなわち輪郭と平行に輪郭に追随することは、以下では共通して輪郭に追随すると称される。そのような輪郭の追随は、オブジェクトのまわりに線を引くとき、輪郭に沿って特徴を指摘するとき、ポインタの位置に基づくズームイン・ビューを見ることによって輪郭を視覚的に検査するとき、などにきわめて重要でありうる。したがって、ポインタを画像中の輪郭に沿った第二の位置に向けて動かすとき、ユーザーはしばしばポインタを、輪郭からさらに離れた、または輪郭により近い第二の位置に動かすことがありうる。不都合なことに、ポインタを使って精確に輪郭をたどるにはかなりの集中力が必要とされる。また不都合なことに、ユーザーは第二の位置を確立することにおいて誤りを犯す。発明者はまた、輪郭に追随するようポインタ動きを制約することは望ましくないことを認識するに至った。その理由は、ユーザーは常に輪郭に追随する必要はないことがあるということである。さらに、減衰させることがシステムによる輪郭の検出に基づく場合、そのような検出が間違っていることがあり、間違って検出された輪郭に追随する結果となることがある。

輪郭の方向に垂直な方向のポインタの動きを減衰させることによって、第二の位置よりも輪郭によく追随する第三の位置が確立される。しかしながら、同時に、ユーザーは、輪郭に追随することに制約されない。ユーザーは、より多くの努力を用いて、たとえばポインティングデバイスのより多くのまたはより長い動きを必要としてではあるが、輪郭に向かってまたは輪郭から離れる方向に動くことができる。有利なことに、輪郭に精確に追随するために必要とされる集中力は少なくなる。また有利なことに、ユーザーは、画像中の輪郭に追随する第三の位置をより便利に確立しうる。

任意的に、ポインタを画像中の第三の位置に表示するよう出力が構成される。したがって、ユーザーは、ポインタの減衰された動きを示される。有利なことに、ユーザーは、ポインタが画像中の輪郭に追随するときに、ポインタを安定化された、すなわちより安定したものとして知覚する。追加的または代替的に、ユーザーは、ポインタが輪郭から逸脱するときよりも、ポインタが輪郭に追随するときにポインタの感度がより高いよう知覚する。したがって、ユーザーは、ポインタを用いてより便利に輪郭に追随しうる。

任意的に、プロセッサは、第一の位置および第三の位置に基づいて画像を処理するよう構成される。よって、画像は、減衰されたポインタ動きに従って処理される。したがって、ポインタ動きに基づく画像処理は、ポインタ動きの減衰から裨益する。

任意的に、画像の処理は、第一の位置と第三の位置との間で画像中に線を描くことを含む。こうして、第一の位置と第三の位置との間に引かれた線が得られる。したがって、第一の位置と第二の位置との間に引かれた線に比べ、線は、よりよく輪郭に追随する。有利なことに、ユーザーは、輪郭に追随する線をより精確に描くことができる。有利なことに、ユーザーは、減衰されたポインタ動きなしで可能であろうよりも、曲がりくねっていない線を引くことができる。

任意的に、プロセッサは、第一の位置における画像データと、第二の位置から輪郭に垂直な方向に沿って位置するさらなる画像データとの間の類似性特徴を最大化することによって第三の位置を確立するよう構成されている。第一の位置における前記画像データと、第二の位置においておよび輪郭に直交する方向に沿って位置するさらなる画像データとの間の類似性特徴を最大化することによって、さらなる画像データが第一の位置における前記画像データに最も似る、輪郭のほうのまたは輪郭から離れた点において、第三の点が確立される。よって、第二の点から始まって複数の位置において、前記画像データがそれらの位置におけるさらなる画像データと比較され、それらの位置のうち、さらなる画像データが類似性特徴を最大化する位置が選択される。前記の諸施策は、暗黙的に輪郭をたどることを提供する。第一の位置における画像データが画像勾配の一部を示すとき、画像勾配の同様の部分を示す第三の位置が確立されるからである。同様に、第一の位置における画像データが所与の距離におけるエッジの一部を示すとき、同様の距離におけるエッジの同様の部分を示す第三の位置が確立される。ここで、画像データは所与の位置における、可能性としては前記位置の近くのピクセルおよびボクセルを含めた、たとえば前記位置の近傍内のピクセルまたはボクセルを指すことを注意しておく。有利なことに、画像中の輪郭を明示的に検出する必要なしに輪郭に追随することができる。有利なことに、画像中の輪郭を誤って検出することにまつわる誤りが回避される。

任意的に、プロセッサは、第一の位置の近傍内で前記画像中の前記輪郭を決定するよう構成されている。よって、プロセッサは、たとえば前記画像内のオブジェクト・エッジを検出するまたは輪郭データを受領することによって、前記画像中の前記輪郭を明示的に確立する。プロセッサは、第一の位置の近傍内の輪郭を決定する。したがって、輪郭は、ポインタの第一の位置からある限られた距離に位置される。

任意的に、プロセッサは、輪郭に直交する方向のポインタ動きが輪郭に向かう向きか輪郭から離れる向きかに基づいてポインタ動きを減衰させるよう構成されている。このように、輪郭に向かう向きと輪郭から離れる向きとでは、減衰が異なる、すなわちポインタ動きが異なる仕方で縮小される。

任意的に、前記ポインタ動きが輪郭から離れる向きであるとき、プロセッサは、前記ポインタ動きが輪郭に向かう向きであるときよりも、前記ポインタ動きを大きく縮小するよう構成されている。したがって、輪郭から離れる向きよりも輪郭に向かう向きで、輪郭への追随から逸脱するほうが容易である。ポインタを輪郭に向けて動かすことは、典型的には輪郭への追随を改善する。ポインタを輪郭から離れるほうに動かすことは、輪郭への追随を悪化させる。有利には、ユーザーは、輪郭に沿っておよび輪郭のほうにポインタを動かすことは容易にできるが、輪郭から離れるほうに動かすことは容易ではない。

任意的に、プロセッサは、ポインタ動きを示すベクトルを、輪郭に平行な方向および輪郭に直交する方向において分解し、それにより輪郭に直交する方向に沿った前記ベクトルの成分の大きさを小さくすることによって、ポインタ動きを減衰させるよう構成されている。ベクトル分解は、輪郭に直交する方向に沿ったポインタ動きの部分を確立するために好適である。

任意的に、プロセッサは、（ｉ）輪郭に基づいて勾配を決定し、（ｉｉ）勾配に基づいて直交勾配を決定し、該直交勾配は前記勾配に直交し、（ｉｉｉ）前記勾配に沿った前記ベクトルの成分を小さくするために、前記勾配および前記直交勾配に沿って前記ベクトルを分解するよう構成されている。勾配の使用は、輪郭に直交する方向を得るために好適である。勾配は典型的には、輪郭方向に直交する方向を向くからである。

任意的に、前記出力は、前記ユーザーが前記減衰の調整を与えることができるようにするユーザー・インターフェースを表示するよう構成されており、プロセッサは、前記調整に基づいて前記減衰を実行するよう構成されている。

任意的に、前記画像は、関連付けられた解剖学的データを有する医療画像であり、プロセッサは、さらに前記解剖学的データに基づいてポインタ動きを減衰させるよう構成されている。このように、解剖学的データは、ポインタ動きの減衰をさらに制御するために使われる。有利なことに、解剖学的データはたとえば、近くの輪郭、輪郭の方向、減衰が必要とされるかどうか、減衰がどのくらい強いか、などを指示してもよい。

任意的に、プロセッサは、（ｉ）第一の位置の近傍内で複数のエッジを検出し、（ｉｉ）前記複数の位置および前記第一の位置に基づいて距離マップを計算し、（ｉｉｉ）前記距離マップに基づいて前記第一の位置における前記勾配を取得することによって、前記勾配を決定するよう構成されている。

当業者は、本発明の上述した実施形態、実装および／または側面の二つ以上が有用と見なされる任意の仕方で組み合わされてもよいことを理解するであろう。

上記システムの記載される修正および変形に対応する撮像装置、ワークステーション、方法および／またはコンピュータ・プログラム・プロダクトの修正および変形が、本記述に基づいて、当業者によって実行できる。

当業者は、上記方法が多次元画像データ、たとえば二次元（2D）、三次元（3D）または四次元（4D）画像に適用されてもよいことを理解するであろう。多次元画像データのある次元は時間に関係していてもよい。たとえば、三次元画像が、二次元画像の時間領域系列を有していてもよい。画像は、標準的なX線撮像、計算機断層撮影（CT）、磁気共鳴撮像（MRI）、超音波（US）、陽電子放出断層撮影（PET）、単一光子放出計算機断層撮像および核医学（NM）を含むがこれに限られないさまざまな取得モダリティによって取得される医療画像であってもよい。しかしながら、画像は他のいかなる型のものであってもよく、たとえばユーザーが注釈付けすることを望む地図画像または地震画像であってもよい。

本発明は、独立請求項において定義される。有利な実施形態は従属請求項において定義される。

本発明のこれらおよびその他の側面は、以下に記載される実施形態から明白となり、それを参照することで明快にされるであろう。
本発明に基づくシステムおよびディスプレイを示す図である。本発明に基づく方法を示す図である。本発明に基づくコンピュータ・プログラム・プロダクトを示す図である。画像中の輪郭の近くのポインタを示し、第一の位置から第二の位置へのポインタ動きが概略的に示されている図である。輪郭に沿った方向および輪郭に直交する方向におけるポインタ動きの分解を示す図である。輪郭の勾配に基づく分解を示す図である。減衰されたポインタ動きと、該減衰されたポインタ動きに基づくポインタの第三の位置とを示す図である。減衰されたポインタ動きに基づいて表示されるポインタを示す図である。減衰されたポインタ動きに基づいて描かれる輪郭を示す図である。画像中の輪郭の近くのポインタを再び示す図である。類似性指標を最大にすることに基づく減衰の例を示す図である。

図１は、ポインティングデバイス１４０によって与えられるポインタ動きのリアルタイム処理のためのシステム１００を示している。システム１００は、画像１５２中の第一の位置にポインタ１６２を表示するための出力１３０を有する。その目的のために、出力１３０はディスプレイ１５０に接続されるよう示されている。ディスプレイ１５０は、システム１００の一部であってもよいが、それは必須ではない。出力１３０は、画像１５２中のポインタ１６２の前記表示のためにディスプレイ１５０にディスプレイ・データ１３２を与えるよう示されている。システム１００はさらに、ユーザーが操作できるポインティングデバイス１４０からポインタ動きデータ１１２を取得するためのユーザー入力１１０を有する。ポインタ動きデータ１１２は第一の位置から画像１５２中の第二の位置へのポインタ１６２のポインタ動きを示す。ポインティングデバイス１４０は、コンピュータ・マウスであるよう示されているが、タッチスクリーン、視線追跡器、スタイラスなどといった他のいかなる型のポインティングデバイス１４０も有利に使用されうることは理解されるであろう。

システム１００はプロセッサ１２０を有する。プロセッサ１２０は、ユーザー入力１１０からポインタ動きデータ１１２を受領するためにユーザー入力１１０に接続されているように示されている。さらに、プロセッサ１２０は、出力データ１２２を出力１３０に与えるよう出力１３０に接続されているように示されている。出力データ１２２は、表示データ１３２に等しくてもよいが、そうである必要はない。出力データ１２２は、少なくとも、ポインタの位置を示す。プロセッサ１２０は、（ｉ）画像中の輪郭１６０に直交する方向に沿ったポインタ動きを減らすことによって前記ポインタ動きを減衰させ、（ｉｉ）前記減衰されたポインタ動きに基づいてポインタ１６２の第三の位置を確立するよう構成されている。

図２は、ポインティングデバイスによって与えられるポインタ動きのリアルタイム処理のための方法２００を示している。方法２００は、「ポインタを第一の位置に表示」と題する第一のステップにおいて、輪郭を有する画像中の第一の位置にポインタを表示する（２１０）ことを含む。方法２００はさらに、「ポインタ動きデータを取得」と題する第二のステップにおいて、ユーザーが操作できるポインティングデバイスからポインタ動きデータを取得する（２２０）ことを含み、ポインタ動きデータは第一の位置から前記画像中の第二の位置へのポインタのポインタ動きを示す。方法２００はさらに、「輪郭に基づいてポインタ動きを減衰」と題する第三のステップでは、輪郭に直交する方向に沿ったポインタ動きを減らすことによってポインタ動きを減衰させる（２３０）ことを含む。方法２００はさらに、「減衰動きに基づいて第三の位置を確立」と題する第四のステップにおいて、前記減衰されたポインタ動きに基づいてポインタの第三の位置を確立する（２４０）ことを含む。方法２００は、システム１００の動作に対応していてもよく、システム１００を参照してさらに説明される。しかしながら、前記システムと分離して方法が実行されてもよいことは理解されるであろう。

図３は、本発明に基づく方法をプロセッサ・システムに実行させるための命令を含むコンピュータ・プログラム・プロダクト２６０を示している。コンピュータ・プログラム・プロダクト２６０は、コンピュータ可読媒体２５０上に、たとえば機械可読な物理的なマークの系列および／または異なる電気的、たとえば磁気的または光学的属性または値をもつ要素の系列の形で含まれていてもよい。

図４およびさらなる図面は、説明のために、画像１５２の拡大図に基づいてシステム１００の動作を例解する。ここで、ポインタ１６２が画像１５２中に表示される。ポインタ１６２は矢印として示されているが、十字線または他の任意の好適なグラフィック表現であることも等しく可能である。ポインタ１６２は、第一の位置p₁に位置されているように示されている。すなわち、矢印の先端が第一の位置p₁に位置している。第一の位置p₁から離れて第二の位置p₂に導くポインタ１６２のポインタ動きvに対応する第二の位置p₂も示されている。ポインタ動きvは図４では概略的に破線によって示されている。ポインタ動きvは、ベクトルvをなしてもよい、またはベクトルvと解釈されてもよい。画像１５２はさらに、輪郭１６０を示している。輪郭１６０はオブジェクト・エッジ、すなわちオブジェクトと背景との間のエッジであってもよい。しかしながら、輪郭１６０はテクスチャー・エッジまたは画像勾配に沿った線であることも等しく可能である。

システム１００の動作の一部として、輪郭１６０はシステムによって、第一の位置p₁の近傍１６６内であるよう決定されてもよい。輪郭１６０の決定は、近傍１６６または画像１５２全体内のエッジ検出を実行することを含んでいてもよい。その目的のために、画像処理の分野からのさまざまな技法が有利に使用されうる。代替的または追加的に、輪郭１６０を決定することは、輪郭６０を示す輪郭データを取得することを含んでいてもよい。輪郭データは、以前に実行された輪郭検出から得られてもよい。あるいはまた、たとえば輪郭１６０がベクトル・ベースの輪郭である場合、輪郭１６０は、システム内で輪郭データによって定義されてもよい。ここで、輪郭１６０は、輪郭データから、たとえば始点、中間点および終点の座標から、直接決定されてもよい。輪郭１６０は、第一の位置p₁への最も近い輪郭、あるいはある強さをもつ最も近い輪郭であってもよい。

近傍１６６は、長方形の近傍として示されているが、他のいかなる好適な形も等しく使用されうる。さらに、近傍１６６は、たとえば幅または高さによって定義される、明示的に定義された近傍であってもよく、あるいは暗黙的に定義された近傍であって、たとえば前記エッジ検出または探索アルゴリズムが画像１５２中で第一の位置p₁からある距離に制限されていることの結果であってもよい。後者の場合、エッジ検出は画像１５２全体に対して実行され、次いでエッジ選択アルゴリズムがエッジ検出に基づいて第一の位置p₁に最も近い輪郭１６０を選択してもよい。

図５は、ポインタ動きvが、輪郭１６０に追随する、すなわち輪郭１６０と平行に走る方向１７０および輪郭１６０に直交する方向１７２において分解された結果を示している。ここで、前記方向１７０、１７２が、ベクトルvをなすポインタ動きに対応する長さをもつ破線として示されており、ベクトルvの分解が上述した二方向のベクトル成分を与え、矢印の長さがベクトル成分の大きさを示すことを注意しておく。結果として、前記ベクトル成分によって表わされる個々のベクトルの和がポインタ動きvを与える。図５は、主として輪郭１６０に追随し、より少ない度合いで輪郭１６０から離れるポインタ動きvを示している。このことは、図５で、線１７０が線１７２の二倍以上の長さであることに示される。

図６は、線１７０および１７２がベクトル分解の結果によって参照されることのほかは、図５と一致する。ベクトル分解は次のようなものであってもよい。第一の位置p₁において勾配gが決定される。勾配は、画像中の最大変化の方向を向くベクトルである。方向は、最大のピクセル変化、すなわち空間的に隣接するピクセルのルミナンスおよび／またはクロミナンス値における最大の変化の方向であってもよい。結果として、輪郭１６０上のある位置における勾配は、典型的には、輪郭に直交な方向において輪郭１６０から離れる方向を向くことになる。第一の位置p₁における勾配gも典型的には、p₁か輪郭１６０の近くに位置しているおかげにより、輪郭に直交する方向を向く。勾配gに基づいて、直交勾配g₀が決定される。すると、ベクトルvをなすポインタ動きは、勾配gおよび直交勾配g₀によって形成される基底において表現されてもよい。その結果、v＝a・g＋b・g₀であり、値aおよびbは前記基底におけるベクトルvのベクトル成分に対応する。上記のベクトル分解は、線形代数の分野からのいかなる既知の技法を使って計算されてもよいことは理解されるであろう。結果として、値aは輪郭から離れるポインタ動きの大きさを示し、値bは輪郭に追随するポインタ動きの大きさを示す。図６は、結果として得られるベクトルa・gおよびb・g₀を示している。これらは、足し合わせればベクトルv、すなわちポインタ動きvに対応する。

第一の位置p₁における勾配gを得るために、近傍１６６について勾配場が計算されてもよい。勾配場の計算は、たとえば前記近傍１６６についてエッジ検出を実行することによって、近傍１６６内の複数のエッジを検出することを含んでいてもよい。次いで、前記複数のエッジおよび第一の位置p₁に基づいて距離マップが計算されてもよい。距離マップは、前記複数のエッジのそれぞれと第一の位置p₁との間の距離を示す。最後に、距離マップにおいて第一の位置p₁において前記勾配を計算することによって、勾配gが得られてもよい。距離マップに基づいて勾配を計算するためには、画像処理および線形代数の分野からのさまざまな技法が有利に使用されてもよいことを注意しておく。一般に、勾配gの計算は、上述した画像処理の分野から知られているソーベル演算子のような離散微分演算子の使用を含んでいてもよい。さらに、距離マップは事前計算されてもよく、それによりユーザーが画像中でポインタを動かす間にエッジを検出してそれに基づいて距離マップを計算する必要性が回避される。

図７は、輪郭１６０に直交する方向に沿ったポインタ動きを小さくすることによってポインタ動きを減衰させた結果を示している。ここで、ベクトルvのベクトル成分aは減衰因子fによって減衰させられる。一方、ベクトルbのベクトル成分bは減衰させられない。結果として、減衰された（dampened）ポインタ動きに対応して、ベクトルv_d＝f・a・g＋b・g₀が得られる。減衰因子fは1より小さく、その結果、輪郭１６０に直交する方向に沿ったポインタ動きが小さくされる。図７の例では、減衰因子fは、約0.5となるよう選ばれている。よって、輪郭１６０に直交する方向に沿ったポインタ動きは、約2の因子だけ小さくされる。図７は、前記減衰されたポインタ動きv_dに基づいて確立される第三の位置p₃を示している。第三の位置p₃は、第三の位置p₃に導く、第一の位置p₁から離れるポインタ１６２の減衰されたポインタ動きv_dに対応する。第三の位置p₃は、第一の位置p₁にベクトルv_dを加えることによって確立されてもよい。ポインタ動きの減衰の結果として、第三の位置p₃は、第二の位置p₂よりも輪郭１６０の近くに位置する。

図７はさらに、ユーザーが減衰を調整できるようにするためのユーザー・インターフェース１８０を示している。ユーザー・インターフェース１８０はたとえば、ユーザーが、数値スケール上でスライダーをスライドさせることによって減衰因子fを設定できるようにしてもよい。結果として、システム１００は、ユーザーの前記選択に従って、すなわち選択された減衰因子fに従って減衰を実行してもよい。多くの異なるユーザー・インターフェース１８０が有利に使用されうることを注意しておく。たとえば、ユーザー・インターフェース１８０はユーザーが、システム１００に関してたとえば「弱い」、「中くらい」または「強い」減衰を選択して、前記選択に対応する諸減衰パラメータ、たとえば減衰因子fを確立することができるようにする選択メニューを提供してもよい。

図８は、画像１５４における第三の位置p₃においてポインタ１６４が表示される結果を示している。説明のため、前の位置p₁におけるポインタ１６２が破線のアウトラインをもって示されており、ポインタ１６２がかつてはそこにあったことを示している。しかしながら、実際上は、第三の位置p₃におけるポインタ１６４がポインタ１６２の位置の更新に対応する。よって、ポインタ１６４は第三の位置p₃にのみ表示される。システム１００は、ポインティングデバイスからポインタ動きデータを連続的に、たとえばミリ秒ベースの間隔で、受け取り、ポインタ動きデータのそれぞれについて計算される減衰されたポインタ動きに基づいて画像１５４中のポインタ１６４の位置を連続的に更新するよう構成されていてもよい。したがって、ユーザーに示されるポインタ１６４の動きは、減衰されたポインタ動きに対応する。

さらに、画像は第一の位置p₁および第三の位置p₃に基づいて処理されてもよい。たとえば、画像セグメンテーションが実行されて、第一の位置p₁および第三の位置p₃が画像セグメンテーションの初期化を提供してもよい。図９は、画像１５６の処理が、第一の位置p₁と第三の位置p₃との間の画像１５６中の輪郭１６８を描くことを含む例を示している。ここでもまた、システム１００は、ポインティングデバイスからポインタ動きデータを連続的に、たとえばミリ秒ベースの間隔で、受け取り、ポインタ動きデータのそれぞれについて計算される減衰されたポインタ動きに基づいて画像１５６中の輪郭１６８描くよう構成されていてもよい。ポインタ１６４の位置が、第三の位置p₃に基づいて画像処理が実行されるのと一緒に更新されてもよいことを注意しておく。あるいはまた、画像処理だけが、すなわち第三の位置p₃にポインタ１６４を表示することなく、実行されてもよい。これは、たとえば減衰が画像処理のために必要とされるだけであるとき、あるいは画像処理中にポインタを表示しないことが望ましいときに、望ましいことがありうる。たとえば、輪郭を描くとき、ポインタは示されなくてもよい。描かれている際の輪郭の終点が事実上ポインタのはたらきをしうるからである。

図１０および図１１は、輪郭１６０がシステム１００によって明示的に決定されない、システム１００の動作を示している。この場合、プロセッサ１２０は、第一の位置p₁における画像データ１９０と、第二の位置p₂に始まり輪郭１６０に直交する方向１７２に沿って位置するさらなる画像データ１９２、１９４との間の類似性特徴を最大化することによって第三の位置p₃を確立するよう構成されていてもよい。類似性特徴としては、画像処理の分野からのさまざまな技法が有利に利用されうる。ある基本的な例は、第一の位置p₁を中心とするブロック１９０内のピクセルと、第二の位置p₂からの輪郭１６０に直交する方向１７２に沿ったブロック１９２、１９４内の対応するピクセルとの間の差分絶対値和（SAD: Sum of Absolute Differences）の計算である。たとえば、第一の位置p₁におけるブロック１９０と第二の位置p₂におけるブロックおよびさらに前記方向に沿った複数のブロックとの間で第一のSADが計算されてもよい。明確のため、図１１は、類似性特徴を最小化する、すなわち最低SADを与える第三の位置p₃におけるブロックを示しているのみである。よって、前記位置は、第三の位置p₃に確立される。SADの代わりにまたはSADに加えて、他の多くの技法が有利に使用されてもよいことは理解されるであろう。特に、類似性特徴は、画像データ中のエッジまたは輪郭を強調してもよい。また、類似性特徴は、第二の位置p₂からあまりに大きく逸脱することを避けるよう、距離に依存したペナルティを組み込んでもよい。代替的または追加的に、類似性特徴の最大化は、第二の位置p₂からの所与の距離または第二の位置p₂の近傍に制約されてもよい。距離依存のペナルティまたは所与の距離もしくは近傍への制限は、減衰因子を構成してもよい、すなわち、減衰の大きさを決定してもよく、よって、図７の記述において言及した先述した減衰因子fと同様の機能をもっていてもよい。

一般に、減衰は、一定の減衰因子またはユーザー選択可能な減衰因子に基づくことができる。代替的または追加的に、減衰は適応的であってもよい。たとえば、ポインタ動きの減衰は、輪郭に直交する方向のポインタ動きが輪郭に向かうか輪郭から離れるかに基づいていてもよい。したがって、ポインタ動きが輪郭から離れる向きであるとき、減衰はより強くてもよい。すなわち、前記ポインタ動きは、前記ポインタ動きが輪郭に向かうものであるときよりも、大きく低下させられてもよい。これは、ユーザーが直接かつより簡単に輪郭に追随すること、すなわちポインタを輪郭の上に動かすことを許容しうる。前記減衰は、逆にされてもよい。すなわち、減衰は、ポインタ動きが輪郭に向かうときにより強くてもよい。これは、ユーザーが輪郭に近づかないようにすることをより容易に許容しうる。画像が医療画像である場合、減衰は、医療画像に関連付けられた解剖学的データに基づいていてもよい。解剖学的データは、第一の位置p₁の解剖学的コンテキストに基づいて、減衰を、たとえば減衰因子fを決定してもよい。たとえば、輪郭が諸器官の輪郭をなすことがわかっている領域では、減衰は、輪郭がそれらの器官のテクスチャー・エッジをなすことがわかっている領域よりも、強くてもよい。結果として、ユーザーは、器官内ではポインタを自由に動かすことができ、減衰は器官境界周辺でのみ与えられる。同様に、減衰は、画像に関連付けられた一般的なメタデータ、すなわち解剖学的データでも医療画像でもないデータに基づいていてもよい。たとえば、画像中のオブジェクトの形状についての知識は、ユーザーが線、すなわち直線または曲線をオブジェクトのまわりに描いている間にポインタ動きを減衰させるために使用されてもよい。

本発明が医療領域において、たとえば放射線療法処置計画における危険のある器官または目標体積の対話的なセグメンテーション、腫瘍診断における腫瘍および器官描出、X線における骨描出などのために、有利に使用されうることは理解されるであろう。しかしながら、本発明は、画像処理ソフトウェア・パッケージを使った手動写真編集のような、非医療画像処理においても使用されうる。

本発明が、本発明を実施するよう適応されたコンピュータ・プログラム、特に担体上または担体中のコンピュータ・プログラムにも適用されることは理解されるであろう。プログラムはソース・コード、オブジェクト・コード、部分的にコンパイルされた形のようなソースとオブジェクト・コードの中間のコードの形で、または本発明に基づく方法の実装において使うのに好適な他の任意の形であってもよい。また、そのようなプログラムが多くの異なるアーキテクチャー上のデザインをもちうることも理解されるであろう。たとえば、本発明に基づく方法またはシステムの機能を実装するプログラム・コードは、一つまたは複数のサブルーチンに細分されてもよい。機能をこれらのサブルーチンの間で分配する多くの異なる方法が当業者には明白であろう。サブルーチンは、自己完結したプログラムをなすよう一つの実行可能ファイルにまとめて格納されてもよい。そのような実行可能ファイルは、コンピュータ実行可能命令、たとえばプロセッサ命令および／またはインタープリター命令（たとえばジャバ・インタープリター命令）を含んでいてもよい。あるいはまた、サブルーチンの一つまたは複数または全部が少なくとも一つの外部ライブラリ・ファイルに格納されて、静的にまたは動的に、たとえばランタイムにメイン・プログラムとリンクされてもよい。メイン・プログラムは、サブルーチンの少なくとも一つへの少なくとも一つの呼び出しを含む。サブルーチンは、互いに対する関数呼び出しをも含んでいてもよい。コンピュータ・プログラム・プロダクトに関係するある実施形態は、本稿に記載される方法の少なくとも一つの方法の各処理段階に対応するコンピュータ実行可能命令を含む。これらの命令はサブルーチンに細分されるおよび／または静的にまたは動的にリンクされうる一つまたは複数のファイルに格納されるのでもよい。コンピュータ・プログラム・プロダクトに関係するもう一つの実施形態は、本稿に記載されるシステムおよび／またはプロダクトの少なくとも一方の各手段に対応するコンピュータ実行可能命令を含む。これらの命令はサブルーチンに細分されるおよび／または静的にまたは動的にリンクされうる一つまたは複数のファイルに格納されるのでもよい。

コンピュータ・プログラムの担体は、そのプログラムを担持することのできる任意のエンティティまたはデバイスでありうる。たとえば、担体は、ROM、たとえばCD-ROMまたは半導体ROMまたは磁気記録媒体、たとえばハードディスクのような記憶媒体を含んでいてもよい。さらに、担体は、電気ケーブルもしくは光ケーブルによってまたは電波もしくは他の手段によって搬送されうる、電気信号または光信号のような伝送可能な担体であってもよい。プログラムがそのような信号において具現されるときは、担体はそのようなケーブルまたは他のデバイスもしくは手段によって構成されてもよい。あるいはまた、担体は、プログラムが埋め込まれる集積回路であってもよく、該集積回路が関連する方法を実行するよう、あるいはその実行において使用されるよう適応される。

上述した実施形態は本発明を限定するのではなく例解すること、当業者は付属の請求項の範囲から外れることなく多くの代替的な実施形態を設計できるであろうことを注意しておくべきである。請求項においては、括弧内に置かれた参照符号があったとしても、請求項を限定するものと解釈されるものではない。動詞「有する／含む」およびその活用形の使用は、請求項に述べられている以外の要素や段階の存在を排除するものではない。要素の単数形の表現はそのような要素の複数の存在を排除しない。本発明は、いくつかの相異なる要素を含むハードウェアによって、および好適にプログラムされたコンピュータによって実装されてもよい。いくつかの手段を列挙する装置請求項では、これらの手段のいくつかは同一のハードウェア項目によって具現されてもよい。ある種の施策が互いに異なる従属請求項において記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。

Claims

ポインティングデバイスによって与えられるポインタ動きのリアルタイム処理のためのシステムであって：
・輪郭を有する画像中の第一の位置にポインタを表示するための出力と；
・ユーザーが操作できるポインティングデバイスからポインタ動きデータを取得するためのユーザー入力であって、前記ポインタ動きデータは前記第一の位置から前記画像中の第二の位置への前記ポインタのポインタ動きを示す、ユーザー入力と；
・（ｉ）前記輪郭に直交する方向に沿って前記ポインタ動きを減らすことによって前記ポインタ動きを減衰させ、（ｉｉ）前記減衰されたポインタ動きに基づいて前記ポインタの第三の位置を確立するプロセッサとを有する、
システム。
前記出力が、前記ポインタを前記画像中の前記第三の位置に表示するよう構成されている、請求項１記載のシステム。
前記プロセッサが、前記第一の位置および前記第三の位置に基づいて前記画像を処理するよう構成されている、請求項１記載のシステム。
前記画像の処理が、前記第一の位置と前記第三の位置の間で前記画像中の線を描くことを含む、請求項３記載のシステム。
前記プロセッサが、前記第一の位置における画像データと、前記第二の位置から前記輪郭に直交する方向に沿って位置するさらなる画像データとの間の類似性特徴を最大化することによって前記第三の位置を確立するよう構成されている、請求項１記載のシステム。
前記プロセッサが、前記第一の位置の近傍内で前記画像中の前記輪郭を決定するよう構成されている、請求項１記載のシステム。
前記プロセッサが、前記輪郭に直交する方向の前記ポインタ動きが、前記輪郭に向かう向きであるか前記輪郭から離れる向きであるかに基づいて前記ポインタ動きを減衰させるよう構成されている、請求項６記載のシステム。
前記プロセッサが、前記ポインタ動きが前記輪郭から離れる向きであるときに、前記ポインタ動きが前記輪郭に向かう向きであるときよりも、前記ポインタ動きを大きく縮小するよう構成されている、請求項７記載のシステム。
前記プロセッサが、前記ポインタ動きを示すベクトルを、前記輪郭に平行な方向および前記輪郭に直交する方向において分解し、前記輪郭に直交する方向に沿った前記ベクトルの成分の大きさを小さくすることによって、前記ポインタ動きを減衰させるよう構成されている、請求項６記載のシステム。
前記プロセッサが、（ｉ）前記輪郭に基づいて勾配を決定し、（ｉｉ）前記勾配に基づいて、前記勾配に直交する直交勾配を決定し、（ｉｉｉ）前記勾配に沿った前記ベクトルの成分を小さくするために、前記勾配および前記直交勾配に沿って前記ベクトルを分解するよう構成されている、請求項９記載のシステム。
前記出力が、前記ユーザーが前記減衰の調整を与えることができるようにするユーザー・インターフェースを表示するよう構成されており、前記プロセッサは、前記調整に基づいて前記減衰を実行するよう構成されている、請求項１記載のシステム。
前記画像は、関連付けられた解剖学的データを有する医療画像であり、前記プロセッサは、さらに前記解剖学的データに基づいて前記ポインタ動きを減衰させるよう構成されている、請求項１記載のシステム。
請求項１記載のシステムを有するワークステーションまたは撮像装置。
ポインティングデバイスによって与えられるポインタ動きのリアルタイム処理のための方法であって：
・輪郭を有する画像中の第一の位置にポインタを表示する段階と；
・ユーザーが操作できるポインティングデバイスからポインタ動きデータを取得する段階であって、前記ポインタ動きデータは前記第一の位置から前記画像中の第二の位置への前記ポインタのポインタ動きを示す、段階と；
・前記輪郭に直交する方向に沿って前記ポインタ動きを減らすことによって前記ポインタ動きを減衰させる段階と；
・前記減衰されたポインタ動きに基づいて前記ポインタの第三の位置を確立する段階とを含む、
方法。
請求項１４記載の方法をプロセッサ・システムに実行させるための命令を含んでいるコンピュータ・プログラム。