JP6018216B2 - 対話型画像注釈付けのシステムおよび方法 - Google Patents

対話型画像注釈付けのシステムおよび方法 Download PDF

Info

Publication number
JP6018216B2
JP6018216B2 JP2014540582A JP2014540582A JP6018216B2 JP 6018216 B2 JP6018216 B2 JP 6018216B2 JP 2014540582 A JP2014540582 A JP 2014540582A JP 2014540582 A JP2014540582 A JP 2014540582A JP 6018216 B2 JP6018216 B2 JP 6018216B2
Authority
JP
Japan
Prior art keywords
image
marker
placement
user
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014540582A
Other languages
English (en)
Other versions
JP2015502601A (ja
Inventor
ビューロウ,トーマス
メーツ,キルステン
ベルクトールト,マルティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015502601A publication Critical patent/JP2015502601A/ja
Application granted granted Critical
Publication of JP6018216B2 publication Critical patent/JP6018216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03FPHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F9/00Registration or positioning of originals, masks, frames, photographic sheets or textured or patterned surfaces, e.g. automatically
    • G03F9/70Registration or positioning of originals, masks, frames, photographic sheets or textured or patterned surfaces, e.g. automatically for microlithography
    • G03F9/7069Alignment mark illumination, e.g. darkfield, dual focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03FPHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F9/00Registration or positioning of originals, masks, frames, photographic sheets or textured or patterned surfaces, e.g. automatically
    • G03F9/70Registration or positioning of originals, masks, frames, photographic sheets or textured or patterned surfaces, e.g. automatically for microlithography
    • G03F9/7088Alignment mark detection, e.g. TTR, TTL, off-axis detection, array detector, video detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20096Interactive definition of curve of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像の対話型(インタラクティブな)注釈付けを可能にするシステムおよび方法に関する。本発明は、上記システムを備えるワークステーションおよびイメージング装置と、プロセッサシステムに上記方法を実行させる命令を備えるコンピュータ・プログラム・プロダクトとにさらに関する。
画像注釈付けは、画像の特定エリアがテキスト、カラーオーバーレイなどを追加することによりマークされるプロセスのことを指す。詳しくは、これ以降、マーカーと呼ばれる曲線、線、シンボルなどのようなグラフィカル注釈が追加されることがある。手動で、たとえば、ペンまたは鉛筆を使用して画像に注釈付けすることが知られている。さらに、対話型方式で画像に注釈付けするためにシステムを使用することが知られている。このようなシステムでは、ユーザは、表示された画像上にマーカーを描画またはドラッグするためにマウスのようなユーザインターフェース機器を操作することがあり、それに応答して、システムは、表示された画像上にそれに従ってマーカーを描画または配置する。
国際公開第2008/052312号は、超音波画像のような医療用画像から前立腺を区分けすることについて記載する。ユーザが画像上に自動的に描画される初期点を選択する手動初期化が初期外形を取得するために使用される。自動改良段階は、その後、予め記憶された解剖アトラスと画像から取得されたエッジ情報とに基づいて画像内の前立腺境界までの外形をスナップする。
Apple Comuter,IncのMichael Gleicherによる刊行物:「Image Snapping」、Computer Graphics Proceedings,Annual Conference Series、1995は、ペイントシステムのような画像に基づくプログラムにおけるカーソルのスナッピングについて記載する。画像スナッピングは、エッジのような画像内の近隣の特徴までカーソル位置を移動させる。それは、画像から作成された特徴マップの不鮮明バージョンに勾配降下法を使用することにより実施される。画像セグメンテーションおよび曲線追跡のためにカーソルスナッピングを使用する対話技術が提示されている。
米国特許出願公開第2007/0174769号明細書は、手術前計画および診断のための医療用画像の配信および表示を向上させるシステムおよび方法について記載する。ユーザは、初期注釈を選択し、解剖学的特徴と関連して表示された画像に従って初期注釈を修正するためにシステムを操作し、その後、後で参照するために表示された画像上の所望の位置に適切な注釈を固定することができるといわれている。
さらに、脊椎標識化に関連して、システムは、自動的に脊椎を標識化するために使用されてもよいことが開示されている。具体的には、ユーザは、初期注釈を選択し、それを脊椎と関連付けることができる。これが終了すると、システムは、機械読み取り装置によって予めマッピングされているので初期基準脊椎から上方および下方に延びる残りの脊椎を自動的に標識化することになる。
米国特許出願公開第2007/0174769号明細書
上記システムの問題は、ユーザが注釈を表示された画像内の所望の位置に正確に配置するのに簡便ではないことである。
ユーザが一層簡便な方式で画像内の所望の位置にマーカーを正確に配置することを可能にするシステムおよび方法を有することは有利になり得る。
この問題により良く対処するために、本発明の第1の態様は、画像の対話型注釈付けを可能にするシステムであって、
画像内のマーカーの第1の配置位置を示す配置コマンドをユーザから受け取るユーザ入力と、
(i)マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを第1の配置位置に基づく画像内の領域に適用し、(ii)マーカーを画像内の領域に一致させるために複数の一致度とそれぞれの複数の画像部分とに依存して第2の配置位置を確定し、(iii)マーカーを画像内の第2の配置位置に配置するように構成されているプロセッサと、
を備えるシステムを提供する。
本発明のさらなる態様では、上記システムを備えるワークステーションおよびイメージング装置が提供される。
本発明のさらなる態様では、画像の対話型注釈付けを可能にする方法であって、
画像内のマーカーの第1の配置位置を示す配置コマンドをユーザから受け取り、
マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを第1の配置位置に基づく画像内の領域に適用し、
マーカーを画像内の領域に一致させるために複数の一致度とそれぞれの複数の画像部分とに依存して第2の配置位置を確定し、
マーカーを画像内の第2の配置位置に配置すること
を備える方法が提供される。
本発明のさらなる態様では、プロセッサシステムに上記方法を実行させる命令を備えるコンピュータ・プログラム・プロダクトが提供される。
上記対策は、ユーザが対話形式で画像に注釈付けすることを可能にする。この目的のために、配置コマンドがユーザから受け取られる。配置コマンドは、位置、すなわち、ユーザが画像内でマーカーを配置する第1の配置位置を示す。その後、第1の配置位置に基づく領域内部の複数の画像部分のそれぞれに関して、一致度がマーカーとそれぞれの画像部分との間で決定される。一致度は、マーカーがそれぞれの画像部分にどの程度良く類似するかを示し、したがって、それらの視覚的対応を表す。一致度を決定するために、マーカーに視覚的に対応する画像部分に応答する画像処理アルゴリズムが使用され、すなわち、画像処理アルゴリズムは、上記画像部分に関して別々の出力を提供し、したがって、上記画像部分が識別されることを可能にする。第2の配置位置がその後にマーカーを画像内の領域に一致させるために複数の一致度および複数の画像部分を使用して決定される。最後に、マーカーは、第1の配置位置にではなく、画像内部の第2の配置位置に配置される。
上記対策は、ユーザが画像内のマーカーの第1または初期の配置位置を示したとき、第1の配置位置が、第1の配置位置に基づく領域内部で、複数の画像部分をマーカーに一致させることにより改良され、第2または最後の配置位置が前記一致の結果に基づいて決定される、という効果を有する。したがって、マーカーがある特定の画像部分にどの程度良く一致するかについての情報が領域内部でマーカーを配置すべき場所を決定するのに使用される。
本発明は、マーカーが多くの場合に画像部分に視覚的に類似するので、マーカーは、注釈付けされる画像部分を高い頻度で予測する、という認識に部分的に基づいている。この理由は、マーカーが用途に特有であることがあり、すなわち、マーカーの外観が注釈付けされている画像のタイプに合わせて調整されることがある、ということである。たとえば、2D乳房撮影像において解剖学的目印に注釈付けするとき、乳頭または乳房下溝線は、典型的には、点を使用してマークされるが、胸筋は、典型的には、直線分を使用してマークされる。マーカーの外観は、このように、多くの場合に注釈付けされる画像部分を予測する。その結果、マーカーの外観は、マーカーが画像内部で配置される場所についての暗黙的な情報、たとえば、マーカーに類似する画像部分の近接またはその上についての情報を提供する。本発明は、ユーザがマーカーの第1の配置位置を示すことを可能にすることにより前記認識を利用し、その後、前記第1の配置位置がマーカーを複数の画像部分に一致させるために使用され、最後に、一致の結果がマーカーの第2の配置位置を決定するために使用される。
有利には、配置位置が自動的に改良され、マーカーの一層正確な配置位置をもたらす結果になるので、ユーザは、高度の正確さで画像内にマーカーを配置する必要がない。その結果、ユーザは、マーカーが高度の正確さで配置される必要がないことが分かっているので、一層素早くマーカーを配置することができる。
任意選択で、ユーザ入力は、複数の異なるマーカーのうちのマーカーの選択を示す選択コマンドをユーザから受け取るように構成されており、プロセッサは、選択されたマーカーに視覚的に対応する画像部分に応答するように選択されたマーカーに依存して画像処理アルゴリズムを構成するように構成されている。
ユーザが複数の異なるマーカーのうちのマーカーを選択できるとき、ユーザは、典型的には、自分の選択を注釈付けされる画像部分に合わせて調整することになる。選択コマンドをユーザから受け取ることにより、複数の異なるマーカーのうちのどのマーカーが選択されたかが分かる。それに応答して、プロセッサは、選択されたマーカーに視覚的に対応する画像部分に応答するように画像処理アルゴリズムを構成する。それ故に、マーカーの選択は、画像処理アルゴリズムを選択されたマーカーに合わせてカスタマイズすることによって配置位置の改良に自動的に考慮される。
任意選択で、選択コマンドは、ユーザによって決定されたとおりに選択されたマーカーの方位をさらに示し、プロセッサは、前記方位を有する選択されたマーカーに視覚的に対応する画像部分に応答するように方位に依存して画像処理アルゴリズムを構成するようにさらに構成されている。
ユーザがマーカーの方位を決定できるとき、ユーザは、典型的には、注釈付けされる画像部分の予想方位に対応するように方位を選択または調整することになる。前記選択コマンドをユーザから受け取ることにより、ユーザによって決定されたとおりに、選択されたマーカーの方位が分かる。それに応答して、プロセッサは、特定の方位を有する選択されたマーカーに視覚的に対応する画像部分に応答するように画像処理アルゴリズムを構成する。それ故に、マーカーの方位は、それに従って画像処理アルゴリズムをカスタマイズすることによってマーカーの配置位置の改良に自動的に考慮される。
任意選択で、ユーザ入力は、画像内の注釈付けされる画像部分のタイプを示すタイプデータを受け取るように構成されており、プロセッサは、画像部分のタイプおよびマーカーに視覚的に対応する画像部分に応答するようにタイプデータに依存して画像処理アルゴリズムを構成するようにさらに構成されている。
ユーザが画像内の注釈付けされる画像部分のタイプ、たとえば、胸筋を明示的に示すことができるとき、この情報は、マーカーの配置位置を決定するときにマーカーの外観に加えて使用されてもよい。注釈付けされる画像部分のタイプを示すタイプデータを受け取り、画像部分のタイプに応答するように画像処理アルゴリズムを構成することにより、画像部分のタイプは、マーカー自体に加えて、マーカーの配置位置の改良に考慮される。
任意選択で、マーカーの前記配置は、マーカーを第2の配置位置にある画像部分に一致させるためにマーカーの形状、方位、およびサイズのうちの少なくとも1つを調整することを備える。マーカーの外観は、典型的には、注釈付けされる画像部分の予想外観に対応する。実際には、画像部分の現実の外観は、予想外観から逸脱することがある。このような場合、改善された注釈は、マーカーの配置位置を決定した後、第2の配置位置にある画像部分に対してマーカーの外観を調整し、前記調整後にマーカーを配置することにより取得される。
任意選択で、プロセッサは、一方で第1の配置位置と他方でそれぞれの複数の画像部分との間で複数の距離を確定し、第1の配置位置により近接して位置している画像部分を強化するために複数の一致度を複数の距離で重み付けすることによって複数の一致度を確定するように構成されている。
第1の配置位置は、ユーザによって提供されたとおりに、注釈付けされる画像部分が位置しているとユーザが分かっているまたは予想する場所を示す。それ故に、配置位置を改良するとき、前記画像部分を見つける可能性は、第1の配置位置からの距離の増加に伴って減少するので、第1の配置位置から過剰に逸脱しないことが望ましい。第1の配置位置までのそれぞれの画像部分の距離で各一致度を重み付けすることにより、上記認識が考慮される。したがって、マーカーへの画像部分の類似性と第1の配置位置までの画像部分の距離との間にトレードオフが得られる。
任意選択で、プロセッサは、一方で第1の配置位置と他方でそれぞれの複数の画像部分との間で画像内に存在する画像ディテール(image detail)を示す複数のディテール尺度(detail measure)を確定し、画像部分と第1の配置位置との間で画像内により少ない画像ディテールを有する画像部分を強化するために複数の一致度を複数のディテール尺度で重み付けすることにより複数の一致度を確定するように構成されている。
画像ディテールが注釈付けされる画像部分に近接して存在するとき、ユーザは、画像ディテールに対してマーカーを正しく配置するように注意しなければならない。このことの理由は、画像ディテールが基準の点を提供する、ということである。したがって、第1の配置位置は、画像ディテールに対して正確であること、それ故に、画像ディテールの方向で正確であることが予想される。この認識は、上記尺度によって考慮され、結果として、第1の配置位置と、画像部分の一致度が低下するまたは切り下げられるという点で一種のバリアとしての役目を果たす前記画像部分との間にディテールが存在することになる。その結果、第2の配置位置は、第1の配置位置が正確であると予想される方向で第1の配置位置からより少なく逸脱し、上記位置が不正確であり得る方向で第1の配置位置からより多く逸脱する可能性が高い。
任意選択で、プロセッサは、引力として複数の一致度を備える力に基づくモデルを使用することにより第2の配置位置を確定するように構成されている。力に基づくモデルは、複数の一致度に依存して第2の配置位置を確定する効率的な方式を構成する。
任意選択で、ユーザ入力は、領域のサイズを示す範囲データをユーザから受け取るように構成されており、プロセッサは、範囲データに依存して領域のサイズを確定するように構成されている。ユーザは、このようにして、たとえば、第1の配置位置が正確であると予想されるときに領域のサイズを縮小するために、または、第1の配置位置が正確であると予想されないときに領域のサイズを増大するために領域のサイズに影響を与えることができる。
任意選択で、配置コマンドは、配置コマンドを提供するときの配置方向をさらに示し、プロセッサは、配置方向に依存して第1の配置位置に対して領域の形状を確定するように構成されている。ユーザは、このようにして、配置コマンドを提供するときに配置方向を介して第1の配置位置に対して領域の形状に影響を与えることができる。配置方向は、たとえば、ユーザインターフェース機器、たとえば、マウスの物理的移動に対応する方向、または、ディスプレイ上に表示されたカーソルの移動の方向などであってもよい。有利には、意図された配置位置に到達する前にユーザが配置コマンドを提供するとき、システムは、配置方向で領域を主に成形することにより前記事実を補償してもよい。
任意選択で、配置コマンドは、配置コマンドを提供するときの配置速度をさらに示し、プロセッサは、配置速度に依存して領域のサイズを確定するようにさらに構成されている。ユーザは、このようにして、配置コマンドを提供するときに配置速度を用いて領域のサイズに影響を与えることができる。配置速度は、たとえば、ユーザインターフェース機器の物理的移動に対応する速度、または、ディスプレイ上に表示されたカーソルの移動の速度などであってもよい。有利には、配置方向および配置速度は、領域の形状およびサイズに影響を与える直観的な方式をユーザに提供するためにユーザインターフェース機器またはカーソルの慣性をシミュレートするように組み合わされてもよい。
本発明の上記実施形態、実施態様、および/または態様のうちの2つ以上は、有用であると思われる如何なる形で組み合わされてもよいことが当業者には理解されよう。
システムの上記変更形態および変形形態に対応するイメージング装置、ワークステーション、方法、および/またはコンピュータ・プログラム・プロダクトの変更形態および変形形態は、本明細書に基づいて当業者によって行うことができる。
当業者には、この方法が多次元画像データ、たとえば、2次元(2D)、3次元(3D)、または4次元(4D)画像に適用されてもよいことが理解されよう。多次元画像データの次元は、時間に関係してもよい。たとえば、3次元画像は、2次元画像の時間ドメイン系列を備えてもよい。画像は、たとえば、限定されることなく、標準的なX線イメージング、コンピュータ断層撮影(CT:Computed Tomography)、磁気共鳴イメージング(MRI:Magnetic Resonance Imaging)、超音波(US:Ultrasound)、陽電子放射断層撮影(PET:Positron Emission Tomography)、単一光子放射コンピュータ断層撮影(SPECT:Single Photon Emission Computed Tomography)、および核医学(NM:Nuclear Medicine)のような様々な撮影法によって撮影された医療用画像であってもよい。しかし、画像は、ユーザが注釈付けをしたいと望む他のタイプのもの、たとえば、地図製作または地震学的画像であってもよい。
本発明は、独立請求項に定義されている。有利な実施形態は、従属請求項に定義されている。
本発明の上記および他の態様は、以下に記載された実施形態から明白であり、これらの実施形態を参照して解明されよう。
本発明によるシステムおよびディスプレイを示す図である。 本発明による方法を示す図である。 ユーザが画像の上でマーカーを移動させることを示す図である。 ユーザが第1の配置位置にマーカーを配置することを示す図である。 領域と領域内部の複数の画像部分とを示す図である。 システムが第2の配置位置にマーカーを配置することを示す図である。 異なるマーカーのうちのマーカーの選択を示す図である。 ユーザがマーカーの方位を決定することを示す図である。 マーカーを配置するときの配置速度および配置方向を有するカーソルを用いてマーカーが配置されることを示す図である。 マーカーが画像部分に調整されることを示す図である。
図1は、画像102の対話型注釈付けを可能にするシステム100を示す。システム100は、配置コマンド162をユーザから受け取るユーザ入力160を備え、配置コマンド162は、ユーザが画像102内にマーカーを配置することを可能にする画像102内のマーカーの第1の配置位置を示す。図1に示されていないが、ユーザ入力160は、ユーザによって操作されるマウス、キーボードまたはタッチスクリーンのようなユーザインターフェース機器に接続されてもよい。システム100は、プロセッサ180をさらに備える。プロセッサ180は、第1の配置位置に依存して画像内の領域を確定するように構成されていてもよい。この目的のために、プロセッサ180は、配置コマンド162を受け取るユーザ入力160に接続されるように図示されている。プロセッサ180は、マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを領域に適用するようにさらに構成されている。また、プロセッサ180は、画像102内の第2の配置位置にマーカーを配置するように構成されている。図1は、画像102内の第2の配置位置にマーカーを表示するディスプレイ184に接続されることによってマーカーを配置するように構成されているプロセッサ180を示す。この目的のために、プロセッサ180は、表示データ182をディスプレイ184に提供する。代替的に、または付加的に、プロセッサ180は、たとえば、画像102内の第2の配置位置にマーカーを表示するために画像ディスプレイ機器によって使用され得る関連付けデータを作成することによりマーカーを配置してもよい。
図2は、画像内のマーカーの第1の配置位置を示す配置コマンドをユーザから受け取ることを備える「第1の配置位置を取得する」という表題が付けられている第1のステップ210を備える、画像の対話型注釈付けを可能にする方法200を示す。この方法は、マーカーに視覚的に対応する画像部分に応答して、一方でマーカーと他方で領域内部の複数の画像部分との間で複数の一致度を確定する画像処理アルゴリズムを第1の配置位置に基づく画像内の領域に適用することを備える「マーカーを領域内部の画像部分に一致させる」という表題が付けられている第2のステップ220をさらに備える。この方法は、マーカーを画像内の領域に一致させるために複数の一致度とそれぞれの複数の画像部分とに依存して第2の配置位置を確定することを備える「第2の配置位置を確定する」という表題が付けられている第3のステップ230をさらに備える。この方法は、マーカーを画像内の第2の配置位置に配置することを備える「マーカーを第2の配置位置に配置する」という表題が付けられている第4のステップ240をさらに備える。
この方法200は、システム100の動作に対応してもよく、システム100を参照してさらに説明される。しかし、この方法は、たとえば、別のシステムまたは機器によって、前記システムから独立して実行されてもよいことが理解されよう。
図3aおよびさらなる図は、ディスプレイ184上の画像102およびマーカー140の例示的な表示を示すことによりシステム100の動作を示す。図3aは、医療用画像である画像102を示し、医療用画像は、胸筋104および乳房の外形を表す乳房撮影像である。乳房撮影像は、数ある中でも、乳房撮影中の患者位置決めの質を評価するために使用されることがある。この目的のために、放射線医師または技術者のようなユーザは、点または線のような簡単な幾何学的プリミティブを乳房撮影像内の解剖学的目印上に配置することにより乳房撮影像に注釈付けする必要があることがある。図3aの実施例では、ユーザは、胸筋104に注釈付けする、または、それをマークするために線分であるマーカー140を胸筋104上に配置したいと望む。
システム100は、ユーザがマーカー140を移動させるために画像の上に表示されたカーソル166を制御することを可能にするように構成されていてもよい。しかし、この機能は、システム100の代わりに別のシステムまたは機器によって提供されてもよいことが理解されよう。また、マーカーを配置するとき、カーソル166だけが、すなわち、マーカー140なしで、表示されてもよく、または、マーカー140だけが、すなわち、カーソル166なしで、表示されてもよい。
図3aは、ユーザがマーカー140を配置したいと望む位置である第1の配置位置124をさらに示し、第1の配置位置124は、胸筋104に注釈付けする、または、それをマークするために胸筋104に近接している。この目的のために、ユーザは、たとえば、上記ユーザインターフェース機器を使用してカーソル166を移動させてもよく、たとえば上記ユーザインターフェース機器のボタンを押下または解除し、それによって、マーカー140をカーソル166の現在位置に配置したいという望みを示すことにより配置位置を提供してもよい。図3bは、ユーザの上記行為の結果、すなわち、ユーザがカーソル166、したがって、マーカー140を第1の配置位置124まで移動させたことを示す。ユーザは、この時点で、または、この状況で、配置コマンドを提供し、それによって、マーカー140を第1の配置位置124に配置したいという望みを指示してもよい。
図3aおよび3bは共に、配置位置124が胸筋104に隣接しているが、それにもかかわらず、胸筋104の傍らにあることを示す。このように、マーカー140を第1の配置位置124に配置することは、マーカー140と胸筋104との間に位置合わせ誤差を生じさせる結果になり得る。これは、胸筋104の不完全な、おそらく、不適切でもある注釈付けを生じさせる結果になることがある。ユーザは、位置合わせ誤差について気付いていることがあるが、それにもかかわらず、たとえば、時間制約、または、マーカーを正確に配置することの難しさのため前記配置位置を選ぶことがある。ユーザは、たとえば、ユーザが位置合わせ誤差を容易に知覚することができないため、前記位置合わせ誤差について気付いていないこともある。
図3cは、典型的には、ユーザには見えない可能性があるシステム100の動作中の中間ステップを例示的に表している。例示を簡単にするため、カーソル166およびマーカー140は、胸筋104を示す参照符号と共に図3cにおいて省略されている。図3cは、プロセッサ180が第1の配置位置124に依存して、画像102内の領域130を確定したことを示す。図3bを図3cと比較すると、領域130は、ほぼ第1の配置位置124の周りに位置していることが分かる。さらに、領域130の内部の複数の画像部分132、134、136、138が図示されており、画像部分は、個々の線の下にある画像102の部分であり、すなわち、個々の線によって輪郭が描かれている。これらの画像部分132、134、136、138は、マーカー140と同じ形状を有し、マーカー140の複数の配置位置候補を表し、配置位置は、画像部分と同じ場所に位置しているので、明示的に図示されていない。図3cに示されているように、複数の画像部分134のうちの1つは、第1の配置位置124にある画像102の部分に対応する。
明瞭にするために、図3cに示された画像部分132、134、135、138は、個数が制限され、別々であり、重なり合わないことに留意されたい。しかし、画像部分は、直接隣接してもよく、および/または、部分的に重なり合ってもよいことが理解されよう。特に、画像部分132、134、136、138は、領域130内部の全てのまたは実質的に全ての配置位置候補により構成されていてもよい。
その結果、プロセッサ180は、第1の配置位置124に基づいて領域130を明示的に確定するように構成されていなくともよいことに留意されたい。領域130は、むしろ、たとえば、複数の画像部分が画像内に位置した画像処理アルゴリズムの暗黙的な結果であってもよい。領域130は、たとえば、画像処理アルゴリズムを最大反復回数まで制限または制約することにより、画像処理アルゴリズムの1つ以上のパラメータを変更するプロセッサ180の暗黙的な結果であってもよい。プロセッサ180は、画像内の領域130を明示的に確定するように構成されていてもよい。たとえば、プロセッサ180は、第1の配置位置124への近接性に依存して領域130を決定するように構成されていてもよい。したがって、領域は、第1の配置位置124への少なくとも所与の近接性を有する全ての画像部分により構成されていてもよい。領域130は、第1の配置位置124の周りに円形、矩形または他の幾何学的形状を単に形成することによって確定されてもよい。領域130の形状は、ある方向でより大きくなるように選ばれてもよい。たとえば、マーカー140がある主な方位を有するとき、領域130の形状は、主な方位に対して垂直な方向で他の方向より大きくなってもよい。
画像内の領域130を確定した後、プロセッサ180は、一方でマーカー140と他方で領域内部の複数の画像部分132、134、136、138との間で一致度を確定するために画像処理アルゴリズムを領域130に適用する。一致度は、マーカー140がそれぞれの画像部分の上に、すなわち、対応する配置位置に配置された場合にマーカー140が画像部分132、134、136、138のそれぞれにどの程度良く一致することになるかを決定するために確定される。この特定の実施例では、マーカー140が線分であるとすると、画像処理アルゴリズムは、画像部分132、134、136、138のそれぞれがマーカー140により構成されているような線分にどの程度類似するかを確定することになる。
画像処理アルゴリズムは、画像処理の分野で知られた、マーカー140と画像部分132、134、136、138との間の一致度または視覚的対応を決定するのに適している如何なる画像処理アルゴリズムであってもよい。画像処理アルゴリズムは、複数の画像部分132、134、136、138のそれぞれとマーカー140の画像表現との間の輝度差を決定することを備えてもよい。輝度差は、画像部分132、134、136、138の画素とマーカー140の画像表現の対応する画素との間の差であってもよい。画素間の小さい輝度差は、高い一致度、すなわち、高い視覚的対応を示してもよく、大きい輝度差は、低い一致度、すなわち、低い視覚的対応を示してもよい。しかし、画像処理の分野は、前記目的のために使用され得る多くの他のアルゴリズムを備えることが理解されよう。
たとえば、マーカー140と領域内部の画像部分132、134、136、138のそれぞれとの間の一致度を示すいわゆる特徴強調画像は、画像102およびマーカー140から計算されてもよい。たとえば、マーカー140が点ラベルであるとき、画像処理アルゴリズムは、点状または塊状の特徴が強調される特徴強調画像を計算してもよい。強調は、様々な方式で実行されてもよい。たとえば、塊特徴強調画像は、領域130内部の各画素に関して計算されたヘッセ行列(Hessian matrix)から導出されてもよい。ここで、絶対値の観点から最小であるヘッセ行列の固有値の大きさは、前記一致度を示すいわゆる塊特徴として解釈されてもよい。同様に、マーカー140が線分であるとき、画像処理アルゴリズムは、たとえば、前記ヘッセ行列の2番目に小さい固有値および最も小さい固有値を直線またはエッジ特徴として解釈することにより直線またはエッジ特徴が強調される特徴強調画像を計算してもよい。代替的に、または付加的に、ガボール・フィルタ(Gabor filter)、ハフ変換(Hough transform)、または他の適当な技術が使用されてもよい。
一方でマーカー140と他方で領域130内部の複数の画像部分132、134、136、138との間で一致度を確定した後、プロセッサ180は、複数の一致度とそれぞれの複数の画像部分とに依存して第2の配置位置126を確定してもよい。たとえば、プロセッサ180は、複数の一致度のうちの最高一致度を有する複数の画像部分のうちの1つの画像部分136の位置として第2の配置位置126を確定してもよい。
図3cは、胸筋104によりほぼ構成されており、複数の一致度のうちの最高一致度を有する画像部分136の実施例を示す。また、この実施例では、前記画像部分136の位置は、第2の配置位置126として確定される。この動作の結果は図3dに示されており、図3dにおいてマーカー140が第2の配置位置126に配置されることが示されている。
前掲のいずれの図にも示されていないが、プロセッサは、一方で第1の配置位置と他方でそれぞれの複数の画像部分との間で複数の距離を確定し、第1の配置位置により近接して位置している画像部分を強化するために複数の距離で複数の一致度を複数の距離で重み付けすることにより複数の一致度を確定するように構成されていてもよい。したがって、プロセッサは、第2の配置位置として、必ずしも複数の画像部分のうちマーカーに最も類似する1つの画像部分の位置を選択するのではなく、むしろ、マーカーに合理的に類似し、かつ、マーカーに最も類似する前記画像部分より第1の配置位置に近接して位置している画像部分の位置を選択する。重み付けは、一致度を距離に従った重み付け係数で乗じることを備えてもよい。重み付けは、一致度に距離を加算すること、または、一致度から距離を減算することをさらに備えてもよい。様々な他の機構が第1の配置位置から遠く離れて位置している画像部分より第1の配置位置に近接して位置している画像部分を強化するために使用されてもよいことが理解されよう。
また、プロセッサは、引力として複数の一致度を備える力に基づくモデルを使用することにより第2の配置位置を確定するように構成されていてもよい。さらに、複数の距離は、反発力として力に基づくモデルに含まれてもよい。平衡状態にある、または、平衡状態に最も近い正味の力を受けている画像部分の位置は、その後、第2の配置位置として選択されてもよい。
図4は、システム100の動作の別の実施例を示す。ここでは、システム100は、ユーザが複数の異なるマーカー142、144、146のうちのマーカー140を選択することを可能にするように構成されている。図4は、幾何学的プリミティブ、すなわち、線分142、円形144およびコーナー部分146であるマーカーを示す。しかし、マーカーは、他のタイプのグラフィカルマーカーであってもよいことが理解されよう。図4は、ユーザがマーカー140として円形を選択した結果を示す。ユーザ入力160は、複数の異なるマーカー142、144、146のうちのマーカー140の選択を示す選択コマンド163をユーザから受け取るように構成されていてもよい。ユーザは、たとえば、複数のマーカーのうちの特定の1つ、たとえば、円形144上をカーソル166でクリックすることにより、選択コマンド163を提供してもよい。また、プロセッサ180は、選択されたマーカー144に視覚的に対応する画像部分に応答するために選択されたマーカーに依存して画像処理アルゴリズムを構成するように構成されていてもよい。したがって、図3a〜3dに既に示されているように、線分に視覚的に対応する画像部分に応答する代わりに、画像処理アルゴリズムは、マーカー140のような特定の直径の円形に類似する画像部分に応答するように構成されていてもよい。これに関連して、画像処理アルゴリズムを構成することは、たとえば、画像処理アルゴリズムの1つ以上のパラメータを変更すること、または、複数の画像処理アルゴリズムのうちの画像処理アルゴリズムを選択することを備えてもよいことに留意されたい。
図5は、システム100の動作の別の実施例を示す。ここでは、システム100は、ユーザがマーカー140の方位を決定することを可能にするように構成されている。これは、ユーザがマーカーの複数の方位141、142、143のうちのマーカー140の方位を選択することにより例示的に図示されている。たとえば、システム100は、ユーザがマーカー140の中心点の周りでマーカーを回転させることを可能にすることにより、ユーザがマーカー140の方位を決定することを可能にするように構成されていてもよい。また、選択コマンド163は、ユーザによって決定されたとおりにマーカー140の方位をさらに示し、プロセッサ180は、方位を有する選択されたマーカー140に視覚的に対応する画像部分に応答するように、前記方位に依存して画像処理アルゴリズムを構成するようにさらに構成されていてもよい。マーカーの方位のいずれの変化も、このようにして、画像処理アルゴリズムをそれに従って構成するプロセッサ180によって考慮される。たとえば、画像処理アルゴリズムがエッジ検出フィルタを備える場合、そのフィルタ係数は、マーカーの方位と同じ方向で延びるエッジに応答するように変更されてもよい。同様に、画像処理アルゴリズムがテンプレートマッチングを実行するテンプレートを備える場合、テンプレートは、マーカー140の回転に従って回転させられてもよい。
図6aは、システム100の動作の別の実施例を示す。ここでは、マーカー140は、カーソル168が以下で配置速度と呼ばれるマーカーを配置するときの速度を有し、以下では配置方向と呼ばれる方向と共に有する間に配置される。配置速度および配置方向は、カーソル168の後を追う点線カーソルによって例示的に図示されている。この実施例では、ユーザ入力160は、ユーザによって動作可能であるユーザインターフェース機器から配置コマンドを受け取るように構成されていてもよい。ユーザインターフェース機器は、たとえば、マウス、ジョイスティック、タッチスクリーンなどであってもよい。配置コマンドは、配置コマンドを提供するときのユーザインターフェース機器またはカーソル168と関連付けられている配置方向をさらに示してもよい。配置コマンドは、たとえば、ユーザが画像102の上でカーソル168を移動させるためにマウスを操作している間にマウスボタンを解除することによって提供されてもよい。図6aに示されるように、配置方向は、ユーザインターフェース機器によって制御される、カーソル168のようなユーザインターフェース要素のオンスクリーン方向(スクリーン上の方向)であってもよい。代替的に、配置方向は、ユーザインターフェース機器の移動の物理的な方向に対応してもよい。
プロセッサ180は、配置方向に依存して第1の配置位置124に対して領域130の形状を確定するように構成されていてもよい。図6aでは、これは、たとえば、第1の配置位置124の周りに中心が配置される代わりに、第1の配置位置124に対して主に配置方向で延びるように成形されている領域130によって示されている。その結果、領域130内部の描かれていない複数の画像部分に対応する複数の配置位置候補122、123、124、125は、第1の配置位置124に対して主に配置方向で位置している。領域130の形状は、ボックス状であってもよい。同様に、領域130の形状は、たとえば、第1の配置位置124からの距離が増加するのにつれて領域130の幅を広げるために、三角形状または台形状であってもよい。
配置方向を示す配置コマンドの代替としてまたはそれに加えて、配置コマンドは、配置コマンドを提供するときのユーザインターフェース機器またはカーソル168の配置速度を示してもよい。この実施例では、プロセッサ180は、配置速度に依存して領域130のサイズを確定するようにさらに構成されていてもよい。たとえば、領域130のサイズは、高い配置速度が結果として領域130の大きいサイズをもたらし、低い配置速度が結果として領域130の小さいサイズをもたらすように、配置速度に比例してもよい。上記の結果として、ユーザは、注釈付けされる画像部分の方向でマーカー140を「スロー(throw)」するためにユーザインターフェース機器またはカーソル168を使用してもよく、マーカー140は、その後、システム100の動作のため前記画像部分に「スナップ(snap)」する。
プロセッサ180は、さらに、一方で第1の配置位置124と他方でそれぞれの複数の画像部分との間で画像102内に存在する画像ディテールを示す複数のディテール尺度を確定し、画像部分と第1の配置位置との間で画像内により少ない画像ディテールを有する画像部分を強化するために複数の一致度を複数のディテール尺度で重み付けすることにより複数の一致度を確定するように構成されていてもよい。その結果として、マーカー140は、画像部分と第1の配置位置124との間により少ない画像ディテールを有する、すなわち、画像ディテールの観点から第1の配置位置124に向かう障害物のない経路(clear path)を有する画像部分に一層容易に「スナップ」する。システム100のこの動作の物理的類推は、マーカー140の配置候補のバリアまたはしきいとしての役目を果たす画像ディテールの類推であってもよい。
領域130のサイズを決定するために使用される配置速度の代替としてまたはそれに加えて、ユーザ入力160は、領域130のサイズを示す範囲データ165をユーザから受け取るように構成されていてもよい。範囲データ165は、たとえば、サイズを示すためにスライダをドラッグすることにより、領域130の前記サイズを示すユーザの選択から取得されてもよい。また、プロセッサ180は、範囲データ165に依存して領域130のサイズを確定するように構成されていてもよい。したがって、ユーザは、前記範囲データを提供することにより領域130のサイズに影響を与えてもよい。
図6bは、システム100の動作の別の実施例を示す。第2の配置位置125の選択は、図6aに示されそれを参照して説明されたシステム100の動作に従ってもよい。ここでは、選択された第2の配置位置125が、図6aに示されているように複数の配置位置122、123、124、125のうち、マーカー140に最も類似している、対応するがまだ描かれていない画像部分を有することが図示されている。しかし、第2の配置位置125は、胸筋104と完全には位置合わせされていない。プロセッサ180は、マーカー140を注釈付けされる画像部分、すなわち、第2の配置位置125に部分的にのみ位置している胸筋104に一致させるために、配置するステップの途中または前のいずれかで、マーカー140の形状、方位もしくはサイズ、またはこれらの組合せを調整することによりマーカー140を配置するように構成されていてもよい。この特定の実施例では、マーカー140は、胸筋104の方位により良く一致させるために回転させられ、引き続き、前記回転後に配置される。実際、これは、結果として、マーカー140の調整に従って調整された第2の配置位置125をもたらし、結果として第2の配置位置125に対して回転した第2の配置位置126をもたらす。
第2の配置位置にある画像部分に対してマーカー140を調整するために、画像処理および画像解析の分野からの様々な技術が使用されてもよい。たとえば、ハフ変換は、胸筋104の方位を決定するために使用されてもよく、マーカー140がその後にそれに従って回転させられる。マーカー140が、たとえば、頂点および面を備えるコンピュータグラフィックモデルである場合、画像部分のある特徴が、たとえば、画像セグメンテーションまたは画像解析アルゴリズムを使用して検出されてもよく、マーカー140は、画像部分の検出された特徴に適合するように変形されてもよく、すなわち、マーカー140は、変形可能なマーカーであってもよい。
一般に、そして、図1に示されているように、ユーザ入力160は、画像内の注釈付けされる画像部分のタイプを示すタイプデータ163を受け取るように構成されていてもよく、プロセッサは、画像部分のタイプおよびマーカーに視覚的に対応する画像部分に応答するようにタイプデータに依存して画像処理アルゴリズムを構成するようにさらに構成されていてもよい。したがって、ユーザは、たとえば、画像部分の例またはテンプレート上をクリックすることにより、画像内の注釈付けをしたいと望む画像部分のタイプを選択してもよい。画像処理アルゴリズムは、その後、画像部分の選択されたタイプおよびマーカーに均等に応答するが、画像部分の選択されたタイプおよびマーカーの両方に類似する画像部分に一層応答するように構成されていてもよい。画像部分のタイプは、たとえば、どのようなタイプの画像部分に注釈付けされるかが分かっているとき、システムによって自動的に選択されてもよい。たとえば、2D乳房撮影像において解剖学的目印に注釈付けするとき、画像部分のタイプは、典型的には、乳頭または乳房下溝線であることが分かっている。それ故に、画像処理アルゴリズムは、いずれかのタイプに応答するように構成されていてもよい。
プロセッサは、数学的最適化の分野からの技術を使用して第2の配置位置を確定するようにさらに構成されていてもよい。特に、注釈付けされる画像部分は、領域または画像全体の内部の全てまたは実質的に全ての画像部分のうちのいずれか1つであってもよい。画像部分の全てに関して一致度を決定することは、高い計算複雑性をもたらすことがある。この高い計算複雑性を回避するために、プロセッサは、たとえば、一致度が最適化される関数として使用され、前記関数の中の変数が領域内部の位置である勾配降下または類似の最適化法を適用するように構成されていてもよい。したがって、プロセッサは、第2の配置位置に反復的に到達することができ、この位置が最適化法によって取得された結果である。したがって、画像部分の全てに関する一致度の網羅的な計算が回避される。この場合、領域は、たとえば、反復の回数または第1の配置位置までの距離に関連する最適化法における1つ以上のパラメータを設定または調整することにより確定されてもよいことが理解されよう。
一般に、システムは、第2の配置位置が意図された位置に不注意で対応しない場合、すなわち、注釈付けされる画像部分に対応しない場合、ユーザがシステムに第2の配置位置を再び確定することを要求する新しい配置コマンドを提供することにより、または、システムにマーカーの配置をさらに改良することを要求することなく、マーカーを手動で配置することにより、第2の配置位置を補正することができるように構成されていてもよいことに留意されたい。
複数の画像部分が第1の配置位置に位置している第1の画像部分と、さらなる配置位置に位置しているさらなる画像部分とにより構成されていてもよく、システムは、このようにして、マーカーと前記画像部分との間の一致度を比較し、両方の画像部分のうちの一方に、すなわち、最高一致度をもたらす画像部分にマーカーを配置することにさらに留意されたい。第2の配置位置は、さらなる配置位置であってもよいが、マーカーと第1の画像部分との間の一致度が最高一致度である場合、均等に第1の配置位置であってもよい。
本発明は、本発明を実施するように適合なされたコンピュータプログラム、特に、担体上または担体内のコンピュータプログラムにもあてはまることが理解されよう。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形のようなコード中間ソースおよびオブジェクトコードの形、または、本発明による方法の実施で用いるのに適した他の形であってもよい。このようなプログラムは、多くの異なるアーキテクチャ設計を有してもよいことがさらに理解されよう。たとえば、本発明による方法またはシステムの機能を実施するプログラムコードは、1つ以上のサブルーチンに細分化されてもよい。これらのサブルーチンの間に機能を分散させる多くの異なる方式は、当業者に明白であろう。サブルーチンは、内蔵プログラムを形成するために1つの実行可能なファイルに一緒に記憶されてもよい。このような実行可能なファイルは、コンピュータ実行可能な命令、たとえば、プロセッサ命令および/またはインタープリタ命令(たとえば、Java(登録商標)インタープリタ命令)を備えてもよい。代替的に、サブルーチンのうちの1つ以上または全ては、少なくとも1つの外部ライブラリファイルに記憶され、静的または動的に、たとえば、ランタイムでメインプログラムとリンクされてもよい。メインプログラムは、サブルーチンのうちの少なくとも1つへの少なくとも1回の呼び出しを含む。サブルーチンは、互いへの関数呼び出しをさらに備えてもよい。コンピュータ・プログラム・プロダクトに関する実施形態は、本明細書に記載された方法のうちの少なくとも1つの各処理ステップに対応するコンピュータ実行可能な命令を備える。これらの命令は、サブルーチンに細分化されてもよく、および/または、静的もしくは動的にリンクされ得る1つ以上のファイルに記憶されてもよい。コンピュータ・プログラム・プロダクトに関する別の実施形態は、本明細書に記載されたシステムおよび/またはプロダクトのうちの少なくとも1つの各手段に対応するコンピュータ実行可能な命令を備える。これらの命令は、サブルーチンに細分化されてもよく、および/または、静的もしくは動的にリンクされ得る1つ以上のファイルに記憶されてもよい。
コンピュータプログラムの担体は、プログラムを担持する能力をもつ如何なる実体または機器であってもよい。たとえば、担体は、ROM、たとえば、CD ROMもしくは半導体ROM、または、磁気記録媒体、たとえば、ハードディスクのような記憶媒体を含んでもよい。さらに、担体は、電気もしくは光ケーブルを介して、または、無線もしくはその他の手段によって伝送され得る電気または光信号のような伝送可能な担体であってもよい。プログラムがこのような信号で具現化されるとき、担体は、このようなケーブルまたはその他の機器もしくは手段により構成されていてもよい。代替的に、担体は、プログラムが組み込まれた集積回路であってもよく、集積回路は、当該方法を実行するように、または、当該方法の実行で使用されるように適合されている。
上記実施形態は、本発明を限定するのではなく、例示すること、および、当業者は、添付の特許請求の範囲から逸脱することなく、多くの代替的な実施形態を設計することができることに留意されたい。特許請求の範囲では、括弧付きの参照符号は、請求項を限定するものとして解釈されるべきではない。動詞「備える」およびその活用形の使用は、請求項に記載された要素またはステップ以外の要素またはステップの存在を排除しない。単数の要素は、複数のこのような要素が存在することを排除しない。本発明は、いくつかの別々の要素を備えるハードウェアを用いて、かつ、適当にプログラムされたコンピュータを用いて実施され得る。いくつかの手段を挙げる装置請求項では、これらの手段のうちのいくつかは、ハードウェアの全くの同一物によって具現化されてもよい。ある対策が互いに異なる従属請求項に挙げられているという単なる事実は、これらの対策の組合せが有利になるように使用できないということを示唆するものではない。

Claims (15)

  1. 画像の対話型注釈付けを可能にするシステムであって、
    前記画像内のマーカーの第1の配置位置を示し、前記画像の上で前記マーカーを移動させるためにユーザインターフェース機器を使用してユーザによって取得される配置コマンドを前記ユーザから受け取るユーザ入力と、
    (i)前記マーカーに視覚的に対応する画像部分に関して別々の出力を提供する画像処理アルゴリズムに基づいて確定される複数の一致度を、一方で前記マーカーと他方で領域内部の複数の画像部分との間確定するように構成されている前記画像処理アルゴリズムを前記第1の配置位置に基づく前記画像内の領域に適用し、
    (ii)前記マーカーを前記画像内の前記領域に一致させるために前記複数の一致度と前記それぞれの複数の画像部分とに依存して第2の配置位置を確定し、
    (iii)前記マーカーを前記画像内の前記第2の配置位置に配置するように構成されているプロセッサと
    を備えるシステム。
  2. 前記ユーザ入力は、複数の異なるマーカーのうちの前記マーカーの選択を示す選択コマンドを前記ユーザから受け取るように構成されており、
    前記プロセッサは、前記選択されたマーカーに視覚的に対応する画像部分に応答するように前記選択されたマーカーに依存して前記画像処理アルゴリズムを構成するように構成されている、
    請求項1に記載のシステム。
  3. 前記選択コマンドは、前記ユーザによって決定されたとおりに前記選択されたマーカーの方位をさらに示し、前記プロセッサは、前記方位を有する前記選択されたマーカーに視覚的に対応する画像部分に応答するように前記方位に依存して前記画像処理アルゴリズムを構成するようにさらに構成されている、請求項2に記載のシステム。
  4. 前記ユーザ入力は、前記画像内で注釈付けされる画像部分のタイプを示すタイプデータを受け取るように構成されており、
    前記プロセッサは、画像部分の前記タイプおよび前記マーカーに視覚的に対応する画像部分に応答するように前記タイプデータに依存して前記画像処理アルゴリズムを構成するようにさらに構成されている、
    請求項1に記載のシステム。
  5. 前記マーカーの前記配置は、前記マーカーを前記第2の配置位置にある画像部分に一致させるために前記マーカーの形状、方位およびサイズのうちの少なくとも1つを調整することを備える、請求項1に記載のシステム。
  6. 前記プロセッサは、
    一方で前記第1の配置位置と他方で前記それぞれの複数の画像部分との間で複数の距離を確定し、
    前記第1の配置位置により近接して位置している画像部分を強化するために前記複数の一致度を前記複数の距離で重み付けすること
    によって前記複数の一致度を確定するように構成されている、請求項1に記載のシステム。
  7. 前記プロセッサは、
    一方で前記第1の配置位置と他方で前記それぞれの複数の画像部分との間で前記画像内に存在する画像ディテールを示す複数のディテール尺度を確定し、
    画像部分と前記第1の配置位置との間で前記画像内により少ない画像ディテールを有する前記画像部分を強化するために前記複数の一致度を前記複数のディテール尺度で重み付けすること
    によって前記複数の一致度を確定するように構成されている、請求項1に記載のシステム。
  8. 前記プロセッサは、引力として前記複数の一致度を備える力に基づくモデルを使用することにより前記第2の配置位置を確定するように構成されている、請求項1に記載のシステム。
  9. 前記ユーザ入力は、前記領域のサイズを示す範囲データを前記ユーザから受け取るように構成されており、前記プロセッサは、前記範囲データに依存して前記領域の前記サイズを確定するように構成されている、請求項1に記載のシステム。
  10. 前記配置コマンドは、前記配置コマンドを提供するときの配置方向をさらに示し、前記プロセッサは、前記配置方向に依存して前記第1の配置位置に対して前記領域の形状を確定するように構成されている、請求項1に記載のシステム。
  11. 前記配置コマンドは、前記配置コマンドを提供するときの配置速度をさらに示し、前記プロセッサは、前記配置速度に依存して前記領域のサイズを確定するようにさらに構成されている、請求項10に記載のシステム。
  12. 請求項1に記載のシステムを備えるワークステーション。
  13. 請求項1に記載のシステムを備えるイメージング装置。
  14. 画像の対話型注釈付けを可能にする方法であって、
    前記画像内のマーカーの第1の配置位置を示し、前記画像の上で前記マーカーを移動させるためにユーザインターフェース機器を使用してユーザによって取得される配置コマンドを前記ユーザから受け取るステップと、
    前記マーカーに視覚的に対応する画像部分に関して別々の出力を提供する画像処理アルゴリズムに基づいて確定される複数の一致度を、一方で前記マーカーと他方で領域内部の複数の画像部分との間確定するように構成されている前記画像処理アルゴリズムを前記第1の配置位置に基づく前記画像内の領域に適用するステップと、
    前記マーカーを前記画像内の前記領域に一致させるために前記複数の一致度と前記それぞれの複数の画像部分とに依存して第2の配置位置を確定するステップと、
    前記マーカーを前記画像内の前記第2の配置位置に配置するステップと
    を備える方法。
  15. プロセッサシステムに請求項14に記載の方法を実行させる命令を備えるコンピュータ・プログラム。
JP2014540582A 2011-11-08 2012-10-30 対話型画像注釈付けのシステムおよび方法 Active JP6018216B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161557008P 2011-11-08 2011-11-08
US61/557,008 2011-11-08
PCT/IB2012/055997 WO2013068881A1 (en) 2011-11-08 2012-10-30 System and method for interactive image annotation

Publications (2)

Publication Number Publication Date
JP2015502601A JP2015502601A (ja) 2015-01-22
JP6018216B2 true JP6018216B2 (ja) 2016-11-02

Family

ID=47471870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014540582A Active JP6018216B2 (ja) 2011-11-08 2012-10-30 対話型画像注釈付けのシステムおよび方法

Country Status (8)

Country Link
US (1) US9980692B2 (ja)
EP (1) EP2751780B1 (ja)
JP (1) JP6018216B2 (ja)
CN (1) CN103918008B (ja)
BR (1) BR112014010848B1 (ja)
IN (1) IN2014CN03498A (ja)
MX (1) MX2014005478A (ja)
WO (1) WO2013068881A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886546B2 (en) * 2012-11-20 2018-02-06 General Electric Company Methods and apparatus to label radiology images
CN105338479B (zh) 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
CN107708568B (zh) * 2015-06-30 2020-11-20 佳能美国公司 配准的基准标记、系统和方法
US10420626B2 (en) * 2015-06-30 2019-09-24 Canon U.S.A., Inc. Fiducial markers, systems, and methods of registration
EP3391333B1 (en) * 2015-12-18 2019-07-24 Koninklijke Philips N.V. Image processing for improved marker positioning on a line-shaped image feature
US10319127B2 (en) 2016-09-22 2019-06-11 International Business Machines Corporation Spatial and hierarchical placement of images at runtime
CN106845068B (zh) * 2016-12-13 2020-05-22 海纳医信(北京)软件科技有限责任公司 图片标注方法和装置
US11202652B2 (en) 2017-08-11 2021-12-21 Canon U.S.A., Inc. Registration and motion compensation for patient-mounted needle guide
EP3668437A2 (en) * 2017-08-16 2020-06-24 Covidien LP Method of spatially locating points of interest during a surgical procedure
CN109584295B (zh) * 2017-09-29 2022-08-26 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN107693047A (zh) * 2017-10-18 2018-02-16 飞依诺科技(苏州)有限公司 超声成像中基于对称组织的体标设置方法及系统
US10893911B2 (en) 2017-11-26 2021-01-19 Canon U.S.A., Inc. Automated image cropping for enhanced automatic device-to-image registration
EP3561656A1 (en) * 2018-04-23 2019-10-30 Koninklijke Philips N.V. Precise positioning of a marker on a display
US10778916B2 (en) * 2018-10-24 2020-09-15 Honeywell International Inc. Applying an annotation to an image based on keypoints
CN113607158A (zh) * 2021-08-05 2021-11-05 中铁工程装备集团有限公司 基于可见光通信的平板光源视觉识别匹配定位方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480813B1 (en) * 1999-02-24 2002-11-12 Autodesk, Inc. Method and apparatus for defining a precision drawing in a drawing program
WO2000063844A1 (en) 1999-04-20 2000-10-26 Koninklijke Philips Electronics N.V. A method and apparatus for interactively constructing relational geometric objects
SE524080C2 (sv) 2000-05-19 2004-06-22 Premetec Ab Anordning med slang
EP1290539A1 (en) * 2000-05-24 2003-03-12 Koninklijke Philips Electronics N.V. A method and apparatus for shorthand processing of medical images
JP4416393B2 (ja) * 2002-12-04 2010-02-17 株式会社日立メディコ 医用画像表示装置
US7587234B2 (en) * 2001-11-02 2009-09-08 Abbott Cardiovascular Systems Inc. Method and apparatus for computer modified magnetic resonance imaging
JP4428067B2 (ja) * 2004-01-28 2010-03-10 ソニー株式会社 画像照合装置、プログラム、および画像照合方法
CN1957319A (zh) * 2004-05-03 2007-05-02 皇家飞利浦电子股份有限公司 用于与用户交互作用的图形用户接口,系统,方法和计算机程序
US20070174769A1 (en) 2006-01-24 2007-07-26 Sdgi Holdings, Inc. System and method of mapping images of the spine
JP4999163B2 (ja) 2006-04-17 2012-08-15 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
WO2007135913A1 (ja) * 2006-05-19 2007-11-29 Hitachi Medical Corporation 医用画像表示装置及びプログラム
EP2080169A4 (en) * 2006-10-10 2011-07-27 Cedara Software Corp SYSTEM AND METHOD FOR SEGMENTING A REGION IN A MEDICAL IMAGE
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US8634610B2 (en) 2008-06-20 2014-01-21 The Trustees Of The University Of Pennsylvania System and method for assessing cancer risk
US8096949B2 (en) 2008-07-02 2012-01-17 U-Systems, Inc. User interface for ultrasound mammographic imaging
US8209152B2 (en) * 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
WO2010052598A1 (en) 2008-11-06 2010-05-14 Koninklijke Philips Electronics N.V. Breast ultrasound annotation user interface
US20100145373A1 (en) * 2008-12-05 2010-06-10 Ruth Alon Nail drill
US20110182493A1 (en) * 2010-01-25 2011-07-28 Martin Huber Method and a system for image annotation
US8683363B2 (en) * 2010-01-26 2014-03-25 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements
US8885898B2 (en) * 2010-10-07 2014-11-11 Siemens Medical Solutions Usa, Inc. Matching of regions of interest across multiple views
CA2879769C (en) * 2012-07-01 2022-06-21 Lumito Ab A system and method for improved diffuse luminescent imaging or tomography in scattering media

Also Published As

Publication number Publication date
IN2014CN03498A (ja) 2015-10-09
BR112014010848A2 (pt) 2017-06-13
WO2013068881A1 (en) 2013-05-16
US9980692B2 (en) 2018-05-29
BR112014010848A8 (pt) 2017-06-20
MX2014005478A (es) 2014-08-21
BR112014010848B1 (pt) 2022-12-27
US20140289605A1 (en) 2014-09-25
CN103918008B (zh) 2017-08-08
EP2751780B1 (en) 2019-07-03
EP2751780A1 (en) 2014-07-09
CN103918008A (zh) 2014-07-09
JP2015502601A (ja) 2015-01-22

Similar Documents

Publication Publication Date Title
JP6018216B2 (ja) 対話型画像注釈付けのシステムおよび方法
CN105849773B (zh) 解剖结构的基于模型的分割
JP6198604B2 (ja) 医用画像システム
US10339710B2 (en) Medical image system and method
EP2817695B1 (en) System and method for processing a pointer movement
EP3198565B1 (en) Visualizing volumetric image of an anatomical structure
US20190286305A1 (en) Context sensitive magnifying glass
US20180064409A1 (en) Simultaneously displaying medical images
CN107851337B (zh) 交互式网格编辑
JP7053817B2 (ja) 画像セグメンテーション
US20200250880A1 (en) Volume rendering of volumetric image data with interactive segmentation
EP3491622B1 (en) A method and apparatus for refining a model of an anatomical structure in an image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160929

R150 Certificate of patent or registration of utility model

Ref document number: 6018216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250