JP6392309B2 - 自動合焦を含む、トモシンセシススタックをナビゲートするためのシステム - Google Patents

自動合焦を含む、トモシンセシススタックをナビゲートするためのシステム Download PDF

Info

Publication number
JP6392309B2
JP6392309B2 JP2016500514A JP2016500514A JP6392309B2 JP 6392309 B2 JP6392309 B2 JP 6392309B2 JP 2016500514 A JP2016500514 A JP 2016500514A JP 2016500514 A JP2016500514 A JP 2016500514A JP 6392309 B2 JP6392309 B2 JP 6392309B2
Authority
JP
Japan
Prior art keywords
image
region
images
interest
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016500514A
Other languages
English (en)
Other versions
JP2016510669A5 (ja
JP2016510669A (ja
Inventor
チン‐ロン チェン
チン‐ロン チェン
ハイリ チュイ
ハイリ チュイ
ケビン クリーガー
ケビン クリーガー
シャンウェイ チャン
シャンウェイ チャン
Original Assignee
ホロジック インコーポレイティッド
ホロジック インコーポレイティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホロジック インコーポレイティッド, ホロジック インコーポレイティッド filed Critical ホロジック インコーポレイティッド
Publication of JP2016510669A publication Critical patent/JP2016510669A/ja
Publication of JP2016510669A5 publication Critical patent/JP2016510669A5/ja
Application granted granted Critical
Publication of JP6392309B2 publication Critical patent/JP6392309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025Tomosynthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10112Digital tomosynthesis [DTS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

関連出願データ
本出願は、35 U.S.C.§119の下に、2013年3月15日に提出された米国仮特許出願第61/793,437号に対する恩典を主張し、それはその全体が参照により本出願に組み入れられる。
分野
本明細書に開示される本発明は、トモシンセシスを用いる乳房撮影に関し、より具体的には、トモシンセシスデータセットのナビゲーションをガイドするために自動合焦能力を使用するシステムおよび方法に関する。
背景
マンモグラフィは、癌および他の異常をスクリーニングするために長い間用いられてきた。従来、マンモグラムはX線フィルム上に形成されてきた。さらに最近では、マンモグラムをデジタル形式で収集し、それにより、収集した画像の分析および記憶を容易にし、かつ他の利点をも提供するフラットパネルデジタルイメージャーが導入されている。さらに、乳房トモシンセシスなどの方法を用いて乳房の三次元画像を得ることにも多大な関心および技術的開発が注がれている。旧来のマンモグラフィシステムによって生成される2D画像とは対照的に、乳房トモシンセシスシステムは、X線源が画像検出器上でスキャンされる際に画像検出器に対するX線源の異なる偏位角度で各投影画像が得られる、一連の2D投影画像から、3D画像ボリュームを構成する。構成された3D画像ボリュームは、典型的には、画像データの複数のスライスとして提示され、それらのスライスは多くの場合、パドルに対して平行な平面上に幾何学的に再構成されているが、他の再構成角も可能である。再構成されたトモシンセシススライスは、レビューアー(例えば、放射線医または他の医療専門家)が画像スライスをスクロールして、下にある構造を見ることを可能にすることにより、単一の投影2Dマンモグラフィ撮影において存在する組織の重なり合いおよび構造ノイズによって引き起こされる問題を減少させるか、または排除する。
最近、乳癌のスクリーニングおよび診断のためのトモシンセシスシステムが開発されている。特に、Hologic, Inc.(www.hologic.com)は、乳房を固定したままに保ちながら、またはさまざまな乳房圧迫度でのいずれかで、マンモグラム画像およびトモシンセシス画像の一方または両方のタイプを収集する、統合型マルチモードマンモグラフィ/トモシンセシスシステムを開発している。他の会社は、トモシンセシス撮影専用のシステム、すなわち、2Dマンモグラムをも収集する能力は伴わないシステムの導入を提案している。
しかし、トモシンセシスの収集および画像表示に限定されたシステムは、従来の2Dマンモグラム画像の代替物としては、なかなか受け入れられていない。特に、従来の2Dマンモグラムは、微小石灰化の優れた視覚化をもたらし、かつトモシンセシス画像と比較して、より高い空間分解能をもたらすことができる。専用の乳房トモシンセシスシステムによって提供されるトモシンセシス画像は、多くの望ましい特徴、例えば、乳房内の構造のより優れた単離および視覚化を有するが、そのようなシステムは、既存の画像解釈の専門技術を必ずしも強化するとは限らない。
特に、トモシンセシス画像収集時に使用される限定された角度が理由となって、乳房構造は通常、トモシンセシスで再構成された複数の画像スライス上に視認しうると考えられる。しかし、その構造に関する画像スライスが鮮鋭な辺縁/輪郭/細部を提供する、すなわち、あたかも構造/対象物に「焦点が合っている」かのようであるのは、乳房構造が実際に位置する実際の「深さ」(トモシンセシス画像のz軸方向の位置)に近い場合のみである;一方、他のスライス上では、構造/対象物は視認しうるものの、不明瞭な辺縁/輪郭/細部を伴い、すなわち、あたかも構造/対象物に「焦点が合っていない」かのようである。さらに、関心対象のいくつかの対象物または領域が、実際の対象物/構造の深さに適度に近い画像スライスにおいてのみ認識可能であるという可能性もある。そのため、レビューアーは、評価を目的として臨床的な関心対象の対象物または領域の「最良合焦」画像の位置を特定するために、典型的には乳房のサイズおよび再構成スライスの厚さに応じて40〜100枚またはそれを上回る画像を含みうる、乳房トモシンセシススタック全体の画像を通してナビゲートするのに相対的にかなり長い時間を費やすことが必要な場合がある。トモシンセシススタックをレビューするために必要なこの余分な時間は、レビューアーが、それがなければ可能な、従来型マンモグラムを上回る詳細なトモシンセシス画像スライスによってもたらされるさらなる利点を最大限に活用することから遠ざけてしまう恐れがあり、レビューのために典型的に割り当てられる限られた長さの時間しか与えられない場合には特にそうである。
したがって、トモシンセシススタックにおける関心対象の対象物または領域の最良合焦を有する1つの画像または画像のサブセットの位置を迅速かつ正確に特定する能力をレビューアーに与えるシステムおよび方法を提供することは、特に有益であると考えられる。
概要
本明細書において開示および記載される本発明の1つの局面によれば、乳房のボリュメトリック(volumetric)画像データを含むデータセットである、トモシンセシス画像データセットをナビゲートおよびレビューするためのコンピュータ制御ワークステーションが提供され、ここでワークステーションは、ワークステーションと機能的に関連付けされた表示モニター上にデータセットからの1つの画像または一連の画像を表示するように構成されており、レビューアーは、システムのユーザーインターフェースを通して、データセットの現時点で表示されている画像における関心対象の対象物または領域を選択するかまたは別の形で指示して、それにより、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度(best focus measure)を有するデータセットからの画像を表示モニター上に自動的に表示させることができる。追加的および/または代替的に、データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる検出された選択または指示に応答して、システムはデータセットからの一連の近傍焦点(near-focus)画像を表示し、この一連の近傍焦点画像は、ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値の所定の範囲内にありかつ最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含む。いずれの場合にも、続いて表示された画像がユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像を含む場合に、ワークステーションはユーザーに可視または可聴シグナルを提供してもよい。
特に、トモシンセシス画像収集時に使用される限定された角度が理由となって、乳房構造は通常、トモシンセシスで再構成された複数の画像スライス上に視認しうると考えられる。しかし、その構造に関する画像スライスが鮮鋭な辺縁/輪郭/細部を提供する、すなわち、あたかも構造/対象物に「焦点が合っている」かのようであるのは、乳房構造が実際に位置する実際の「深さ」(トモシンセシス画像のz軸方向の位置)に近い場合のみである;一方、他のスライス上では、構造/対象物は視認しうるものの、不明瞭な辺縁/輪郭/細部を伴い、すなわち、あたかも構造/対象物に「焦点が合っていない」かのようである。さらに、関心対象のいくつかの対象物または領域が、実際の対象物/構造の深さに適度に近い画像スライスにおいてのみ認識可能であるという可能性もある。そのため、本明細書に開示される本発明によって提供される利点がなければ、レビューアーは、評価を目的として臨床的な関心対象の対象物または領域の「最良合焦」画像の位置を特定するために、典型的には乳房のサイズおよび再構成スライスの厚さに応じて40〜100枚またはそれをさらに上回る画像を含みうる、乳房トモシンセシススタック全体の画像を通してナビゲートするのに相対的にかなり長い時間を費やすことが必要な場合がある。したがって、トモシンセシススタックにおける関心対象の対象物または領域の「最良合焦」を有する1つの画像または画像のサブセットの位置を迅速かつ正確に特定する能力をレビューアーに与えるシステムおよび方法を提供することは、開示される本発明の特に有益な点である。
開示される本発明のさまざまな態様において、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像は、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される。非限定的な例として、合焦測度は、関心対象の対象物もしくは領域の検出された端部の鮮鋭度、関心対象の対象物もしくは領域のコントラスト、または1つもしくは複数の高周波数成分の測定された大きさと1つもしくは複数の低周波数成分の測定された大きさとの比として計算することができる。その後に、最も高い合焦測度を有する画像に対する、トモシンセシススタックにおける、すなわち画像のz軸方向における近接性に基づいて、近傍焦点画像のサブセットを同定することができる。
いくつかの態様において、ユーザーにより選択または指示された関心対象の対象物または領域を、その最良合焦を有する表示された画像において強調してもよい。例えば、ユーザーにより選択または指示された関心対象の対象物または領域を、強調された対象物または領域の境界を表す輪郭線によって強調してもよい。追加的および/または代替的に、ユーザーにより選択または指示された関心対象の対象物または領域は、強調された対象物または領域が指定されたタイプの組織構造であることまたはそれを含むことを示す様式で強調される。
システムが、関心対象の対象物または領域のユーザーによる選択または指示を検出することに応答して一連の近傍焦点画像を表示する態様において、一連の近傍焦点画像は、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために、同時に、すなわちある特定の順序で表示されてもよい。代替的および/または追加的に、一連の近傍焦点画像は、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために、連続して表示されてもよい。例えば、一連の近傍焦点画像の選択および表示のためのパラメータが、ユーザーインターフェースを通して設定可能であってもよい。1つの態様において、一連の近傍焦点画像は、合焦画像から最も離れたものから始めて、その後に最良合焦画像へと連続的に近づいてゆき、(任意で)そこで終わるように、1つずつ表示される。ひとたび最良合焦画像に到達したところで、一続きの表示を終わらせる代わりに、システムが(例えば、ユーザーの選好に基づいて)次の隣接する近傍焦点画像をある範囲まで表示していき、続いて最良合焦画像に戻り、それにより、ユーザーが最良合焦画像の周囲のすべての画像に関して優れた見通しを得ることもできる。
開示される本発明の別の態様によれば、乳房組織画像をナビゲートおよび表示するためにコンピュータ制御ワークステーションを使用する自動化された方法が提供され、ワークステーションは機能的に関連付けされたユーザーインターフェースおよび表示モニターを含み、本方法は、乳房のボリュメトリック画像データを含むデータセットであるトモシンセシス画像データセットを得る段階;ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、表示モニター上にデータセットからの1つの画像または一連の画像を表示する段階;データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出する段階;続いて表示された画像におけるユーザーにより選択または指示された関心対象の対象物または領域を視覚的目印によって強調する段階;および、一連のさらなる画像を表示する際に、ユーザーにより選択または指示された関心対象の対象物または領域を、可視的目印を改変しながら強調し続ける段階を含む。
視覚的目印は幾何学的図形であってもよく、ここで視覚的目印の改変は、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って幾何学的図形のサイズを変化させることを含む。または、視覚的目印は色であってもよく、ここで視覚的目印の改変は、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って色の色相を変化させることを含む。
[本発明1001]
乳房組織画像をナビゲートおよび表示するためにコンピュータ制御ワークステーションを使用する自動化された方法であって、ワークステーションが、機能的に関連付けされたユーザーインターフェースおよび表示モニターを含み、該方法が、
乳房のボリュメトリック(volumetric)画像データを含むトモシンセシス画像データセットを得る段階;
ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、データセットからの1つの画像または一連の画像を表示モニター上に表示する段階;
データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出する段階;および
ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度(best focus measure)を有するデータセットからの画像を表示する段階
を含む、方法。
[本発明1002]
ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、本発明1001の方法。
[本発明1003]
合焦測度が、関心対象の対象物または領域の検出された端部の鮮鋭度に基づいて計算される、本発明1002の方法。
[本発明1004]
合焦測度が、関心対象の対象物または領域のコントラストに基づいて計算される、本発明1003の方法。
[本発明1005]
合焦測度が、1つまたは複数の高周波数成分の測定された大きさと、1つまたは複数の低周波数成分の測定された大きさとの比に基づいて計算される、本発明1003の方法。
[本発明1006]
ユーザーインターフェースが表示モニターを含む、本発明1001〜1005のいずれかの方法。
[本発明1007]
続いて表示された画像がユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像を含む場合に、可視または可聴シグナルを提供するワークステーションをさらに含む、本発明1001〜1006のいずれかの方法。
[本発明1008]
ユーザーにより選択または指示された関心対象の対象物または領域が、その最良合焦を有する表示された画像において強調される、本発明1001〜1007のいずれかの方法。
[本発明1009]
ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域の境界を表す輪郭線によって強調される、本発明1008の方法。
[本発明1010]
ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域が指定されたタイプの組織構造であることまたはそれを含むことを示す様式で強調される、本発明1008の方法。
[本発明1011]
トモシンセシス画像データセットをナビゲートおよびレビューするためにコンピュータ制御ワークステーションを使用する方法であって、データセットが乳房のボリュメトリック画像データを含み、該方法が、
データセットからの1つの画像または一連の画像を、ワークステーションと機能的に関連付けされた表示モニター上に表示させる段階;ならびに
表示モニターおよびワークステーションを含むかまたはそれらと機能的に関連付けされたユーザーインターフェースを通して、データセットの現時点で表示されている画像における関心対象の対象物または領域を選択または指示する段階であって、それにより、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示モニター上に自動的に表示させる、段階
を含む、方法。
[本発明1012]
データセットからの一連の画像を表示モニター上に表示させる段階が、ユーザーインターフェースを用いてデータセットの画像をスクロールすることを含む、本発明1011の方法。
[本発明1013]
ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示する段階が、データセットからの一連の近傍焦点(near-focus)画像を表示モニター上に表示することを含み、
ここで一連の近傍焦点画像が、ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値の所定の範囲内にありかつ該最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含む、本発明1001の方法。
[本発明1014]
一連の近傍焦点画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために同時に表示される、本発明1013の方法。
[本発明1015]
一連の近傍焦点画像の画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために連続して表示される、本発明1013の方法。
[本発明1016]
一連の近傍焦点画像の画像が、複数回、そのたびに異なる順序で表示される、本発明1015の方法。
[本発明1017]
一連の近傍焦点画像の選択および表示のためのパラメータが、ユーザーインターフェースを通して設定可能である、本発明1013〜1016のいずれかの方法。
[本発明1018]
ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、本発明1013〜1017のいずれかの方法。
[本発明1019]
関心対象の対象物もしくは領域の検出された端部の鮮鋭度、
関心対象の対象物もしくは領域のコントラスト、または
1つもしくは複数の高周波数成分の測定された大きさと1つもしくは複数の低周波数成分の測定された大きさとの比
のうち1つまたは複数に基づいて合焦測度が計算される、本発明1018の方法。
[本発明1020]
乳房組織画像をナビゲートおよび表示するためにコンピュータ制御ワークステーションを使用する自動化された方法であって、ワークステーションが、機能的に関連付けされたユーザーインターフェースおよび表示モニターを含み、該方法が、
乳房のボリュメトリック画像データを含むトモシンセシス画像データセットを得る段階;
ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、表示モニター上にデータセットからの一連の画像を表示する段階;
データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出する段階;
続いて表示された画像におけるユーザーにより選択または指示された関心対象の対象物または領域を視覚的目印によって強調する段階;および
一連のさらなる画像を表示する際に、ユーザーにより選択または指示された関心対象の対象物または領域を、視覚的目印を改変しながら強調し続ける段階
を含む、方法。
[本発明1021]
視覚的目印が幾何学的図形であり、視覚的目印の改変が、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って幾何学的図形のサイズを変化させることを含む、本発明1021の方法。
[本発明1022]
視覚的目印が色であり、視覚的目印の改変が、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って色の色相を変化させることを含む、本発明1020の方法。
[本発明1023]
関心対象の対象物もしくは領域の検出された端部の鮮鋭度、
関心対象の対象物もしくは領域のコントラスト、または
1つもしくは複数の高周波数成分の測定された大きさと、1つもしくは複数の低周波数成分の測定された大きさとの比
のうち1つまたは複数に基づいて合焦測度が計算される、本発明1021または1022の方法。
[本発明1024]
トモシンセシス画像データセットをナビゲートおよびレビューするためのシステムであって、データセットが乳房のボリュメトリック画像データを含み、システムが、
画像処理コンピュータ;
画像処理コンピュータと機能的に関連付けされた画像表示モニター;ならびに
画像処理コンピュータおよび表示モニターと機能的に連結されたユーザーインターフェース
を含み、ここで画像処理コンピュータが、
ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、データセットからの一連の画像のうち1つまたは複数を表示モニター上に表示し;
データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し;かつ
ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示する
ように構成されている、システム。
[本発明1025]
ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、本発明1024のシステム。
[本発明1026]
合焦測度が、関心対象の対象物または領域の検出された端部の鮮鋭度に基づいて計算される、本発明1025のシステム。
[本発明1027]
合焦測度が、関心対象の対象物または領域のコントラストに基づいて計算される、本発明1025のシステム。
[本発明1028]
合焦測度が、1つまたは複数の高周波数成分の測定された大きさと、1つまたは複数の低周波数成分の測定された大きさとの比に基づいて計算される、本発明1025のシステム。
[本発明1029]
ユーザーインターフェースが表示モニターを含む、本発明1024〜1028のいずれかのシステム。
[本発明1030]
続いて表示された画像がユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像を含む場合に、可視または可聴シグナルを提供するワークステーションをさらに含む、本発明1024〜1029のいずれかのシステム。
[本発明1031]
ユーザーにより選択または指示された関心対象の対象物または領域が、その最良合焦を有する表示された画像において強調される、本発明1024〜1030のいずれかのシステム。
[本発明1032]
ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域の境界を表す輪郭線によって強調される、本発明1031のシステム。
[本発明1033]
ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域が指定されたタイプの組織構造であることまたはそれを含むことを示す様式で強調される、本発明1031のシステム。
[本発明1034]
トモシンセシス画像データセットをナビゲートおよびレビューするためのシステムであって、データセットが乳房のボリュメトリック画像データを含み、システムが、
画像処理コンピュータ;
画像処理コンピュータと機能的に関連付けされた画像表示モニター;ならびに
画像処理コンピュータおよび表示モニターと機能的に連結されたユーザーインターフェース
を含み、ここで画像処理コンピュータが、
ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、データセットからの一連の画像のうち1つまたは複数を表示モニター上に表示し;
データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し;かつ
ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値の所定の範囲内にありかつ該最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含むデータセットからの一連の近傍焦点画像を、表示モニター上に表示する
ように構成されている、システム。
[本発明1035]
一連の近傍焦点画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために同時に表示される、本発明1034のシステム。
[本発明1036]
一連の近傍焦点画像の画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために連続して表示される、本発明1034のシステム。
[本発明1037]
一連の近傍焦点画像の画像が、複数回、そのたびに異なる順序で表示される、本発明1036のシステム。
[本発明1038]
一連の近傍焦点画像の選択および表示のためのパラメータが、ユーザーインターフェースを通して設定可能である、本発明1034〜1037のいずれかのシステム。
[本発明1039]
ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、本発明1034〜1038のいずれかのシステム。
[本発明1040]
関心対象の対象物もしくは領域の検出された端部の鮮鋭度、
関心対象の対象物もしくは領域のコントラスト、または
1つもしくは複数の高周波数成分の測定された大きさと、1つもしくは複数の低周波数成分の測定された大きさとの比
のうち1つまたは複数に基づいて合焦測度が計算される、本発明1039のシステム。
開示される本発明のこれらのおよび他の局面および態様は、添付の図とともに、以下に詳細に記載されている。
トモシンセシスCADプロセッサを含む、乳房X線トモシンセシス撮影環境の概念図を図示している。 例示的な乳房X線トモシンセシス投影および再構成の幾何学構成を図示している。 各々のRMLOおよびLMLO画像スライスを表示している左側のモニター;ならびに各々のRCCおよびLCC画像スライスを表示している右側のモニターを含む、例示的なトモシンセシス画像レビュー用ワークステーションの隣接する表示モニターを描写している。 図3に表示されたLCC画像と同じ画像セットからのLCC画像スライスを表示している単一のモニターを描写している。 現時点で表示されている画像スライスのスライス番号を指し示す、各々の画像スライスの横脇に表示されているスライス標識の拡大図である。 画像スライスの相対的z軸位置に応じた丸い組織塊の視認度および鮮明さの違いを図示している、図3および4のLCC画像と同じトモシンセシス画像セットから得られた、表示されたLCC画像スライスを描写している。 同じく図3〜5と同じトモシンセシス画像セットからの、表示された最良合焦LCCスライスを描写している。 最良合焦画像スライスに、z軸に沿ったその後のスライスを加えたものを含む、(同じ)トモシンセシス画像セットからの一連の表示された近傍焦点LCCスライスを描写している。 図7に示された一連の表示された近傍焦点LCC画像スライスを逆の順序で描写しており、ここでは丸い塊が、長方形括弧記号の形の視覚的目印によって強調されている。 モニターの中央領域における表示された最良合焦LCCスライスを、最良合焦スライスの横脇に縦に重ねて表示されている一連の近傍焦点LCCスライスとともに描写している。 トモシンセシス画像セットにおける関心対象の対象物または領域の最良合焦画像スライスまたは一連の近傍焦点スライスを表示するための例示的なプロセスを図示している流れ図である。 トモシンセシス画像セットにおける関心対象の対象物または領域の合焦測度を計算するための例示的なプロセスを図示している流れ図である。 選択された関心対象の対象物または領域に関して、トモシンセシス画像セットにおけるすべての画像のうち、最も高い相対的合焦測度を有する画像を同定するためのプロセスを図示している。
例示される態様の詳細な説明
添付の図面に図示されている、開示される本発明の描写された態様の説明においては、説明の明確さおよび容易さのために特定の用語が用いられる。しかし、本特許明細書の開示は、そのように選択された特定の用語に限定されることを意図したものではなく、各特定の要素は、類似したやり方で作動するすべての技術的同等物を含むものと理解されよう。さらに、可能であれば、本開示および添付される特許請求の範囲内で、さまざまな例示的態様のさまざまな要素および/または特徴を互いに組み合わせること、および/または互いに置換することもできることも理解されよう。
トモシンセシス撮像収集および計算
追加的な背景情報を提供する目的で、その全体が参照により本明細書に組み入れられる、「Computer-aided detection of anatomical abnormalities in x-ray tomosynthesis images」と題する、米国特許第8,223,916号から採った図1および図2を参照する。
図1は、コンピュータ支援検出(CAD)能力を含む、乳房X線トモシンセシス撮影環境の概念図を図示している。図1に示されているのはネットワーク112であり、これはHIS/RIS(Hospital Information System/Radiology Information System)ネットワークであってもよく、それに乳房X線トモシンセシス収集デバイス104が接続されている。収集デバイス104は、乳房プラットフォーム108上に支えられた女性の乳房に向けてX線を投影するX線源106を、乳房プラットフォーム108の下にあるX線撮影装置110とともに含む。X線源106は乳房プラットフォーム108に対して円弧状軌道を移動し、それに沿った指定の角度でX線放射線を放出し、それがX線撮影装置110によって捕捉されてトモシンセシス投影画像のセットが形成される。トモシンセシス投影画像は、トモシンセシスプロセッサ114によって、1つまたは複数のトモシンセシス再構成アルゴリズムに従って処理されて、トモシンセシス再構成画像が形成され、これらの画像は、放射線医にとって最適な視覚的表示となる向きの像を用いて形成され、フィルター処理される(「提示用」)。別のプロセスにおいて、トモシンセシス投影画像は、乳房ボリュームにおける解剖学的異常を検出するために、トモシンセシスCADプロセッサ115によって処理される。続いて、トモシンセシス画像情報が、放射線学的レビュー用ワークステーション118にて、付随するCAD結果とともに見られる。
図2は、種々の角度での乳房X線トモシンセシス投影撮影の概念図を図示している。入射放射線は、圧迫された乳房ボリュームに対して複数「N」個の乳房X線トモシンセシス投影角φn、n=1...Nで当たり、その結果、対応する複数「N」個のトモシンセシス投影画像Tpφn(x,y)、n=1...Nが生じる。典型的な計画では、各投影画像Tpφn(x,y)がおおよそ1710×2140個のピクセルを含むN=11またはN=15個の投影画像が可能であり、これは、140μmのピクセル分解能を有する、おおよそ24cm×30cmのサイズのX線検出器に対応すると考えられる。
図2には、撮影された乳房ボリュームの三次元幾何学構成202も、トモシンセシス再構成アルゴリズムの概念的記号とともに図示されており、ここで特定の平面「m」は検出平面の上側に所定の高さhmを有し、「N」個の投影画像Tpφn(x,y)、n=1...Nが処理されて、二次元トモシンセシス再構成画像Trm(x,y)となる。より具体的には、N個の投影画像Tpφn(x,y)、n=1...Nが、逆投影(または他のトモシンセシス再構成アルゴリズム)によって組み合わされて、その特定のhm値に基づき、所定の高さhmの近傍に位置するX線減弱性組織の影響を強調し(例えば、ぼかさない)、かつ、所定の高さhmとは隔たって位置するX線減弱性組織では強調を弱める(例えば、ぼかす)様式で、トモシンセシス再構成画像Trm(x,y)が形成される。
理論上は、別個の二次元トモシンセシス再構成画像Trm(x,y)を生成しうる異なる所定の高さhmの数は任意の大きさであってよく、これはhmが単に再構成(逆投影)アルゴリズムに投入される選択可能なパラメータであるためである。実際には、有用な情報の究極的な量は「N」個の投影画像という有限な数によって制約されるため、トモシンセシス再構成の幾何学構成は、通常、所定の数「M」個の再構成された画像アレイTrm(x,y)に限定される。好ましくは、数「M」は、再構成された画像アレイTrm(x,y)が、下方の圧迫プレートと上方の圧迫プレートとの間の撮影された乳房ボリュームの垂直方向範囲を、比較的小さいサイズの微小石灰化を捕捉するのに十分な小ささである垂直方向間隔(1mmなど)で均一に満たすように選択される。
各トモシンセシス再構成画像Trm(x,y)の水平方向範囲は、各投影画像Tpφn(x,y)のものと同程度であってよく、すなわち、トモシンセシス再構成画像Trm(x,y)のピクセル数および空間分解能は、投影画像Tpφn(x,y)に関するものと同程度であってよい。しかし、そのような対応関係が要求されるわけではなく、スーパーサンプリング、サブサンプリングまたは他のリサンプリングをさまざまな理由で利用することができる。例えば、異なるトモシンセシス再構成アルゴリズムの特定の幾何学構成は互いに異なりうると考えられ、この場合には、比較される、加算される、乗算される、マッピングされる、または他の形で一緒に処理される、結果的に生じるアレイが、互いに登録されるように、そのようなリサンプリングがそれらの中に必要に応じて組み込まれる。用いる特定のトモシンセシス再構成アルゴリズムによっては、異なるトモシンセシス再構成画像Trm(x,y)の水平方向分解能は、異なるレベルに対しては異なってもよく、例えば、一番上のレベルではピクセル当たり95μmであって、一番下のレベルではピクセル当たり108μmであってもよい。
本明細書で用いる場合、撮影された乳房ボリュームの三次元幾何学構成とは、少なくとも乳房の臨床的に重要な部分(例えば、乳房の実質組織は含むが、皮膚および圧迫プレート間の乳房の周りの何もない空間は除外される)の全体にわたって広がる、規定数のレベルを有する空間制限三次元グリッドのことを指す。あらかじめ定められた単一のトモシンセシス再構成アルゴリズムのみがかかわる場合には、撮影された乳房ボリュームの三次元幾何学構成は、そのあらかじめ定められたトモシンセシス再構成アルゴリズムにおけるレベルの数に基づくことができる。複数の異なる幾何学構成を有する、あらかじめ定められた複数のトモシンセシス再構成アルゴリズムがかかわる場合には、撮影された乳房ボリュームの三次元幾何学構成はそれらの1つに基づくことができ、その上で、適切な登録がもたらされるように他のものにリサンプリングを組み込む。または、撮影された乳房ボリュームの三次元幾何学構成が、「提示用」トモシンセシス再構成画像を生成するために用いられたか、または用いられるであろう、トモシンセシス再構成アルゴリズムに基づくことも可能と考えられる。
表示されたトモシンセシス画像セットのナビゲーションおよびレビュー
本明細書に開示される本発明の自動合焦能力を使用するトモシンセシスワークステーションの好ましい態様について、これから説明する。レビュー用ワークステーションの個々の構成要素が非常に基本的な(一般的な)様式で記載されていること、および、本明細書に開示される本発明を、現時点で普及している広範な数、タイプおよび種類のコンピュータ(プロセッサ)制御ワークステーションのいずれで実施してもよいことは、当業者には了解されるであろう。本明細書で用いる場合、「ユーザー」および「レビューアー」という用語は互換的に用いられるものとする。
特に、トモシンセシス画像データセットをナビゲートおよびレビューするための例示的なシステムは、画像プロセッサ(例えば、コンピュータ)、画像プロセッサと機能的に関連付けされた画像表示モニター;ならびに、画像プロセッサおよび表示モニターと機能的に接続されたユーザーインターフェースを含み、ここでユーザーインターフェースは、実際には、全体または一部として、表示モニター(すなわち、「タブレット」、「ポッド」または他の「スマート」デバイスなどのタッチスクリーン式デバイス)を含みうる。画像プロセッサは、ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、トモシンセシスデータセットからのユーザーにより選択された画像スライスを表示モニター上に表示するように構成されている。画像プロセッサはさらに、データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出するように構成されている(例えば、ユーザーが、「マウスデバイス」によって制御される図形処理された矢印を、各々の対象物または領域の上に、ある時間にわたって重ねた場合、および/またはその位置にある時にそれに是認的動作(例えば、クリックすること)を行った場合)。
より具体的な例示を目的として、図3は、それぞれ右および左中外斜位方向(「RMLO」および「LMLO」)の画像スライス32Lおよび32Rを表示している左側のモニター32;ならびにそれぞれ右および左頭尾方向(「RCC」および「LCC」)の画像スライス34Lおよび34Rを表示している右側のモニター34を含む、例示的なトモシンセシス画像レビューワークステーション30の隣接する表示モニター32および34を描写している。RMLO、LMLO、RCCおよびLCC画像は、中外斜位方向および頭尾方向のそれぞれに関する右乳房および左乳房画像データを含む各々のトモシンセシス画像セット(「トモスタック」)から得られ、合計4種類のトモスタックが得られる。具体的には、表示されているRMLO方向像は、スライス48枚のRMLOトモスタックのうち画像18である;表示されているLMLO方向像は、スライス48枚のLMLOトモスタックのうち画像28である;表示されているRCC方向像は、スライス48枚のRCCトモスタックのうち画像18である;そして、表示されているLCC方向像はスライス48枚のLMLOトモスタックのうち画像24である。異なるトモスタックが異なる数の画像スライスを含みうること、および48枚の画像スライスを有する例示的トモスタックはそれぞれ単に例に過ぎないことは、当業者には理解されるであろう。
注目すべきこととして、丸い組織塊38が、LMLOおよびLCC画像スライスのそれぞれにおいて視認される。画像スライスが異なる(直交性)画像平面から採られており、すなわち、LMLOスライス28は「側面像」のz軸に沿って採られた断面を含み、LCCスライス24はLMLO画像セットのz軸に対して直交性である上下方向像のz軸に沿って採られた断面を含むことから、各々のLMLOおよびLCC画像スライスにおける組織塊の個々の方向像が、鮮明さおよび向きのいずれの点でも異なることは理解されるであろう。
考察を簡素化する目的で、本明細書の残りの部分ではLCC(左乳房頭尾方向)トモスタックのみについて言及するが、記載される本発明の概念および特徴は、あらゆるトモ画像スタック、ならびに乳房以外のその他の体組織の画像ボリュームのナビゲーションおよびレビューに対しても等しく適用される。
図4は、図3に表示されたLCCスライス24と同じトモスタックのLCCスライス16を表示しているモニター34Lを描写している。丸い塊38がLCCスライス16において視認されるが、図3のLCCスライス24におけるほどには焦点が合っておらず、このことは、LCCトモスタックのz軸方向での塊の実際の位置がスライス16よりもスライス24に近いことを指し示している。図4Aで最もよく見てとれるように、動画式の「スライドノブ」を含むスライス標識40が、トモスタックの現時点で表示されているスライスのスライス番号(すなわち、相対的z軸位置)をレビューアーに提供するために、各表示の右下隅に用意されている。このため、レビューアーが、適したユーザーインターフェース(すなわち、コンピュータマウス)を用いてトモスタックの画像スライスをスクロールすると、スライス標識上のノブ42が、その時点で表示されているスライスを反映するように移動する。表示されているスライスがトモスタックの中の次のものに変化したことをレビューアーに知らせるために、可聴音(例えば、「クリック音」)を用意することもできる。
レビューアーの目から見た様子を示す目的で、図5は、図3および4に描写されている画像と(同じ)LCCトモスタックの各々の画像スライス1、16、32および48を描写しており、これらは、各々の画像スライスの相対的z軸位置に応じた、丸い塊38の視認度および鮮明さの違いを明らかに示している。具体的には、スライス1では塊を読み取るのが困難であるが、スライス16ではより視認しうるようになり、スライス32ではさらに視認性および鮮明さが増す(端部、輝度などに関して)ものの、スライス48ではぼけて、読み取るのが困難になっている。
1つの態様において、本システムは、トモスタックから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し、それに応答して、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示する。例えば、図6は、(同じ)トモシンセシス画像セットのうち、丸い組織塊38の視認度および鮮明さに関する、表示された「最良合焦」LCC画像スライス(スライス25)を描写している。本明細書においてさらに詳細に説明している通り、組織塊38に関する最良合焦スライス25は、LCCトモスタックの各画像スライス1〜48に対する組織塊38の計算された合焦測度の比較に基づいて、システムプロセッサによって決定された。当然ながら、レビューアーが関心対象の特定の対象物または領域を選択するかまたは他の様式で指示した時点で表示された画像スライスが、実際に、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像であると判明する可能性もある。この場合には、画像プロセッサが、表示された画像スライスがそれ以後に他のものに変わらないように、そのことをレビューアーに知らせるための可視または可聴シグナル(例えば、ビープ音および/または対象物の強調)を提供してもよい。
別の態様において、本システムは、トモスタックから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し、それに応答して、データセットからの一連の近傍焦点画像を表示モニター上に表示し、ここで一連の近傍焦点画像は、ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値を所定の範囲内にありかつ最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含む。例えば、図7は、最良合焦LCCスライス25に、その後のLCCスライス27、29および31を加えたものを含む、(同じ)トモシンセシス画像セットからの一連の表示された近傍焦点LCC画像スライスを描写しており、これは、各々の画像スライスが最も良く合焦したスライス25(一番左に表示された画像)から相対的に最も焦点が合っていないスライス31(一番右に表示された画像)へとz軸方向に進むにつれて、丸い組織塊38の視認度および鮮明さが幾分変化することを実証している。
1つの態様においては、例えば図9に描写されているように、一連の近傍焦点の各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために、一連の近傍焦点画像を同時に表示する。具体的には、図9は、スライス25からのz軸に沿った各方向における組織塊の変化をレビューアーが見てとれるように、モニターの中央領域に表示された最良合焦LCCスライス25を、最良合焦スライス25の横脇に縦に重ねて表示されているサブセット近傍焦点LCC画像スライス21、23、25、27および29とともに描写している。
別の態様において、一連の近傍焦点の各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために、一連の近傍焦点画像は連続して表示される。例えば、トモスタックのz軸方向に沿った関心対象の対象物または領域の変化をレビューアーに伝えるために、図7の画像スライス25、27、29および31を、連続した順序で、1つずつ、それぞれ所定の期間(例えば、1秒)にわたって自動表示させることができる。この「ビデオループ」機能を、任意で複数回繰り返すように構成すること、およびさらに任意で、各々の画像スライスを異なる一続きのループにおいて異なる順序(例えば、最も下のスライスから最も上のものに、続いて逆の順序で)で表示するように構成することもできる。一連の近傍焦点画像の画像を表示するための具体的なパラメータを、ユーザーインターフェースを通して設定可能であることが好ましい。
いくつかの態様においては、レビューアーを補助する目的で、本システムは、さまざまなソース画像における異なる乳房組織の対象物および構造を同定するための公知の画像処理手法を使用し、レビューアーは(任意で)システムに、各々の最良合焦画像および/または近傍焦点画像におけるそのような対象物および構造、特に、微小石灰化クラスター、丸いかもしくは分葉状の塊、針状塊、構造の歪みなどの異常対象物を含むかまたはそれらと関連のある組織構造;ならびに線状組織、嚢胞、リンパ節、血管などの正常乳房組織を含むかまたはそれらと関連のある良性組織構造を強調させることができる。例えば、ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域の境界を表す輪郭線によって強調される。さらに、さまざまなタイプの組織構造からなるかまたはそれらを含む関心対象の対象物または領域を、それらを合焦プロセスの各々の対象とする際に異なる様式で強調することもできる。
非限定的な例示として、図8は、図7に示された一連の表示された近傍焦点LCC画像スライスを、逆の順序で、すなわちスライス31、29、27および25の順に描写しており、ここでは丸い塊が長方形括弧記号の形の視覚的目印58a〜dによって強調されていて、これらは、画像スライスが相対的に最も焦点が合っていないスライス31(一番左表示された画像)から最も良く合焦したスライス25(一番右に表示された画像)へとz軸方向に進むにつれて、組織塊38の周りに漸進的に近くに移動する。この場合も、一連の近傍焦点画像の各々の画像スライスの提示は、同時に提示してもよく(静的比較のために)、または動的比較のためにビデオループスタイル形式で提示してもよい。
図10は、セットから以前に表示された画像スライスにおける、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するトモシンセシスデータセットからの画像スライスを表示するための例示的なプロセスを図示している流れ図である。最初に、段階1002で、レビューアーはシステムに、例えば、48枚のスライスを有する、以前に例示および説明されたLCCトモスタックのトモシンセシス画像セットのレビューを開始させる。その後に、レビューアーは、画像スライスを、典型的には、しかし必然的ではないが、スライス1から始める昇順でスクロールする。
段階1004で、レビューアーは、トモスタックの続いて表示された画像スライスにおける組織の対象物または領域内の関心対象物(すなわち、臨床評価用)を選択するかまたは別の様式で指示する。関心対象の対象物または領域(図10および11におけるプロセスを説明する目的で、以下では「ROI」と総称する)のユーザーによる選択または指示が検出されると、段階1006で、システムはその後、トモスタックの各画像スライスにおける選択/指示されたROIに関して合焦測度を計算する。
図11および12に関連して以下にさらに詳細に説明するように、レビューアーによって指示された所望の表示プロトコールによっては、段階1008で、システムは、ROIに関するトモスタックのすべての画像スライスの中から、最良の(例えば、測定プロトコールによっては「最も高い」)合焦測度を有する、トモスタックからの画像スライスを表示する。代替的または追加的に、段階1010で、システムが、上記のように、ROIの一連の近傍焦点画像スライスを表示してもよい。一連の近傍焦点画像に該当する範囲のスライスを、システムによってあらかじめ構成させてもよく、またはユーザーが設定することもできる。例えば、ユーザーが、表示された一連の画像が、互いに5パーセントの範囲内にある合焦測度を有するトモスタックのうち選択された数の画像(例えば、5つ)を含み、かつ最良合焦測度を有する画像を含むように、ユーザーインターフェースを通して指示してもよい。
図11は、トモシンセシス画像セットの表示された画像スライスにおける、ユーザーにより選択または指示された関心対象の対象物または領域の合焦測度を計算するための例示的なプロセスを図示している流れ図である。以上に考察したように、プロセスは、段階1102で、レビューアーが、現時点で表示されている(または「続いて表示された」)画像スライスにおけるROIを選択するかまたは他の様式で指示すると始まる。続いて、トモスタック全体のうち、ROIの最良合焦測度を有する画像スライスが、トモスタックの各画像スライスに関するROIの合焦測度の比較に基づいて、システムによって決定される。
本明細書に開示される本発明によれば、合焦スコア、およびそれ故に最良合焦スコアの決定は、段階1104Aで、合焦測度を関心対象の対象物または領域の検出された端部の鮮鋭度に基づく公知の画像処理手法に従って計算することを含む、いくつかのやり方で実現することができる。例えば、関心対象の領域の内側で検出された端部の勾配の大きさの合計は、検出された端部の鮮鋭度に関する公知の測度である。代替的および/または追加的に、段階1104Bで、関心対象の対象物または領域の計算されたコントラストに基づく画像処理手法に基づいて合焦測度を計算することもでき、ここでコントラストは、関心対象の領域における全ピクセルにわたって合計した、あるピクセルとその近傍の8つのものとの差の絶対値と定義することができる。代替的および/または追加的に、段階1104Cで、1つまたは複数の高周波数成分の測定された大きさと1つまたは複数の周波数成分の測定された大きさとの比に基づく公知の画像処理手法に従って合焦測度を計算することもでき、ここで高周波数成分は前景にある対象物の鮮鋭な端部に対応し、低周波数成分は背景にあるぼけた領域に対応する。高周波数成分の測定された大きさと低周波数成分の測定された大きさとの比が高い値であることは、関心対象の対象物または領域が合焦していることを指し示す。
各スライスに関する合焦測度がひとたび決定されれば、段階1106で、システムに、最良合焦測度スコアを有する画像スライス、および/または所定内の範囲内にある合焦測度、例えば、5%の範囲内にある最良合焦測度を有する一連の画像を表示させることもできる。このプロセスは、図12において以上に記載および例示されたLCCトモスタックに関して図示されており、そこには例示の目的で、LCCトモ画像スタックのz軸方向に進んでいく画像スライス15、20、25、30および35に関して、丸い組織塊38の各々の計算された合焦測度値が描写されている。具体的には、図12のグラフ中にプロットされた合焦測度スコアは、選択された画像ROIの内部での、高周波数成分の測定された大きさと低周波数成分の測定された大きさとの比を用いて計算した。見てとれるように、画像スライス25が最も高い合焦測度値を有し、この場合にはこれは「最良」合焦測度をも意味する。
例示的な態様を説明してきたが、以上に説明され、添付の図面において描写された例は例示的であるに過ぎず、他の態様および例も、添付の特許請求の範囲内に含まれることは了解されよう。例えば、添付の図面において提示された流れ図は、例示的な段階の例示であり、全体的な画像マージプロセスを、当技術分野において公知の他のデータマージ法を用いる種々の様式で達成することもできる。システムのブロック図は単に、機能的表現を図示している代表であるに過ぎず、開示される本発明の限定的要件と見なされるべきではない。したがって、以上の具体的な態様は例示的であり、添付の特許請求の範囲を逸脱することなく、これらの態様に多くの変更を導入することができる。

Claims (5)

  1. トモシンセシス画像データセットをナビゲートおよびレビューするためのシステムであって、データセットが乳房のボリュメトリック画像データを含み、システムが、
    画像処理コンピュータ;
    画像処理コンピュータと機能的に関連付けされた画像表示モニター;ならびに
    画像処理コンピュータおよび表示モニターと機能的に連結されたユーザーインターフェース
    を含み、ここで画像処理コンピュータが、
    ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、データセットからの一連の画像のそれぞれを表示モニター上に、連続した順序または逆の順序で表示し;
    データセットからの一連の画像のそれぞれが表示モニターに表示された場合に、該一連の画像のそれぞれにおける、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し;かつ
    ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの一連の画像のうちの一つの画像を表示する
    ように構成され
    ユーザーにより選択または指示された関心対象の対象物または領域についての最良合焦測度を有する画像は、データセットからの一連の画像のうちの各画像に関して関心対象の対象物または領域についての合焦測度の比較に基づいて決定され、
    該合焦測度は、一つまたは複数の高周波数成分の測定された大きさと一つまたは複数の低周波数成分の測定された大きさとの比に基づいて計算される、
    システム。
  2. ユーザーインターフェースが表示モニターを含む、請求項1記載のシステム。
  3. 表示モニターに表示された画像がユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像と判明した場合に、可視または可聴シグナルを提供するワークステーションをさらに含む、請求項1または2記載のシステム。
  4. ユーザーにより選択または指示された関心対象の対象物または領域が、その最良合焦を有する表示された画像において強調される、請求項13のいずれか一項記載のシステム。
  5. ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域の境界を表す輪郭線によって強調される、請求項4記載のシステム。
JP2016500514A 2013-03-15 2014-02-28 自動合焦を含む、トモシンセシススタックをナビゲートするためのシステム Active JP6392309B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361793437P 2013-03-15 2013-03-15
US61/793,437 2013-03-15
PCT/US2014/019515 WO2014149554A1 (en) 2013-03-15 2014-02-28 System and method for navigating a tomosynthesis stack including automatic focusing

Publications (3)

Publication Number Publication Date
JP2016510669A JP2016510669A (ja) 2016-04-11
JP2016510669A5 JP2016510669A5 (ja) 2018-04-19
JP6392309B2 true JP6392309B2 (ja) 2018-09-19

Family

ID=50290297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016500514A Active JP6392309B2 (ja) 2013-03-15 2014-02-28 自動合焦を含む、トモシンセシススタックをナビゲートするためのシステム

Country Status (5)

Country Link
US (3) US10624598B2 (ja)
EP (1) EP2967473B1 (ja)
JP (1) JP6392309B2 (ja)
CN (1) CN105451657A (ja)
WO (1) WO2014149554A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5554927B2 (ja) 2006-02-15 2014-07-23 ホロジック, インコーポレイテッド トモシンセシスシステムを使用した乳房バイオプシおよびニードル位置特定
CN102481146B (zh) 2009-10-08 2016-08-17 霍罗吉克公司 乳房的穿刺活检系统及其使用方法
US9075903B2 (en) 2010-11-26 2015-07-07 Hologic, Inc. User interface for medical image review workstation
CA2829349C (en) 2011-03-08 2021-02-09 Hologic, Inc. System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy
EP2782505B1 (en) 2011-11-27 2020-04-22 Hologic, Inc. System and method for generating a 2d image using mammography and/or tomosynthesis image data
CN104135935A (zh) 2012-02-13 2014-11-05 霍罗吉克公司 用于利用合成图像数据导航层析堆的系统和方法
EP2967473B1 (en) 2013-03-15 2020-02-19 Hologic, Inc. System and method for navigating a tomosynthesis stack including automatic focusing
JP6388347B2 (ja) 2013-03-15 2018-09-12 ホロジック, インコーポレイテッドHologic, Inc. 腹臥位におけるトモシンセシス誘導生検
EP3646798B1 (en) 2013-10-24 2023-09-27 Hologic, Inc. System and method for navigating x-ray guided breast biopsy
EP3868301B1 (en) 2014-02-28 2023-04-05 Hologic, Inc. System and method for generating and displaying tomosynthesis image slabs
WO2016044465A1 (en) * 2014-09-16 2016-03-24 Sirona Dental, Inc. Methods, systems, apparatuses, and computer programs for processing tomographic images
JP6126058B2 (ja) * 2014-09-30 2017-05-10 富士フイルム株式会社 画像表示装置、画像処理装置、放射線画像撮影システム、断層画像表示方法、及び断層画像表示プログラム。
WO2016120441A2 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images
WO2016166871A1 (ja) * 2015-04-16 2016-10-20 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
WO2017021919A1 (en) * 2015-08-06 2017-02-09 Tel Hashomer Medical Research, Infrastructure And Services Ltd. Mamography apparatus
US10146904B2 (en) * 2015-11-25 2018-12-04 Fovia, Inc. Methods and systems and dynamic visualization
JP6821943B2 (ja) * 2016-04-22 2021-01-27 コニカミノルタ株式会社 画像生成システム
DE102016208647A1 (de) * 2016-05-19 2017-11-23 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Überwachung einer Brustuntersuchung
US11455754B2 (en) 2017-03-30 2022-09-27 Hologic, Inc. System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
WO2018183548A1 (en) * 2017-03-30 2018-10-04 Hologic, Inc. System and method for hierarchical multi-level feature image synthesis and representation
JP7174710B2 (ja) 2017-03-30 2022-11-17 ホロジック, インコーポレイテッド 合成乳房組織画像を生成するための標的オブジェクト増強のためのシステムおよび方法
WO2018236565A1 (en) 2017-06-20 2018-12-27 Hologic, Inc. METHOD AND SYSTEM FOR MEDICAL IMAGING WITH DYNAMIC SELF-LEARNING
US10671896B2 (en) * 2017-12-04 2020-06-02 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US10779791B2 (en) * 2018-03-16 2020-09-22 General Electric Company System and method for mobile X-ray imaging
CN109902189B (zh) * 2018-11-30 2021-02-12 华为技术有限公司 一种图片选择方法及相关设备
JP7209599B2 (ja) 2019-07-29 2023-01-20 富士フイルム株式会社 画像処理装置、方法およびプログラム
CN114126490A (zh) 2019-07-29 2022-03-01 深圳帧观德芯科技有限公司 三维成像的系统和方法
US11883206B2 (en) * 2019-07-29 2024-01-30 Hologic, Inc. Personalized breast imaging system
JP7203705B2 (ja) 2019-09-17 2023-01-13 富士フイルム株式会社 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
KR20220069946A (ko) 2019-09-27 2022-05-27 홀로직, 인크. 2d/3d 유방 영상들을 검토하는 판독 시간 및 판독 복잡도를 예측하기 위한 ai 시스템
JP7416909B2 (ja) * 2020-03-09 2024-01-17 富士フイルム株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
WO2021186956A1 (ja) * 2020-03-18 2021-09-23 富士フイルム株式会社 画像処理装置、方法およびプログラム
CN115131350B (zh) * 2022-08-30 2022-12-16 南京木木西里科技有限公司 一种大景深观测与表面形貌分析系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5740270A (en) 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
US5499097A (en) 1994-09-19 1996-03-12 Neopath, Inc. Method and apparatus for checking automated optical system performance repeatability
US5557097A (en) 1994-09-20 1996-09-17 Neopath, Inc. Cytological system autofocus integrity checking apparatus
AU3371395A (en) 1994-09-20 1996-04-19 Neopath, Inc. Biological specimen analysis system processing integrity checking apparatus
US5647025A (en) 1994-09-20 1997-07-08 Neopath, Inc. Automatic focusing of biomedical specimens apparatus
US5671288A (en) 1995-05-31 1997-09-23 Neopath, Inc. Method and apparatus for assessing slide and specimen preparation quality
US5642433A (en) 1995-07-31 1997-06-24 Neopath, Inc. Method and apparatus for image contrast quality evaluation
US5642441A (en) 1995-10-24 1997-06-24 Neopath, Inc. Separation apparatus and method for measuring focal plane
ATE236386T1 (de) 1995-11-30 2003-04-15 Chromavision Med Sys Inc Verfahren zur automatischen bildanalyse biologischer proben
US5841124A (en) 1996-06-19 1998-11-24 Neopath, Inc. Cytological system autofocus integrity checking apparatus
US7117098B1 (en) 1997-02-27 2006-10-03 Cellomics, Inc. Machine-readable storage medium for analyzing distribution of macromolecules between the cell membrane and the cell cytoplasm
US7424141B2 (en) 2003-08-29 2008-09-09 Agilent Technologies, Inc. System and method for performing auto-focused tomosynthesis
US20050113680A1 (en) * 2003-10-29 2005-05-26 Yoshihiro Ikeda Cerebral ischemia diagnosis assisting apparatus, X-ray computer tomography apparatus, and apparatus for aiding diagnosis and treatment of acute cerebral infarct
CN1953708B (zh) * 2004-05-14 2010-06-16 皇家飞利浦电子股份有限公司 用于诊断乳腺癌的系统和方法
US20070014468A1 (en) * 2005-07-12 2007-01-18 Gines David L System and method for confidence measures for mult-resolution auto-focused tomosynthesis
US8471866B2 (en) * 2006-05-05 2013-06-25 General Electric Company User interface and method for identifying related information displayed in an ultrasound system
US7769219B2 (en) * 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
US8051386B2 (en) * 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
US7630533B2 (en) * 2007-09-20 2009-12-08 Hologic, Inc. Breast tomosynthesis with display of highlighted suspected calcifications
US8126226B2 (en) * 2007-09-20 2012-02-28 General Electric Company System and method to generate a selected visualization of a radiological image of an imaged subject
US7929743B2 (en) * 2007-10-02 2011-04-19 Hologic, Inc. Displaying breast tomosynthesis computer-aided detection results
US8547402B2 (en) * 2009-10-07 2013-10-01 Hologic, Inc. Displaying computer-aided detection information with associated breast tomosynthesis image information
US8223916B2 (en) 2009-03-31 2012-07-17 Hologic, Inc. Computer-aided detection of anatomical abnormalities in x-ray tomosynthesis images
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US9125570B2 (en) * 2010-07-16 2015-09-08 The Board Of Trustees Of The Leland Stanford Junior University Real-time tomosynthesis guidance for radiation therapy
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US9269141B2 (en) * 2011-09-07 2016-02-23 Koninklijke Philips N.V. Interactive live segmentation with automatic selection of optimal tomography slice
US9743893B2 (en) * 2011-12-21 2017-08-29 Carestream Health, Inc. Dental imaging with photon-counting detector
EP2967473B1 (en) 2013-03-15 2020-02-19 Hologic, Inc. System and method for navigating a tomosynthesis stack including automatic focusing

Also Published As

Publication number Publication date
CN105451657A (zh) 2016-03-30
US10624598B2 (en) 2020-04-21
US20200345320A1 (en) 2020-11-05
EP2967473A1 (en) 2016-01-20
US20230230679A1 (en) 2023-07-20
WO2014149554A1 (en) 2014-09-25
JP2016510669A (ja) 2016-04-11
US20160051215A1 (en) 2016-02-25
EP2967473B1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
US20230230679A1 (en) System and method for navigating a tomosynthesis stack including automatic focusing
US11508340B2 (en) System and method for generating a 2D image using mammography and/or tomosynthesis image data
US11663780B2 (en) System and method for navigating a tomosynthesis stack using synthesized image data
US10448911B2 (en) Method and device for displaying medical images
JP6506769B2 (ja) トモシンセシス画像スラブを生成し表示するためのシステムおよび方法
JP6118325B2 (ja) 最適なトモグラフィスライスの自動選択を備えた対話式ライブセグメンテーション
JP5501370B2 (ja) トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法
JP2016533803A (ja) X線誘導胸部生検をナビゲートするためのシステムおよび方法
CN107106107B (zh) 用于处理断层合成数据的方法和系统
EP3503020A1 (en) Clinical task-based processing of images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20180312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180822

R150 Certificate of patent or registration of utility model

Ref document number: 6392309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250