JP7190059B2 - 画像のマッチング方法、装置、デバイス及び記憶媒体 - Google Patents

画像のマッチング方法、装置、デバイス及び記憶媒体 Download PDF

Info

Publication number
JP7190059B2
JP7190059B2 JP2021548143A JP2021548143A JP7190059B2 JP 7190059 B2 JP7190059 B2 JP 7190059B2 JP 2021548143 A JP2021548143 A JP 2021548143A JP 2021548143 A JP2021548143 A JP 2021548143A JP 7190059 B2 JP7190059 B2 JP 7190059B2
Authority
JP
Japan
Prior art keywords
video sequence
image
frame
image frame
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548143A
Other languages
English (en)
Other versions
JP2022520480A (ja
Inventor
蒙蒙 孫
少康 王
寛 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Infervision Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd, Infervision Co Ltd filed Critical Infervision Medical Technology Co Ltd
Publication of JP2022520480A publication Critical patent/JP2022520480A/ja
Application granted granted Critical
Publication of JP7190059B2 publication Critical patent/JP7190059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は情報処理技術分野に関し、具体的には画像のマッチング方法、装置、デバイス及び記憶媒体に関する。
医学映像分野では、より正確な診断を出すために、複数回も撮像した医学映像シーケンス中の画像フレームを対比する必要がある。例えば、患者が映像診断で初めて病巣が発見された後、すぐに処理する必要はないが所定期間内に再検査を受ける必要があると臨床医師により診断された場合、患者が再検査を受けるときに再診映像が撮影されるので、医師は２回の映像それぞれに映った病巣の対比結果に基づいて診断を行って患者の疾病状況を判断する。毎回撮像される映像は複数枚の画像フレームを含む映像シーケンス（例えばＣＴ映像シーケンス）であるため、対比を行うときには２セットの映像シーケンス中の画像フレームの対応関係を確定する必要がある。一般に、異なる映像シーケンスに含まれている撮影対象の組織中の同じ領域（ＣＴ映像シーケンスにおいて、領域は１つのスキャン層を指すことができる）の画像フレームは、「対応する画像フレーム」と称される。対応関係はすなわち画像フレーム同士の間の対応関係である。例えば、前回撮影された映像シーケンスの第３フレームに含まれるスキャン層が、今回撮影された映像シーケンスの第５フレームに現れた場合、前回撮影された映像シーケンスの第３フレームと今回撮影された映像シーケンスの第５フレームとが対応する。
従来、画像フレームの対応関係を確定する方法としては、経験に基づいて人為的に画像フレームの番号の差の値を設定して、番号の差が当該設定された番号の差の値と一致する２枚の画像フレームを、対照しながら照会するものがある。例えば、経験に基づいて人為的に組織（例えば、病巣）を観察する場合、前回撮影された映像シーケンスの第３フレームが今回撮影された映像シーケンスの第５フレームに対応することを確認して、差の値を２と設定した場合、当該差の値によれば、今回撮影された映像シーケンスの第８フレームに対応するのは前回撮影された映像シーケンスの第６フレームになるはずである。しかしながら、毎回撮影された映像シーケンスには差異が存在し、例えば、患者の内部臓器の変化（例えば呼吸運動）に影響されて、臓器の画像フレーム分布が映像シーケンスによって大きく変わる可能性がある。つまり、２つの画像フレームにマッチする差の値は、必ずしも２つの映像シーケンス中のすべての画像フレームにマッチするわけではない。例えば、今回撮影された映像シーケンスの第８フレームは、前回撮影された映像シーケンスの第６フレームに含まれているスキャン層と相違する可能性が高い。よって、人為的に差の値を設定することによって得られる画像フレームの対応関係は、正確度が低い。
以上に鑑みて、本発明は、正確度が高い画像フレームの対応関係を取得するために、以下通りの画像のマッチング方法、装置、デバイス及び記憶媒体を提供する。
画像のマッチング方法は、
第１の映像シーケンス及び第２の映像シーケンスを取得するステップであって、前記第１の映像シーケンスと前記第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスであるステップと、
第１の対象及び第２の対象を取得するステップであって、前記第１の対象は、前記第１の映像シーケンスに基づく再構築によって取得される前記対象であり、前記第２の対象は、前記第２の映像シーケンスに基づく再構築によって取得される前記対象であるステップと、
前記第１の対象及び前記第２の対象に対して位置合わせを行って位置合わせ結果を取得するステップであって、前記位置合わせ結果は、前記第１の対象における任意の１つの画素点と前記第２の対象における画素点との一対一の対応関係を含むステップと、
前記位置合わせ結果に基づいて写像関係を取得するステップであって、前記写像関係は前記第１の映像シーケンス中の画像フレームと前記第２の映像シーケンス中の画像フレームとの対応関係を示すステップと、
前記第１の映像シーケンス中のターゲット画像フレームを表示しているときに、前記写像関係に基づいて、対照画像フレームを対応するように表示するステップであって、前記対照画像フレームは、前記第２の映像シーケンス中の、前記ターゲット画像フレームに対応する画像フレームであり、前記ターゲット画像フレームは前記第１の映像シーケンス中の任意の１つの画像フレームであるステップと、を含む。
選択的に、第１の映像シーケンス及び第２の映像シーケンスを取得するステップは、
前記第１の映像シーケンスを受信するステップと、
過去の映像シーケンスから、前記第１の映像シーケンスと同じラベルを有する映像シーケンスを採取して前記第２の映像シーケンスとするステップと、を含む。
選択的に、前記第１の映像シーケンスを受信するステップは、
映像シーケンスのイメージングデバイスにより前記第１の映像シーケンスが生成された後、前記映像シーケンスのイメージングデバイスから前記第１の映像シーケンスを取得するステップ、を含む。
選択的に、前記第１の対象及び前記第２の対象に対して位置合わせを行って位置合わせ結果を取得するステップは、
前記第１の対象及び前記第２の対象のそれぞれを、複数のセグメントに分割するステップと、
第１の外接多面体と第２の外接多面体との頂点に対してペアリングを行ってマッチングポイントを特定するステップであって、前記第１の外接多面体は、前記第１の対象が分割されて得られた各セグメントの外接多面体であり、前記第２の外接多面体は、前記第２の対象が分割されて得られた各セグメントの外接多面体であるステップと、
前記マッチングポイントに基づいて位置合わせマトリックス方程式を確定するステップと、
最小二乗法を用いて前記位置合わせマトリックス方程式を解くことによって、前記位置合わせ結果を取得するステップと、を含む。
選択的に、本方法は、
第１の病巣情報及び第２の病巣情報を取得するステップと、
前記第１の病巣情報及び前記第２の病巣情報における共通項目の内容を対応するように表示するステップと、を更に含み、
前記第１の病巣情報は前記第１の映像シーケンスに基づいて得られた病巣の診断情報を表し、前記第２の病巣情報は前記第２の映像シーケンスに基づいて得られた病巣の診断情報を表す。
選択的に、本方法は、
第２のフレームラベルを取得するステップと、
前記第２のフレームラベル及び前記写像関係に基づいて第１のフレームラベルを確定するステップと、を更に含み、
前記第２のフレームラベルは、病巣が前記第２の映像シーケンスの中で位置する画像フレームのラベルであり、前記第１のフレームラベルは、前記病巣が前記第１の映像シーケンスの中で位置する画像フレームのラベルであり、前記第１の映像シーケンスの取得時間は前記第２の映像シーケンスの取得時間より遅い。
画像のマッチング装置は、映像シーケンス取得ユニットと、対象取得ユニットと、位置合わせユニットと、写像関係取得ユニットと、画像表示ユニットと、を備える。
映像シーケンス取得ユニットは、第１の映像シーケンス及び第２の映像シーケンスを取得するように配置される。前記第１の映像シーケンスと前記第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスである。
対象取得ユニットは、第１の対象及び第２の対象を取得するように配置される。前記第１の対象は、前記第１の映像シーケンスに基づく再構築によって取得される前記対象であり、前記第２の対象は前記第２の映像シーケンスに基づく再構築によって取得される前記対象である。
位置合わせユニットは、前記第１の対象及び前記第２の対象に対して位置合わせを行って位置合わせ結果を取得するように配置される。前記位置合わせ結果は、前記第１の対象における任意の１つの画素点と前記第２の対象における画素点との一対一の対応関係を含む。
写像関係取得ユニットは、前記位置合わせ結果に基づいて写像関係を取得するように配置される。前記写像関係は、前記第１の映像シーケンス中の画像フレームと前記第２の映像シーケンス中の画像フレームとの対応関係を示す。
画像表示ユニットは、前記第１の映像シーケンス中のターゲット画像フレームが表示されているときに、前記写像関係に基づいて、対照画像フレームを対応するように表示する、ように配置される。前記対照画像フレームは、前記第２の映像シーケンス中の、前記ターゲット画像フレームに対応する画像フレームであり、前記ターゲット画像フレームは、前記第１の映像シーケンス中の任意の１つの画像フレームである。
選択的に、映像シーケンス取得ユニットが第１の映像シーケンス及び第２の映像シーケンスを取得することは、
前記映像シーケンス取得ユニットが具体的に、前記第１の映像シーケンスを受信し、過去の映像シーケンスから前記第１の映像シーケンスと同じラベルを有する映像シーケンスを採取して前記第２の映像シーケンスとする、ことを含む。
選択的に、映像シーケンス取得ユニットが前記第１の映像シーケンスを受信することは、
前記映像シーケンス取得ユニットが具体的に、映像シーケンスのイメージングデバイスにより前記第１の映像シーケンスが生成された後、前記映像シーケンスのイメージングデバイスから前記第１の映像シーケンスを取得する、ことを含む。
選択的に、位置合わせユニットが前記第１の対象及び前記第２の対象に対して位置合わせを行って位置合わせ結果を取得することは、
前記位置合わせユニットが具体的に、
前記第１の対象及び前記第２の対象のそれぞれを複数のセグメントに分割し、
第１の外接多面体と第２の外接多面体との頂点に対してペアリングを行ってマッチングポイントを取得し、
前記マッチングポイントに基づいて位置合わせマトリックス方程式を確定し、
最小二乗法を用いて前記位置合わせマトリックス方程式を解くことによって、前記位置合わせ結果を取得する、ことを含む。
ここで、前記第１の外接多面体は、前記第１の対象が分割されて得られた各セグメントの外接多面体であり、前記第２の外接多面体は、前記第２の対象が分割されて得られた各セグメントの外接多面体である。
選択的に、本装置は、病巣情報取得ユニットと、病巣情報表示ユニットと、を更に備える。
病巣情報取得ユニットは、第１の病巣情報及び第２の病巣情報を取得するように配置される。前記第１の病巣情報は、前記第１の映像シーケンスによって取得される病巣の診断情報を表し、前記第２の病巣情報は、前記第２の映像シーケンスによって取得される病巣の診断情報を表す。
病巣情報表示ユニットは、前記第１の病巣情報及び前記第２の病巣情報における共通項目の内容を対応するように表示する。
選択的に、本装置は、第２のフレームラベル取得ユニットと、第１のフレームラベル取得ユニットと、を更に備える。
第２のフレームラベル取得ユニットは、第２のフレームラベルを取得するように配置される。前記第２のフレームラベルは、病巣が前記第２の映像シーケンスの中で位置する画像フレームのラベルである。
第１のフレームラベル取得ユニットは、前記第２のフレームラベル及び前記写像関係に基づいて第１のフレームラベルを確定するように配置される。前記第１のフレームラベルは、前記病巣が前記第１の映像シーケンスの中で位置する画像フレームのラベルである。前記第１の映像シーケンスの取得時間は、前記第２の映像シーケンスの取得時間より遅い。
画像のマッチングデバイスは、メモリ及びプロセッサを備え、
前記メモリはプログラムを記憶するように配置され、
前記プロセッサは、前記プログラムを実行して前述の画像のマッチング方法の各ステップを実現する、ように配置される。
記憶媒体は、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行されるとき、前述の画像のマッチング方法の各ステップが実現される。
以上の技術案からわかるように、本発明に係る画像のマッチング方法、装置、デバイス及び記憶媒体は、第１の映像シーケンス及び第２の映像シーケンスを取得し、したがって第１の映像シーケンスと第２の映像シーケンスとのそれぞれに基づいて再構築を行うことによって生成される第１の対象及び第２の対象を取得する。第１の映像シーケンスと第２の映像シーケンスは同一の対象に対して採取された画像フレームシーケンスであるため、第１の対象及び第２の対象はいずれも当該対象に対する採取によって得られた結果であり、すなわち第１の対象と第２の対象とは極めて類似する形態を有する。そこで、さらに第１の対象と第２の対象とに対して位置合わせを行って位置合わせ結果を取得すると、位置合わせ結果に基づいて取得される写像関係は第１の映像シーケンス中の画像フレームと第２の映像シーケンス中の画像フレームとの対応関係を示すことができる。さらに、本方法は、当該写像関係に基づいてターゲット画像フレーム及び対照画像フレームを対応するように表示することができる。つまり、この画像のマッチング方法によって第１の映像シーケンス中の画像フレームと第２の映像シーケンス中の画像フレームとの対応関係を取得することは、人為的に差の値を設定する方法に比べて、マッチングの正確度を大幅に向上させることができる。
本発明の実施例又は従来技術に係る技術案をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面について簡単に説明する。明らかに、以下で説明される図面は本発明の実施例に過ぎず、当業者であれば、これらの図面に基づいて創造的な労働をせずに他の図面を取得することができる。
本発明の実施例に係る画像のマッチング方法のフローチャートである。 本発明の実施例に係る、第１の対象と第２の対象とに対して位置合わせを行う方法のフローチャートである。 本発明の実施例に係る画像のマッチング装置の構造模式図である。 本発明の実施例に係る画像のマッチングデバイスの構造模式図である。
本発明により開示される技術案は、医学画像に適用できるがそれに限られない。
以下、本発明の実施例による図面を参照しながら、本発明の実施例に係る技術案に対して明確で完全に説明する。
明らかに、説明される実施例は本発明の一部の実施例に過ぎず、すべての実施例ではない。当業者が本発明の実施例に基づいて創造的な労働をせずに得られる他の実施例は、すべて本発明の保護範囲に属するべきである。
図１は、本発明の実施例に係る画像のマッチング方法のフローチャートであり、具体的に以下の内容を含む。
Ｓ１０１において、第１の映像シーケンス及び第２の映像シーケンスを取得する。
具体的に、１つの映像シーケンスは複数の連続する画像フレームを含む。本ステップで取得される第１の映像シーケンス及び第２の映像シーケンスは、同一の対象に対して採取される画像フレームシーケンスである。
第１の映像シーケンス及び第２の映像シーケンスを取得する方法は複数がある。
１つの可能な取得方法としては、第１の映像シーケンス及び第２の映像シーケンスを直接選定することである。
具体的に、医学映像のＣＴ映像シーケンスを例とすると、第１の映像シーケンスは患者の再診時のＣＴ映像シーケンスであってもよく、第２の映像シーケンスは患者の過去のＣＴ映像シーケンスであってもよい。その中、過去のＣＴ映像シーケンスは複数回のＣＴ映像シーケンスを含むことができる。ここで、いずれの映像シーケンスも、患者の同一の部位に対して撮影されたＣＴ映像シーケンスである。このとき、患者の情報に基づいて、ＰＡＣＳ（ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ，医学映像ファイリング及び通信システム）から当該患者の複数回のＣＴ映像シーケンスを直接取り出して、その後の画像のマッチング方法を行うことができる。
選択的に、本発明の実施例は、第１の映像シーケンス及び第２の映像シーケンスを自動的に取得する方法を提供する。当該方法は以下の内容を含む。
Ａ１において、第１の映像シーケンスを受信する。
選択的に、第１の映像シーケンスを受信する方法は、第１の映像シーケンスが映像シーケンスのイメージングデバイスにより生成された後、映像シーケンスのイメージングデバイスから第１の映像シーケンスを取得することであってもよい。
具体的に、本方法においては、フロントエンドである映像シーケンスのイメージングデバイス（例えばＣＴイメージングデバイス）に直接接続してイメージングデバイスの動態をモニタリングすることができる。映像シーケンスが形成されるたびに、イメージングデバイスにより送信される当該映像シーケンスを自動的に受信し、それを第１の映像シーケンスとする。
又は、第１の映像シーケンスを受信する方法として、本方法においては、ＰＡＣＳに直接接続することによって、映像シーケンスの記憶動態をモニタリングすることができる。新しい映像シーケンスが記憶されるたびに、ＰＡＣＳデバイスにより送信される当該映像シーケンスを自動的に受信し、それを第１の映像シーケンスとする。
Ａ２において、過去の映像シーケンスから第１の映像シーケンスと同じラベルを有する映像シーケンスを採取して第２の映像シーケンスとする。
なお、いずれの映像シーケンスも一意のラベルを有しており、当該ラベルは映像シーケンスが所属するユーザを表す。選択的に、当該ラベルは、第１の映像シーケンスが所属する患者の個人情報（名前、性別、年齢など）及び映像タイプ（腹部ＣＴ、胸部ＣＴ、頭部ＣＴなど）を含んでもよい。
ここで、過去の映像シーケンスはＰＡＣＳに記憶されており、いずれの過去の映像シーケンスも一意のラベルに対応しており、それぞれ異なる時点で撮影された同じタイプの映像シーケンスである。
選択的に、他の採取条件（例えば撮影時間）を予め設定することによって、複数セットの過去の映像シーケンスから期待を満たす第２の映像シーケンスを更に選別することができる。
患者の再診映像シーケンスを例とすると、患者が医師の指導を受けて再診ＣＴ映像シーケンスを撮影する場合、本方法は、ＣＴデバイスから当該再診ＣＴ映像シーケンスを直接採取して第１の映像シーケンスとする。それとともに、当該再診ＣＴ映像シーケンスの個人情報である「名前は張三、性別は男、年齢は３０」及び映像タイプである「胸部ＣＴ」を取得する。さらに、ＰＡＣＳから上述の個人情報及び映像タイプに対応する過去のＣＴ映像シーケンスを採取して第２の映像シーケンスとする。さらに、「採取時間は２年」を選別条件として予め設定することができ、すなわち、ＰＡＣＳから上述の個人情報及び映像タイプに対応する過去のＣＴ映像シーケンスを採取したうえ、これらの過去のＣＴ映像シーケンスの中から、最近２年内のＣＴ映像シーケンスを更に特定して、第２の映像シーケンスとする。
Ｓ１０２において、第１の対象及び第２の対象を取得する。
以上からわかるように、第１の映像シーケンスと第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスである。よって、第１の対象は第１の映像シーケンスに基づく再構築によって取得される当該対象であり、第２の対象は第２の映像シーケンスに基づく再構築によって取得される当該対象である。例えば、患者である張三の２セットの胸部ＣＴ映像シーケンスに基づいて、同一の対象（例えば肺臓）に対して再構築を行うことによって取得される第１の対象及び第２の対象は、いずれも患者である張三の肺臓の三次元再構築結果である。
選択的に、本ステップにおいては、従来の閾値法、分水嶺アルゴリズム（Ｗａｔｅｒｓｈｅｄ ａｌｇｏｒｉｔｈｍ）、又はディープラーニングによる分割アルゴリズムを用いて対象領域を取得してから、対象領域の再構築を行うことによって第１の対象及び第２の対象を取得することができる。
Ｓ１０３において、第１の対象と第２の対象とに対して位置合わせを行って、位置合わせ結果を取得する。
なお、第１の対象及び第２の対象は同一の対象であるため、第１の対象及び第２の対象の形態は極めて類似する。また、第１の対象における点は第１の映像シーケンスに基づいて構築された空間中の座標で表されることができ、第２の対象における点は第２の映像シーケンスに基づいて構築された空間中の座標で表されることができるため、空間座標の変換を行うことによって、第１の対象及び第２の対象における各点に対する位置合わせを実現することができる。
選択的に、空間座標の変換方法に基づいて、第１の対象における任意の１つの点と、第２の対象中の、対象の同一の位置にある点と、に対して位置合わせを行うことができる。複数の点に対して位置合わせを行うことによって、第１の対象と第２の対象との位置合わせ結果を取得する。
Ｓ１０４において、位置合わせ結果に基づいて、写像関係を取得する。
具体的に、位置合わせ結果は、第１の対象と第２の対象との位置合わせ関係を表す。当該位置合わせ関係は、第１の対象における点と第２の対象における点との空間写像関係である（対象における任意の１つの実際の点にとって、位置合わせ関係は、当該点の第１の対象における座標点と、当該点の第２の対象における座標点との間の対応関係である）。画像フレームは映像シーケンスにおける１フレームの画面であり、第１の対象が第１の映像シーケンス中の複数の画像フレームに対応し、第２の対象が第２の映像シーケンス中の複数の画像フレームに対応する。そのため、本ステップにおいては、空間写像関係と物理写像関係の変換を行うことによって、位置合わせ結果に基づいて、第１の映像シーケンスにおけるすべての画像フレームと第２の映像シーケンスにおけるすべての画像フレームとの対応関係を取得することができる。
なお、空間写像関係と物理写像関係の変換については、従来の変換方法を参照すればよく、本発明の実施例はそれに対して制限しない。
選択的に、映像シーケンスにおけるいずれの画像フレームも、１つのフレームラベルに対応する。画像フレームのフレームラベルは、当該画像フレームの映像シーケンスにおける位置を表す。よって、当該対応関係は、画像フレームのフレームラベルの対応関係テーブルとして記憶されることができる。
Ｓ１０５において、第１の映像シーケンス中のターゲット画像フレームを表示しているときに、写像関係に基づいて対照画像フレームを対応するように表示する。
ここで、ターゲット画像フレームは第１の映像シーケンスにおける任意の１つの画像フレームであり、対照画像フレームは第２の映像シーケンスにおける、ターゲット画像フレームに対応する画像フレームである。
選択的に、第１の映像シーケンス中のターゲット画像フレームを表示することは、ユーザの操作によりトリガーされて第１の映像シーケンス中の任意の１つの画像フレームを表示すること、であってもよい。当該画像フレームがすなわちターゲット画像フレームである。このとき、本方法に基づいて取得された上述の写像関係に基づいて、ターゲット画像フレームに対応する画像フレーム（すなわち対照画像フレーム）を第２の映像シーケンスから取得することができる。さらに、ターゲット画像フレーム及び対照画像フレームを表示する。
例えば、医師は患者の再診映像シーケンスを入手した後、より正確に診断するために、再診映像シーケンスと前回の映像シーケンスとを対照しながら診察する必要がある。このとき、医師は再診映像シーケンス中の任意の１つの画像フレームを選択して表示することができる。本方法は、写像関係に基づいて、前回の映像シーケンスにおいて当該画像フレームに対応する対照画像フレームを特定することができる。こうすることによって、当該画像フレーム及び当該画像フレームの対照画像フレームを同時に表示する。
なお、具体的な表示形態としては、予め設定された表示インターフェースに接続することができる。当該表示インターフェースは、ユーザが各画像フレームを連動するように見ることを可能にするとともに、画像フレームに対する操作（拡大、縮小、移動など）機能を有する。
以上の技術案からわかるように、本発明に係る画像のマッチング方法、装置、デバイス及び記憶媒体は、第１の映像シーケンス及び第２の映像シーケンスを取得し、したがって第１の映像シーケンス及び第２の映像シーケンスのそれぞれに基づいて再構築を行うことによって生成された第１の対象及び第２の対象を取得する。第１の映像シーケンスと第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスであるため、第１の対象及び第２の対象はいずれも当該対象に対する採取の結果であり、すなわち、第１の対象と第２の対象とは極めて類似する形態を有する。よって、さらに第１の対象及び第２の対象に対して位置合わせを行って位置合わせ結果を取得すれば、位置合わせ結果に基づいて得られる写像関係は、第１の映像シーケンス中の画像フレームと第２の映像シーケンス中の画像フレームとの対応関係を示すことができる。さらに、本方法においては、当該写像関係に基づいて、ターゲット画像フレーム及び対照画像フレームを対応するように表示することができる。つまり、本画像のマッチング方法によって第１の映像シーケンス中の画像フレームと第２の映像シーケンス中の画像フレームとの対応関係を取得することは、人為的に差の値を設定することに比べて、マッチングの正確度が大幅に向上する。
図２は、本発明の実施例に係る、第１の対象及び第２の対象に対して位置合わせを行う方法のフローチャートである。本発明の実施例においては、第１の映像シーケンス及び第２の映像シーケンスが胸部のＣＴ映像シーケンスであって対象が肺臓であることを例として、第１の対象及び第２の対象に対して位置合わせを行うプロセスについて説明する。当該プロセスは具体的に以下の内容を含むことができる。
Ｓ２０１において、第１の対象及び第２の対象のそれぞれを複数のセグメントに分割する。
ここで、第１の映像シーケンスは再診ＣＴ映像シーケンスであり、ＤＩＣＯＭ１と記され、第２の映像シーケンスは前回のＣＴ映像シーケンスであり、ＤＩＣＯＭ２と記される。第１の対象（肺臓）はＬＵＮＧ１と記され、第２の対象（肺臓）はＬＵＮＧ２と記される。
本ステップにおいては、ＬＵＮＧ１及びＬＵＮＧ２をそれぞれ、人体の長軸方向に沿ってｋ個のセグメントに均等に分割することができる。なお、ＬＵＮＧ１とＬＵＮＧ２とは同一の対象であるため、ＬＵＮＧ１の第ｉ（ｌ≦ｉ≦ｋ）のセグメントとＬＵＮＧ２の第ｉのセグメントとは形態が極めて類似する。
Ｓ２０２において、第１の外接多面体の頂点と第２の外接多面体の頂点とに対してペアリングを行って、マッチングポイントを取得する。
具体的に、第１の対象及び第２の対象が分割されて得られた複数の対象の外接多面体を計算する。ここで、第１の外接多面体は第１の対象ＬＵＮＧ１が分割されて得られた各セグメントを包囲する立方体のうちの最も小さい立方体であってもよく、第２の外接多面体は第２の対象ＬＵＮＧ２が分割されて得られた各セグメントを包囲する立方体のうちの最も小さい立方体であってもよい。以上の説明からわかるように、第ｉのセグメントの第１の外接多面体と、第ｉのセグメントの第２の外接多面体とは、同一の対象の同一の部分である。よって、各セグメントの第１の外接多面体の頂点と、それに対応する第２の外接多面体の頂点とに対してペアリングを行う。複数のマッチングポイントが取得される。
例えば、第１の外接多面体はｋ個を含み、それぞれをＬＵＮＧ１１、ＬＵＮＧ１２、…、ＬＵＮＧ１ｋと記し、それに、第２の外接多面体はｋ個を含み、それぞれをＬＵＮＧ２１、ＬＵＮＧ２２、…、ＬＵＮＧ２ｋと記す。
さらに、ＬＵＮＧ１１とＬＵＮＧ２１、ＬＵＮＧ１２とＬＵＮＧ２２、…、ＬＵＮＧ１ｋとＬＵＮＧ２ｋのうちの各頂点に対して２つずつのペアリングを行って、８ｋペアのマッチングポイントを取得する。ＬＵＮＧ１１とＬＵＮＧ２１を例とすると、ＬＵＮＧ１１は８つの頂点を含み、当該８つの頂点と、ＬＵＮＧ２１における対応する位置にある８つの頂点とに対して、２つずつのペアリングを行うことによって、ＬＵＮＧ１１とＬＵＮＧ２１の８ペアのマッチングポイントを取得する。
Ｓ２０３において、マッチングポイントに基づいて、位置合わせマトリックス方程式を確定する。
具体的に、各対象における８ｋ個の頂点の座標を、以下のような８ｋ×３の頂点マトリックスＶに配列することができる。
Figure 0007190059000001
ここで、ｘｉｊは対象における第ｉ（１≦ｉ≦ｋ）のセグメントの外接多面体の第ｊ（１≦ｊ≦８）の頂点の座標である。
Figure 0007190059000002
Figure 0007190059000003
Figure 0007190059000004
Figure 0007190059000005
Figure 0007190059000006
Ｓ２０４において、最小二乗法を用いて位置合わせマトリックス方程式を解いて、位置合わせ結果を取得する。
Figure 0007190059000007
当該写像関係の式は、第１の対象及び第２の対象の８ｋ個のマッチングポイントを利用して座標変換を行うことによって得られるものであるため、当該写像関係の式は第１の対象及び第２の対象の中の、対象の同一の位置にある２つの点の位置合わせ関係を示すこともできる。つまり、第１の対象におけるいずれの点に対しても、当該点の第１の対象における座標及び写像関係の式に基づいて、当該点のマッチングポイントの第２の対象における座標を算出することができる。
選択的に、本方法は更に、第１の映像シーケンス及び第２の映像シーケンスの病巣情報を表示することができる。具体的な表示方法は以下の通りである。
まず、第１の病巣情報及び第２の病巣情報を取得する。
ここで、第１の病巣情報は第１の映像シーケンスに基づいて得られる病巣の診断情報を表し、第２の病巣情報は第２の映像シーケンスに基づいて得られる病巣の診断情報を表す。
いずれの病巣情報も複数の情報項目を含む。例えば、診断情報の情報項目は、病巣の物理的診断情報（大きさ、形態、範囲など）、人工による診断情報（病巣の性質、程度など）であってもよい。診断情報に含まれる各情報項目は、ＰＡＣＳから取得されるか、又は映像シーケンスのラベルに基づいて他の情報システム（例えば、診断システム）から取得されることができる。
なお、第１の病巣情報と第２の病巣情報とは共通の情報項目を含む可能性がある。ユーザが第１の映像シーケンス及び第２の映像シーケンスの各項目の情報を直ちに対比することができるようにするために、さらに第１の病巣情報及び第２の病巣情報における共通項目の内容を対応するように表示することができる。
選択的に、情報項目の対応関係テーブルを生成することができる。テーブルにおいて、同一の項目は対応するように配列され、相違する項目は単独で配列されればよい。ユーザの操作に従って第１の映像シーケンスの第１の病巣情報を表示しているときに、当該対応関係テーブルを表示する。
まとめると、本技術案は表示方法を更に提供することによって、第１の映像シーケンス及び第２の映像シーケンス中の写像関係を有する２つの画像フレームを同時に表示することができる。したがってユーザは画像フレーム中の映像に対して対比及び観察をより便利に行うことができる。また、第１の病巣情報及び第２の病巣情報における共通項目を対応するように表示することができるため、複数回の診断結果を簡単且つ明確に対比して、病巣の変化情報を取得することができる。このように、ユーザがより精密に診断を行うことができるように根拠を提供して、診断の正確度をより一層向上させることができる。
第１の映像シーケンスを受信した後、ユーザが複数枚の画像フレームの中で病巣を探すときに効率が低くなることを防ぐために、本方法は、
第２のフレームラベルを取得し、第２のフレームラベル及び写像関係に基づいて第１のフレームラベルを確定するステップ、を更に含む。
ここで、第２のフレームラベルは、第２の映像シーケンスにおいて病巣が位置している画像フレームのラベルである。第１のフレームラベルは、第１の映像シーケンスにおいて病巣が位置している画像フレームのラベルである。なお、第１の映像シーケンスの取得時間は第２の映像シーケンスの取得時間より遅い。
なお、第２の映像シーケンスは過去の映像シーケンスである。当該第２の映像シーケンスにおける病巣の詳しい位置は、すなわち第２の映像シーケンスにおいて病巣が位置している画像フレームのラベルは、ユーザによる診断によって既に取得されている。加えて、第１の映像シーケンス中の各画像フレームと第２の映像シーケンス中の各画像フレームとの対応関係は上述の実施例で取得されたため、第２のフレームラベルに基づいて、第１の映像シーケンスの中で当該第２のフレームラベルにより指示される画像フレームに対応する画像フレームを見つけ、当該画像フレームのフレームラベルを取得して第１のフレームラベルとして確定することができる。
なお、第１のフレームラベルにより指示される画像フレームを直接選択すれば、すぐに病巣を照会することができる。病巣が位置している画像フレームを探すためには、人工ですべての画像フレームを１枚ずつ見る必要がないため、作業効率が向上する。
なお、本方法はインテリジェント電子デバイス（例えば、携帯電話、ＩＰＡＤ、コンピュータなど）に適用されることができ、独立したソフトウェアの形で実行されることができ、この場合、ＰＡＣＳシステム、他の情報システム又は表示システムなどに接続する必要がある。又は、従来のシステムに埋め込まれてもよく、例えば、ＰＡＣＳシステムに埋め込まれる。さらに、本方法において、上述の各実施例で得られる写像関係、第１の病巣情報、第２の病巣情報又は対応関係テーブルなどの結果は記憶されることができる。
本発明の実施例は、画像のマッチング装置を更に提供する。以下、本発明の実施例に係る画像のマッチング装置に対して説明する。以下で説明される画像のマッチング装置は、前文で説明された画像のマッチング方法と互いに対応しており、互いに参照されることができる。
図３は、本発明の実施例に係る画像のマッチング装置の構造模式図を示す。図３に示すように、当該装置は、映像シーケンス取得ユニット３０１、対象取得ユニット３０２、位置合わせユニット３０３、写像関係取得ユニット３０４及び画像表示ユニット３０５を備えることができる。
映像シーケンス取得ユニット３０１は、第１の映像シーケンス及び第２の映像シーケンスを取得する。前記第１の映像シーケンスと前記第２の映像シーケンスとは、同一の対象に対して採取された画像フレームシーケンスである。
対象取得ユニット３０２は、第１の対象及び第２の対象を取得する。前記第１の対象は、前記第１の映像シーケンスに基づく再構築によって取得される対象であり、前記第２の対象は、前記第２の映像シーケンスに基づく再構築によって取得される対象である。
位置合わせユニット３０３は、前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得する。前記位置合わせ結果は、前記第１の対象における任意の１つの画素点と、前記第２の対象における画素点との一対一の対応関係を含む。
写像関係取得ユニット３０４は、前記位置合わせ結果に基づいて写像関係を取得する。前記写像関係は、前記第１の映像シーケンス中の画像フレームと前記第２の映像シーケンス中の画像フレームとの対応関係を示す。
画像表示ユニット３０５は、前記第１の映像シーケンス中のターゲット画像フレームを表示しているときに、前記写像関係に基づいて、対照画像フレームを対応するように表示する。前記対照画像フレームは、前記第２の映像シーケンスの中の、前記ターゲット画像フレームに対応する画像フレームである。前記ターゲット画像フレームは、前記第１の映像シーケンスの中の任意の１つの画像フレームである。
選択的に、映像シーケンス取得ユニットが第１の映像シーケンス及び第２の映像シーケンスを取得することは、前記映像シーケンス取得ユニットが具体的に、
前記第１の映像シーケンスを受信し、
過去の映像シーケンスから前記第１の映像シーケンスと同じラベルを有する映像シーケンスを採取して、前記第２の映像シーケンスとする、ことを含む。
選択的に、映像シーケンス取得ユニットが前記第１の映像シーケンスを受信することは、
前記映像シーケンス取得ユニットが具体的に、映像シーケンスのイメージングデバイスにより前記第１の映像シーケンスが生成された後、前記映像シーケンスのイメージングデバイスから前記第１の映像シーケンスを取得する、ことを含む。
選択的に、位置合わせユニットが前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得することは、前記位置合わせユニットが具体的に、
前記第１の対象及び前記第２の対象のそれぞれを複数のセグメントに分割し、
第１の外接多面体の頂点と第２の外接多面体の頂点とに対してペアリングを行ってマッチングポイントを取得し、
前記マッチングポイントに基づいて位置合わせマトリックス方程式を確定し、
最小二乗法を用いて前記位置合わせマトリックス方程式を解いて、前記位置合わせ結果を取得する、ことを含む。
ここで、前記第１の外接多面体は前記第１の対象が分割されて得られた各セグメントの外接多面体であり、前記第２の外接多面体は前記第２の対象が分割されて得られた各セグメントの外接多面体である。
選択的に、本装置は、病巣情報取得ユニット及び病巣情報表示ユニットを更に備える。
病巣情報取得ユニットは、第１の病巣情報及び第２の病巣情報を取得する。前記第１の病巣情報は前記第１の映像シーケンスに基づいて得られる病巣の診断情報を表し、前記第２の病巣情報は前記第２の映像シーケンスに基づいて得られる病巣の診断情報を表す。
病巣情報表示ユニットは、前記第１の病巣情報及び前記第２の病巣情報における共通項目の内容を対応するように表示する。
選択的に、本装置は、第２のフレームラベル取得ユニット及び第１のフレームラベル取得ユニットを更に備える。
第２のフレームラベル取得ユニットは、第２のフレームラベルを取得する。前記第２のフレームラベルは、前記第２の映像シーケンスにおいて病巣が位置している画像フレームのラベルである。
第１のフレームラベル取得ユニットは、前記第２のフレームラベル及び前記写像関係に基づいて、第１のフレームラベルを確定する。前記第１のフレームラベルは、前記第１の映像シーケンスにおいて前記病巣が位置している画像フレームのラベルである。前記第１の映像シーケンスの取得時間は前記第２の映像シーケンスの取得時間より遅い。
本発明の実施例は、画像のマッチングデバイスを更に提供する。図４は、当該画像のマッチングデバイスの構造模式図を示す。当該デバイスは、少なくとも１つのプロセッサ４０１と、少なくとも１つの通信インターフェース４０２と、少なくとも１つのメモリ４０３と、少なくとも１つの通信バス４０４と、を備えることができる。
本発明の実施例において、プロセッサ４０１、通信インターフェース４０２、メモリ４０３、通信バス４０４の数は少なくとも１つであり、且つプロセッサ４０１、通信インターフェース４０２、メモリ４０３の間の通信は通信バス４０４を介して実現している。
プロセッサ４０１は、１つの中央プロセッサＣＰＵであってもよく、又は特定用途向け集積回路ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であってもよく、又は本発明の実施例を実施するための１つ又は複数の集積回路などとして配置されてもよい。
メモリ４０３は高速ＲＡＭメモリを含んでもよく、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）など（例えば、少なくとも１つのハードディスクメモリ）を含んでもよい。
ここで、メモリにはプログラムが記憶されており、プロセッサはメモリに記憶されているプログラムを呼び出すことができる。前記プログラムは、以下の内容を実施する。
第１の映像シーケンス及び第２の映像シーケンスを取得し、ここで、前記第１の映像シーケンスと前記第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスであり、
第１の対象及び第２の対象を取得し、ここで、前記第１の対象は前記第１の映像シーケンスに基づく再構築によって取得される前記対象であり、前記第２の対象は前記第２の映像シーケンスに基づく再構築によって取得される前記対象であり、
前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得し、ここで、前記位置合わせ結果は前記第１の対象における任意の１つの画素点と前記第２の対象における画素点との一対一の対応関係を含み、
前記位置合わせ結果に基づいて写像関係を取得し、ここで、前記写像関係は前記第１の映像シーケンス中の画像フレームと前記第２の映像シーケンス中の画像フレームとの対応関係を示し、
前記第１の映像シーケンス中のターゲット画像フレームを表示しているときに、前記写像関係に基づいて対照画像フレームを対応するように表示し、ここで、前記対照画像フレームは前記第２の映像シーケンスの中の、前記ターゲット画像フレームに対応する画像フレームであり、前記ターゲット画像フレームは前記第１の映像シーケンス中の任意の１つの画像フレームである。
選択的に、前記プログラムの細かい機能及び拡張機能については、前文の説明を参照することができる。
本発明の実施例は、記憶媒体を更に提供する。当該記憶媒体には、プロセッサにより実行可能なプログラムが記憶されていてもよい。前記プログラムは、以下の内容を実施する。
第１の映像シーケンス及び第２の映像シーケンスを取得し、ここで、前記第１の映像シーケンスと前記第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスであり、
第１の対象及び第２の対象を取得し、ここで、前記第１の対象は前記第１の映像シーケンスに基づく再構築によって取得される前記対象であり、前記第２の対象は前記第２の映像シーケンスに基づく再構築によって取得される前記対象であり、
前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得し、ここで、前記位置合わせ結果は前記第１の対象における任意の１つの画素点と前記第２の対象における画素点との一対一の対応関係を含み、
前記位置合わせ結果に基づいて写像関係を取得し、ここで、前記写像関係は前記第１の映像シーケンス中の画像フレームと前記第２の映像シーケンス中の画像フレームとの対応関係を示し、
前記第１の映像シーケンス中のターゲット画像フレームを表示しているときに、前記写像関係に基づいて対照画像フレームを対応するように表示し、ここで、前記対照画像フレームは前記第２の映像シーケンスの中の、前記ターゲット画像フレームに対応する画像フレームであり、前記ターゲット画像フレームは前記第１の映像シーケンス中の任意の１つの画像フレームである。
選択的に、前記プログラムの細かい機能及び拡張機能については、前文の説明を参照することができる。
最後の説明として、本明細書において、「第１」や「第２」などの関係用語は、１つの実体又は操作を、他の１つの実体又は操作から区別させるために用いられるものに過ぎず、それらの実体又は操作の間にいずれかの実際の関係や順番が存在することを要求又は示唆するわけではない。また、用語の「含む」、「備える」又は他の変形は非排他的な包含関係を意味しており、つまり、一連の要素を含むプロセス、方法、物体又はデバイスは、記載された要素だけではなく、明記されていない他の要素や、当該プロセス、方法、物体又はデバイスの固有の要素も、含むことができる。他の限定がない場合、「１つの…を含む」との記載により限定された要素は、当該要素が含まれているプロセス、方法、物体又はデバイスの中に同じ要素が更に存在することを、排除しない。
本明細書における各実施例は漸進的な形で説明されており、各実施例で重点的に説明された内容は他の実施例との相違点であるため、各実施例の間の共通や近似の部分は相互参照すればよい。
開示された+
実施例についての以上の説明は、当業者が本発明を実現又は使用することができるようにするためのものである。これらの実施例に対する様々な変更は、当業者にとって容易なことである。本文で定義された一般的な原理は、本発明の思想や範囲を逸脱しない前提で他の実施例において実現されることができる。よって、本発明は本文に記載された実施例に限られず、本文により開示された原理及び新規な特徴に一致する最大の範囲に合うべきである。

Claims (12)

  1. プロセッサにより実行される画像のマッチング方法であって、
    第１の映像シーケンス及び第２の映像シーケンスを取得するステップであって、前記第１の映像シーケンスと前記第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスであるステップと、
    第１の対象及び第２の対象を取得するステップであって、前記第１の対象は前記第１の映像シーケンスに基づく再構築によって取得される対象であって、前記第２の対象は前記第２の映像シーケンスに基づく再構築によって取得される対象であるステップと、
    前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得するステップであって、前記位置合わせ結果は前記第１の対象における任意の１つの画素点と前記第２の対象における画素点との一対一の対応関係を含むステップと、
    前記位置合わせ結果に基づいて写像関係を取得するステップであって、前記写像関係は前記第１の映像シーケンス中の画像フレームと前記第２の映像シーケンス中の画像フレームとの対応関係を示すステップと、
    前記第１の映像シーケンス中のターゲット画像フレームを表示しているときに、前記写像関係に基づいて、対照画像フレームを対応するように表示するステップであって、前記対照画像フレームは、前記第２の映像シーケンス中の、前記ターゲット画像フレームに対応する画像フレームであり、前記ターゲット画像フレームは前記第１の映像シーケンス中の任意の１つの画像フレームであるステップと、を含み、
    前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得する前記ステップは、
    前記第１の対象及び前記第２の対象のそれぞれを複数のセグメントに分割するステップと、
    第１の外接多面体の頂点と第２の外接多面体の頂点とに対してペアリングを行ってマッチングポイントを取得するステップと、
    前記マッチングポイントに基づいて位置合わせマトリックス方程式を確定するステップと、
    最小二乗法を用いて前記位置合わせマトリックス方程式を解くことによって、前記位置合わせ結果を取得するステップと、を含み、
    前記第１の外接多面体は前記第１の対象が分割されて得られた各セグメントの外接多面体であり、前記第２の外接多面体は前記第２の対象が分割されて得られた各セグメントの外接多面体であることを特徴とする画像のマッチング方法。
  2. 第１の映像シーケンス及び第２の映像シーケンスを取得する前記ステップは、
    前記第１の映像シーケンスを受信するステップと、
    過去の映像シーケンスから前記第１の映像シーケンスと同じラベルを有する映像シーケンスを採取して、前記第２の映像シーケンスとするステップと、を含む
    ことを特徴とする請求項１に記載の画像のマッチング方法。
  3. 第１の映像シーケンスを受信する前記ステップは、
    前記第１の映像シーケンスが映像シーケンスのイメージングデバイスにより生成された後、前記映像シーケンスのイメージングデバイスから前記第１の映像シーケンスを取得するステップ、を含む
    ことを特徴とする請求項２に記載の画像のマッチング方法。
  4. 第１の病巣情報及び第２の病巣情報を取得するステップと、
    前記第１の病巣情報及び前記第２の病巣情報における共通項目の内容を対応するように表示するステップと、を更に含み、
    前記第１の病巣情報は前記第１の映像シーケンスに基づいて得られた病巣の診断情報を表し、前記第２の病巣情報は前記第２の映像シーケンスに基づいて得られた病巣の診断情報を表す
    ことを特徴とする請求項１ないし３のいずれか一項に記載の画像のマッチング方法。
  5. 第２のフレームラベルを取得するステップと、
    前記第２のフレームラベル及び前記写像関係に基づいて、第１のフレームラベルを確定するステップと、を更に含み、
    前記第２のフレームラベルは前記第２の映像シーケンスにおいて病巣が位置している画像フレームのラベルであり、
    前記第１のフレームラベルは前記第１の映像シーケンスにおいて前記病巣が位置している画像フレームのラベルであり、
    前記第１の映像シーケンスの取得時間は前記第２の映像シーケンスの取得時間より遅い
    ことを特徴とする請求項１ないし３のいずれか一項に記載の画像のマッチング方法。
  6. 画像のマッチング装置であって、映像シーケンス取得ユニットと、対象取得ユニットと、位置合わせユニットと、写像関係取得ユニットと、画像表示ユニットと、を備え、
    前記映像シーケンス取得ユニットは第１の映像シーケンス及び第２の映像シーケンスを取得し、前記第１の映像シーケンスと前記第２の映像シーケンスとは同一の対象に対して採取された画像フレームシーケンスであり、
    対象取得ユニットは第１の対象及び第２の対象を取得し、前記第１の対象は前記第１の映像シーケンスに基づく再構築によって取得される対象であり、前記第２の対象は前記第２の映像シーケンスに基づく再構築によって取得される対象であり、
    位置合わせユニットは前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得し、前記位置合わせ結果は前記第１の対象における任意の１つの画素点と前記第２の対象における画素点との一対一の対応関係を含み、
    写像関係取得ユニットは前記位置合わせ結果に基づいて写像関係を取得し、前記写像関係は前記第１の映像シーケンス中の画像フレームと前記第２の映像シーケンス中の画像フレームとの対応関係を示し、
    画像表示ユニットは、前記第１の映像シーケンス中のターゲット画像フレームが表示されているときに、前記写像関係に基づいて対照画像フレームを対応するように表示し、前記対照画像フレームは前記第２の映像シーケンスの中の、前記ターゲット画像フレームに対応する画像フレームであり、前記ターゲット画像フレームは前記第１の映像シーケンス中の任意の１つの画像フレームであり、
    前記位置合わせユニットが前記第１の対象と前記第２の対象とに対して位置合わせを行って位置合わせ結果を取得することは、
    前記位置合わせユニットが具体的に、
    前記第１の対象及び前記第２の対象のそれぞれを複数のセグメントに分割し、
    第１の外接多面体の頂点と第２の外接多面体の頂点とに対してペアリングを行ってマッチングポイントを取得し、
    前記マッチングポイントに基づいて位置合わせマトリックス方程式を確定し、
    最小二乗法を用いて前記位置合わせマトリックス方程式を解くことによって、前記位置合わせ結果を取得する、ことを含み、
    前記第１の外接多面体は、前記第１の対象が分割されて得られた各セグメントの外接多面体であり、前記第２の外接多面体は、前記第２の対象が分割されて得られた各セグメントの外接多面体であることを特徴とする画像のマッチング装置。
  7. 前記映像シーケンス取得ユニットが第１の映像シーケンス及び第２の映像シーケンスを取得することは、
    前記映像シーケンス取得ユニットが具体的に、
    前記第１の映像シーケンスを受信し、
    過去の映像シーケンスから前記第１の映像シーケンスと同じラベルを有する映像シーケンスを採取して前記第２の映像シーケンスとする、ことを含む
    ことを特徴とする請求項６に記載の画像のマッチング装置。
  8. 前記映像シーケンス取得ユニットが前記第１の映像シーケンスを受信することは、
    前記映像シーケンス取得ユニットが具体的に、前記第１の映像シーケンスが映像シーケンスのイメージングデバイスにより生成された後、前記映像シーケンスのイメージングデバイスから前記第１の映像シーケンスを取得する、ことを含む
    ことを特徴とする請求項７に記載の画像のマッチング装置。
  9. 病巣情報取得ユニット及び病巣情報表示ユニットを更に備え、
    前記病巣情報取得ユニットは、第１の病巣情報及び第２の病巣情報を取得し、
    前記病巣情報表示ユニットは、前記第１の病巣情報及び前記第２の病巣情報における共通項目の内容を対応するように表示し、
    前記第１の病巣情報は、前記第１の映像シーケンスに基づいて得られた病巣の診断情報を表し、前記第２の病巣情報は、前記第２の映像シーケンスに基づいて得られた病巣の診断情報を表す
    ことを特徴とする請求項６ないし８のいずれか一項に記載の画像のマッチング装置。
  10. 第２のフレームラベル取得ユニット及び第１のフレームラベル取得ユニットを更に備え、
    前記第２のフレームラベル取得ユニットは第２のフレームラベルを取得し、
    前記第１のフレームラベル取得ユニットは、前記第２のフレームラベル及び前記写像関係に基づいて第１のフレームラベルを確定し、
    前記第２のフレームラベルは、前記第２の映像シーケンスにおいて病巣が位置している画像フレームのラベルであり、
    前記第１のフレームラベルは、前記第１の映像シーケンスにおいて前記病巣が位置している画像フレームのラベルであり、
    前記第１の映像シーケンスの取得時間は前記第２の映像シーケンスの取得時間より遅い
    ことを特徴とする請求項６ないし８のいずれか一項に記載の画像のマッチング装置。
  11. メモリ及びプロセッサを備え、
    前記メモリはプログラムを記憶し、
    前記プロセッサは前記プログラムを実行して、請求項１ないし５のいずれか一項に記載の画像のマッチング方法の各ステップを実現する
    ことを特徴とする画像のマッチングデバイス。
  12. コンピュータプログラムが記憶されており、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１ないし５のいずれか一項に記載の画像のマッチング方法の各ステップが実現される
    ことを特徴とする記憶媒体。
JP2021548143A 2019-10-21 2020-06-08 画像のマッチング方法、装置、デバイス及び記憶媒体 Active JP7190059B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911001697.3 2019-10-21
CN201911001697.3A CN110766735B (zh) 2019-10-21 2019-10-21 一种图像的匹配方法、装置、设备及存储介质
PCT/CN2020/094875 WO2021077759A1 (zh) 2019-10-21 2020-06-08 一种图像的匹配方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2022520480A JP2022520480A (ja) 2022-03-30
JP7190059B2 true JP7190059B2 (ja) 2022-12-14

Family

ID=69332872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548143A Active JP7190059B2 (ja) 2019-10-21 2020-06-08 画像のマッチング方法、装置、デバイス及び記憶媒体

Country Status (5)

Country Link
US (1) US11954860B2 (ja)
EP (1) EP3910592A4 (ja)
JP (1) JP7190059B2 (ja)
CN (1) CN110766735B (ja)
WO (1) WO2021077759A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766735B (zh) 2019-10-21 2020-06-26 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质
CN111462083B (zh) * 2020-03-31 2023-05-02 北京东软医疗设备有限公司 图像处理方法、装置、电子设备及存储介质
CN111462203B (zh) * 2020-04-07 2021-08-10 广州柏视医疗科技有限公司 Dr病灶演化分析装置和方法
CN111696649A (zh) * 2020-06-10 2020-09-22 杭州联众医疗科技股份有限公司 一种实现病种控费的手术前后影像数据比对的系统
CN112686866A (zh) * 2020-12-31 2021-04-20 安徽科大讯飞医疗信息技术有限公司 基于医学影像的随访方法、装置及计算机可读存储介质
CN115546174B (zh) * 2022-10-20 2023-09-08 数坤(北京)网络科技股份有限公司 图像处理方法、装置、计算设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137294A1 (ja) 2005-06-21 2006-12-28 National University Corporation Kanazawa University Ｘ線診断支援装置、プログラム及び記録媒体
US20160058423A1 (en) 2014-09-03 2016-03-03 Samsung Electronics Co., Ltd. Apparatus and method for interpolating lesion detection
CN106157282A (zh) 2015-03-31 2016-11-23 深圳迈瑞生物医疗电子股份有限公司 图像处理系统及方法
JP2018011807A (ja) 2016-07-22 2018-01-25 株式会社日立製作所 画像表示装置、ｘ線画像診断装置、及び画像表示方法
WO2019023382A1 (en) 2017-07-26 2019-01-31 Canon U.S.A., Inc. METHOD FOR EVALUATING CARDIAC MOVEMENT USING ANGIOGRAPHIC IMAGE

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050135707A1 (en) * 2003-12-18 2005-06-23 Turek Matthew W. Method and apparatus for registration of lung image data
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
US8848990B2 (en) * 2010-09-28 2014-09-30 Siemens Aktiengesellschaft Automatic registration of image series with varying contrast based on synthetic images derived from intensity behavior model
KR101932721B1 (ko) * 2012-09-07 2018-12-26 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
CN104750951A (zh) * 2013-11-21 2015-07-01 上海联影医疗科技有限公司 一种医疗图像数据的分析处理方法及装置
CN103927746B (zh) * 2014-04-03 2017-02-15 北京工业大学 一种三维网格序列的配准及压缩方法
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的系统和方法
CN106934807B (zh) * 2015-12-31 2022-03-01 深圳迈瑞生物医疗电子股份有限公司 一种医学影像分析方法、系统及医疗设备
US20190056498A1 (en) * 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
US10380763B2 (en) * 2016-11-16 2019-08-13 Seiko Epson Corporation Hybrid corner and edge-based tracking
CN106815832B (zh) * 2016-12-20 2019-05-21 华中科技大学 一种表面贴装技术的钢网图像自动配准方法和系统
CN107292872A (zh) * 2017-06-16 2017-10-24 艾松涛 图像处理方法/系统、计算机可读存储介质及电子设备
CN107465940B (zh) * 2017-08-30 2019-10-25 苏州科达科技股份有限公司 视频对准方法、电子设备及存储介质
CN107454389B (zh) * 2017-08-30 2019-04-23 苏州科达科技股份有限公司 待测系统的视频质量评价方法及系统
CN107595390B (zh) * 2017-10-19 2020-12-08 青岛大学附属医院 一种超声影像与ct影像的实时匹配融合方法
US10510145B2 (en) * 2017-12-27 2019-12-17 Industrial Technology Research Institute Medical image comparison method and system thereof
US11017548B2 (en) * 2018-06-21 2021-05-25 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using range images
CN109035234B (zh) * 2018-07-25 2020-12-01 腾讯科技（深圳）有限公司 一种结节检测方法、装置和存储介质
CN110021025B (zh) * 2019-03-29 2021-07-06 上海联影智能医疗科技有限公司 感兴趣区域的匹配和显示方法、装置、设备及存储介质
CN110766735B (zh) * 2019-10-21 2020-06-26 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137294A1 (ja) 2005-06-21 2006-12-28 National University Corporation Kanazawa University Ｘ線診断支援装置、プログラム及び記録媒体
US20160058423A1 (en) 2014-09-03 2016-03-03 Samsung Electronics Co., Ltd. Apparatus and method for interpolating lesion detection
CN106157282A (zh) 2015-03-31 2016-11-23 深圳迈瑞生物医疗电子股份有限公司 图像处理系统及方法
JP2018011807A (ja) 2016-07-22 2018-01-25 株式会社日立製作所 画像表示装置、ｘ線画像診断装置、及び画像表示方法
WO2019023382A1 (en) 2017-07-26 2019-01-31 Canon U.S.A., Inc. METHOD FOR EVALUATING CARDIAC MOVEMENT USING ANGIOGRAPHIC IMAGE

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tracy L. Faber et al.，"Spatial and Temporal Registration of Cardiac SPECT and MR images: Methods and Evaluation"，Radiology，米国，Radiological Society of North America，1991年01月31日，Vol.179, No.3，pp.857-861
仲本 宗泰、外８名，"治療Ｘ線ポータル動画像に基づく体幹部肺定位放射線治療時における４次元線量分布推定法の開発"，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2016年01月12日，Vol.115, No.401，pp.69-73

Also Published As

Publication number Publication date
EP3910592A1 (en) 2021-11-17
US20210366121A1 (en) 2021-11-25
WO2021077759A1 (zh) 2021-04-29
JP2022520480A (ja) 2022-03-30
US11954860B2 (en) 2024-04-09
CN110766735B (zh) 2020-06-26
EP3910592A4 (en) 2022-05-11
CN110766735A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
JP7190059B2 (ja) 画像のマッチング方法、装置、デバイス及び記憶媒体
KR102013866B1 (ko) 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치
JP7225295B2 (ja) 医用画像表示装置、方法およびプログラム
WO2021031815A1 (zh) 医学影像分割方法、装置、计算机设备及可读存储介质
CN109035234B (zh) 一种结节检测方法、装置和存储介质
US9480456B2 (en) Image processing apparatus that simultaneously displays two regions of interest on a body mark, processing method thereof and storage medium
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN110288653B (zh) 一种多角度超声图像融合方法、系统及电子设备
CN106709920B (zh) 血管提取方法及其装置
Hernandez-Matas et al. Retinal image registration through simultaneous camera pose and eye shape estimation
KR102222509B1 (ko) 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
JP6905323B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
EP2823764B1 (en) Medical image processing device, method, and program
Chen et al. The research and practice of medical image enhancement and 3D reconstruction system
US20200074737A1 (en) Visualization of ultrasound images in physical space
CN115311317A (zh) 一种基于Scaleformer类算法的腹腔镜图像分割方法及系统
US20220108525A1 (en) Patient-specific cortical surface tessellation into dipole patches
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
CN112466479A (zh) 基于虚拟现实的患者模型创建方法、系统、设备和介质
US20220183759A1 (en) Determining a surgical port for a trocar or laparoscope
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
CN112488289A (zh) 预测数据组的提供
CN111462314A (zh) 器官三维图像重建方法、手术导航方法及手术辅助系统
KR102161853B1 (ko) 의료 영상 처리 방법, 의료 영상 검색 방법 및 이를 이용한 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221202

R150 Certificate of patent or registration of utility model

Ref document number: 7190059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150