JP6886260B2 - 画像処理装置、その制御方法、およびプログラム - Google Patents

画像処理装置、その制御方法、およびプログラム Download PDF

Info

Publication number
JP6886260B2
JP6886260B2 JP2016174964A JP2016174964A JP6886260B2 JP 6886260 B2 JP6886260 B2 JP 6886260B2 JP 2016174964 A JP2016174964 A JP 2016174964A JP 2016174964 A JP2016174964 A JP 2016174964A JP 6886260 B2 JP6886260 B2 JP 6886260B2
Authority
JP
Japan
Prior art keywords
point
image
consistency
subject
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016174964A
Other languages
English (en)
Other versions
JP2018038609A5 (ja
JP2018038609A (ja
Inventor
格 音丸
格 音丸
遠藤　隆明
隆明 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016174964A priority Critical patent/JP6886260B2/ja
Priority to US15/678,233 priority patent/US10603016B2/en
Publication of JP2018038609A publication Critical patent/JP2018038609A/ja
Publication of JP2018038609A5 publication Critical patent/JP2018038609A5/ja
Application granted granted Critical
Publication of JP6886260B2 publication Critical patent/JP6886260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、種々の画像撮像装置（モダリティ）で撮像した画像を処理する技術に関する。
医療の分野において、複数のモダリティで撮像された医用画像や、異なる日時、異なる体位、異なる撮影モードで撮像された医用画像を診断に利用するためには、被検体内の注目点を夫々の医用画像間で同定する（対応付ける）ことが重要である。注目点には、画像処理による自動同定が可能なものがある一方で、モダリティの違いや被検体の変形等の影響で自動同定が困難なものも存在する。そのため、医師等は、画像を見ながら同定作業を目視で行うことが一般的である。
また、同種の目的のために、複数の画像を位置合わせして表示することが試みられている。例えば、非特許文献１には、画像間における被検体の変形を推定する変形位置合わせ技術が開示されている。ここで、より高精度な位置合わせを実現するために、ユーザが目視で同定した対応点を位置合わせ処理に用いることがしばしばなされている。
そこで、一方の画像（以下、参照画像）上で指摘した注目点を他方の画像（以下、対象画像）から探索し同定する作業を支援するための技術が開発されている。例えば、特許文献１の技術によると、参照画像と対象画像に対してそれぞれ入力された点が対応点として正しいか否かが推定され、「整合度」という指標としてユーザに対して提示される。特許文献１の技術では、正しく対応付けられた点が既に多数得られている場合に、それらの点群を用いて算出された変位場からの逸脱度合いを整合度として用いる。
特開２０１６−２１９９８号公報 特開２０１５−１３０９７２公報
Ｄ．Ｒｕｅｃｋｅｒｔ, Ｌ．Ｓｏｎｏｄａ, Ｃ．Ｈａｙｅｓ, Ｄ．Ｈｉｌｌ, Ｍ．Ｌｅａｃｈ，ａｎｄ Ｄ．Ｈａｗｋｅｓ，"Ｎｏｎｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｕｓｉｎｇ ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎｓ： ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｒｅａｓｔ ＭＲ ｉｍａｇｅｓ"，ＩＥＥＥ ｍｅｄ． ｉｍａｇ．，ｖｏｌ．１８（８），ｐｐ．７１２−７２１，１９９９．
しかしながら、特許文献１に記載された技術は、既に正しく対応付けられた多数の点が存在することを前提としているため、利用できる場面が限られるという課題があった。
本発明は、上記課題に鑑みてなされたものであり、複数の画像中においてユーザにより指定される対応点の組の正確性を向上させることを目的とする。
上記目的を達成するための一手段として、本発明の画像処理装置は、以下の構成を備える。すなわち、画像処理装置は、被検体を異なる条件で撮影することにより得られた第１の画像と第２の画像のそれぞれにおいて当該被検体の対応する特徴部分を取得する取得手段と、前記第１の画像上の第１の点と、前記第２の画像における前記第１の点の対応点候補である候補点を指定する指定手段と、前記第１の画像における前記第１の点と前記被検体の特徴部分の間の第１の距離と、前記第２の画像における前記候補点と前記被検体の特徴部分の間の第２の距離との第１の距離の比に基づいて、前記第１の点と前記候補点との整合度を導出する導出手段と、前記導出された整合度を表示部に表示させる表示制御手段と、を有し、前記指定手段によって前記第２の画像における前記候補点の位置が変更された場合、前記導出手段は、前記第１の画像における前記第１の点と前記特徴部分の間の第１の距離と、前記第２の画像において該位置が変更された前記候補点と前記特徴部分の間の第３の距離との第２の距離の比に基づいて、前記第１の画像における前記第１の点と前記第２の画像において該位置が変更された候補点との整合度を再導出し、前記指定手段は、前記第２の距離の比に基づいて整合度が再導出された候補点を前記第２の画像における第２の点として指定した場合、該指定された第２の点は前記第１の点の対応点として設定される。
本発明によれば、複数の画像中においてユーザにより指定される対応点の組の正確性が向上する。
第１の実施形態における画像処理装置の機器構成を示す図である。 第１の実施形態における全体の処理手順を示すフロー図である。 第１の実施形態における整合度算出方法の例を示す図である。 第１の実施形態における整合度を示す図である。 第１の実施形態における整合度の表示の例を示す図である。 第２の実施形態における全体の処理手順を示すフロー図である。 第２の実施形態における整合度算出方法の例を示す図である。 第３の実施形態における整合度の表示の例を示す図である。
以下、添付図面に従って本発明における画像処理装置の実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
＜第１の実施形態＞
本実施形態における画像処理装置は、ユーザが指定した２つの画像（第１の画像と第２の画像）間における２つの点（第１の点と第２の点）が対応点の組であることの整合度を導出して表示する。整合度は、第１の点と第２の点の位置と第１の画像と第２の画像からそれぞれ得られる被検体特徴の位置の位置関係に基づいて算出される。具体的には、本実施形態では、整合度は、第１の点と第２の点の、第１の画像と第２の画像からそれぞれ得られる被検体特徴に対する距離値に基づいて算出される。整合度の算出のために、対応付け済みの多数の点を必要としていた特許文献１の技術とは異なり、本画像処理装置は、被検体特徴のみを用いて整合度を算出することが可能である。なお、以降の説明において、「第１の画像上の注目点（第１の点）」と、「該注目点と第２の画像上において対応する点（第２の点）」の２点を「対応点の組」と称する。また、対応点の組の候補としてユーザが指定した２点を、「対応点候補の組」と称する。ユーザは、指定した対応点候補の組の整合度をインタラクティブに確認することができる。このため、不整合と判定された場合は点入力をやり直し、より適切な位置に対応点の組を入力することが可能である。本実施形態において、第１の画像と第２の画像は、同一患者を異なる姿勢で撮像した乳房の画像であるとする。以下、図１から４を用いて本実施形態の構成および処理を説明する。
図１は、本実施形態における画像処理システムの構成を示す。同図に示すように、本実施形態における画像処理装置１００は、データサーバ１５０および操作部１６０、そして表示部１７０にと接続されている。
データサーバ１５０が保持する第１および第２の画像は、異なる条件（異なるモダリティ、撮影モード、日時、体位等）で被検体を予め撮像して得られた３次元断層画像である。３次元断層画像を撮像するモダリティは、ＭＲＩ装置、Ｘ線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置などであってもよい。第１および第２の画像は、例えば、異なるモダリティや異なる撮影モードで同時期に撮像されたものであってもよい。また、第１および第２の画像は、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。なお、第１および第２の画像は、２次元断層画像の集合として構成されており、各２次元断層画像の位置および姿勢は、基準座標系（被検体を基準とした空間中の座標系）に変換した上でデータサーバ１５０に保持されているものとする。基準座標系で表現された第１および第２の画像は、画像取得部１０２を介して画像処理装置１００に入力される。
操作部１６０は、ユーザによるマウスやキーボード等の操作を受け付けて、当該操作に応じた入力を画像処理装置１００に対して行う。例えば、操作部１６０は、ユーザが指定する対応点候補の組を、対応点候補取得部１０４を介して画像処理装置１００に入力する。また、操作部１６０は、対応点の指定処理を終了するか否かの判定を、終了判定部１１２を介して画像処理装置１００に入力する。その他、操作部１６０は、所定の入力を画像取得部１０２に対して行う。画像取得部１０２と対応点候補取得部１０４はそれぞれ、受け付けた入力に応じた処理を、接続された各機能部に対して行うことができる。
表示部１７０は、画像処理装置１００が生成する表示画像や整合度情報等の各種の情報を表示する。また、表示部１７０には、ユーザからの指示を取得するためのＧＵＩ（Graphical User Interface）も配置されている。
画像処理装置１００は、以下に説明する構成要素により構成されている。画像取得部１０２は、画像処理装置１００へと入力される第１および第２の画像を取得する。特徴取得部１０３は、第１の画像と第２の画像の夫々から、乳頭位置座標や体表面といった被検体特徴を取得する。対応点候補取得部１０４は、ユーザの指示に従って、第１の画像上と第２の画像上における対応点候補の組（３次元座標の組）を取得する。また、対応点候補取得部１０４は、ユーザの指示に応じて、対応点候補の組を不図示の記憶部に格納されている対応点群に追加する。距離値計測部１０６は、第１の画像と第２の画像の夫々において、対応点候補から被検体特徴までの距離値を計測する。この処理の詳細は、図２のＳ２０３０の説明で述べる。整合度算出部１０８は、対応点候補から被検体特徴までの距離値に基づいて、対応点候補の組の整合度を算出する。この処理の詳細は、図２のＳ２０４０の説明で述べる。表示制御部１１０は、第１および第２の画像の断面画像と、整合度に関する情報を、表示部１７０に表示させる制御を行う。終了判定部１１２は、ユーザの指示に従って、対応付けを終了するか否かの判定を行う。位置合わせ実行部１１４は、不図示の記憶部に格納されている対応点群を用いて第１の画像と第２の画像の間の位置合わせを実行する。そして、位置合わせ結果（変形場、変形画像）を不図示の記憶部に格納する。
図２は、画像処理装置１００が行う全体の処理手順を示すフローチャートである。
（Ｓ２０００） （画像の取得）
Ｓ２０００において、画像取得部１０２は、データサーバ１５０から、第１の画像、および第２の画像を取得する。そして、取得した情報を特徴取得部１０３と表示制御部１１０へ出力する。
（Ｓ２００５） （被検体特徴の取得）
Ｓ２００５において、特徴取得部１０３は、Ｓ２０００で取得した第１の画像と第２の画像から、第１の画像と第２の画像それぞれに撮像されている被検体特徴（特徴部分）を取得する。そして、特徴取得部１０３は、取得した情報を距離値計測部１０６へと出力する。
ここで被検体特徴の取得方法を説明する。前述した通り、本実施形態における被検体特徴は、乳頭位置座標と体表面という２種類の情報を指す。まず、特徴取得部１０３は、キャニーエッジ検出器（Ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｏｒ）といった公知のエッジ検出アルゴリズムを用いて、画像中の複数のエッジを検出する。そして、検出した複数のエッジのうち、孤立したエッジを除去したものを滑らかに繋いだ曲面を体表面とする。その後、特徴取得部１０３は、ユーザの指示に従って、体表面上から乳頭位置を選択して取得する。なお、本実施形態で使用する体表面とは、乳房の体表面を一定の間隔でサンプリングした点の集合であるとする。以降、この点群を体表点群と呼ぶ。
本実施形態では、体表面をエッジ検出に基づいて自動的に取得する場合を例に挙げて説明するが、ユーザの指示に従って手動操作に基づいて体表面を取得してもよい。例えば、ユーザの指示により体表面上の点が何点か疎らに入力された場合、特徴取得部１０３が陰多項式（Ｉｍｐｌｉｃｉｔ ｆｎｃｔｉｏｎ：ＩＰ）を用いて、それらの点を滑らかに繋ぐ曲面を算出してもよい。なお、乳頭位置の指定や体表面上の点の指定などのユーザ指示は、第１の画像および第２の画像の任意の断面画像を表示部１７０に表示させた画像上において、操作部１６０がユーザからマウスクリックなどの操作を受け付けることにより為され得る。なお、被検体特徴の取得方法はこれに限るものではなく、第１の画像および第２の画像の付帯情報としてこれらの情報を予めデータサーバ１５０に保持させておいて、それを特徴取得部１０３がデータサーバ１５０から取得する構成であってもよい。
（Ｓ２０１０） （第１の点を取得）
Ｓ２０１０において、対応点候補取得部１０４は、ユーザの指示に従って、第１の画像における注目点（第１の点）の位置（３次元座標）を取得する。具体的には、まず、ーザはマウスやキーボードを操作して、着目する断面画像を選択し、表示制御部１１０が、選択された断面画像を第１の画像の断面画像として表示部１７０に表示させる。そして、表示された断面画像において、ユーザは、マウスボタンクリックやキーボードキー押下といった操作を行うことによって、注目位置を注目点として画像処理装置１００に入力する。対応点候補取得部１０４は、断面画像上で指定された注目位置を、第１の画像における断層画像の位置および姿勢を利用して、基準座標系における注目点の位置に変換する。なお、インタレストオペレータ等の画像特徴点抽出処理によって第１の画像から注目点候補を自動抽出し、最も特徴量が高く、かつこれまでに一度も第１の点として選択されたことがない点を選択する構成であってもよい。あるいは、同様にして抽出した注目点候補の中から、ユーザが注目点を選択する構成であってもよい。
なお、第１の点がすでに取得済みの場合は、対応点候補取得部１０４は、ユーザの指示に従って、第１の点の位置を移動させたり、点を削除して第１の点が未取得の状態に戻したりすることが可能である。点の移動や削除は、点を入力する場合と同様に、ユーザがマウスボタンクリックやキーボードキー押下といった操作を行うことで実施する。例えば、マウスを操作して第１の画像上の第１の点をドラッグした場合は、ドラッグ先に第１の点を「移動する」という指示が与えられたものとする。また、マウスを操作して第１の点をクリックし、その後キーボードのＤｅｌｅｔｅキーを押下した場合は、「削除する」という指示が与えられたものとする。第１の点が削除された場合、処理ステップは、Ｓ２０１０開始時の状態に戻り、対応点候補取得部１０４は、ユーザの指示を受け付けて、新しい第１の点の位置を取得する。
対応点候補取得部１０４は、第１の画像上にすでに第１の点が入力されている状態で、マウスカーソルが第２の画像上にある場合には、本ステップの処理を終了する。そして、Ｓ２０２０へと処理を進める。
（Ｓ２０２０） （第２の点を取得）
Ｓ２０２０において、対応点候補取得部１０４は、ユーザの指示に従って、Ｓ２０１０で取得した注目点（第１の点）と第２の画像上において対応する点の候補（第２の点）の位置（３次元座標）を取得する。Ｓ２０１０とは異なり、第２の点は、ユーザによるマウスクリックやキー押下といった明示的な操作なしに、単に第２の画像上の位置をマウスカーソル（マウスポインタ）やクロスヘアカーソルなどのポインタで指し示すことで取得されるものとする。この場合、指し示されている位置を第２の画像の基準座標系における注目点の位置に変換した座標が、第２の点の座標として取得される。そして、取得した第１の点と第２の点を対応点候補の組（３次元座標の組）として、距離値計測部１０６へと出力する。なお、本実施形態では、ユーザの指示に従って、マウスカーソル等で指し示された位置を第２の点として取得する場合を例に挙げて説明したが、第２の点を自動的に算出してもよい。この場合、例えば、第１の点を中心とする局所画像（テンプレート）との類似度が最も高い第２の画像上の位置をテンプレートマッチングによって算出し、その位置を第２の点として取得することができる。このようにすることで、ユーザに必要とされる作業を削減することができる。
（Ｓ２０３０） （距離値を計測）
Ｓ２０３０において、距離値計測部１０６は、Ｓ２０１０およびＳ２０２０で取得された第１・第２の点（対応点候補の組）から、Ｓ２００５で取得された被検体特徴までの距離値を計測する。そして、距離値計測部１０６は、計測した距離値を、整合度算出部１０８へと出力する。
本実施形態では、被検体特徴として乳頭位置と体表点群という２種類の情報が取得されている。そこで、本実施形態における距離値計測部１０６は、第１の画像と第２の画像のそれぞれについて、対応点候補位置から乳頭位置座標まで、対応点候補位置から体表点群まで、という２つの距離値を算出する。
図３を用いて、距離値の算出について説明する。図３は、本実施形態における整合度算出方法の例を示す図である。図３（ａ）は第１の画像、図３（ｂ）は第２の画像を表すものとする。なお、図３では、紙面上での図示を簡略化するために各点（対応点候補、乳頭位置、体表の最近傍点）が同一平面上に位置しているように記載されているが、実際には、夫々の点は必ずしも同一平面上に存在する必要は無い。
第１の画像において、対応点候補位置から乳頭位置までの距離とは、第１の点３０３から第１の画像の乳頭位置３０２までの３次元の距離値を意味する。また、対応点候補位置から体表点群までの距離値は、体表点群のうち対応点候補位置に対して最近傍の点との距離値とする。第１の画像において、対応点候補位置から体表点群までの距離とは、第１の点３０３から第１の画像における体表点群上の最近傍点３０１までの３次元の距離値を意味する。第２の画像においても同様である。すなわち、第２の画像において、対応点候補位置から乳頭位置までの距離とは、第２の点３０６から乳頭位置３０４までの３次元の距離値であり、対応点候補位置から体表点群までの距離とは、第２の点３０６から体表点群上の最近傍点３０５までの距離である。距離値計測部１０６は、このような２種類の距離値を、第１の画像と第２の画像それぞれにおいて算出する。
（Ｓ２０４０） （整合度を算出）
Ｓ２０４０において、整合度算出部１０８は、Ｓ２０３０で計測された対応点候補位置から被検体特徴までの距離値を用いて、対応点候補の組の整合度を算出する。そして、整合度算出部１０８は、算出した整合度を表示制御部１１０へと出力する。
整合度の算出は、「乳房では、変形状態が変わっても、乳房領域内の任意の位置から乳頭位置までの距離および体表面までの距離の変化が小さい」という事前知識に基づいている。すなわち、整合度算出部１０８は、対応点候補位置から乳頭や体表面までの距離値が、第１の画像と第２の画像とで略同一の場合は整合度を高く、大きく異なる場合は整合度を低く算出する。整合度算出部１０８は、整合度として、乳頭位置座標までの距離値に基づいて算出される整合度（乳頭整合度）と、体表点群までの距離値に基づいて算出される整合度（体表整合度）という、２種類の個別整合度を算出する。また、整合度算出部１０８は、２種類の個別整合度を統合した統合整合度を算出する。
整合度の算出方法を具体的に説明する。まず、整合度算出部１０８は、第１の画像における距離値と第２の画像における距離値の比を求める。乳頭までの距離値の比と、体表点群までの距離値の比は、それぞれ下式で与えられる。
（数１）
Figure 0006886260
（数２）
Figure 0006886260
ここで、ｐ１ ｎｉｐｐｌｅとｐ２ ｎｉｐｐｌｅはそれぞれ、第１の画像と第２の画像における乳頭位置座標である（図３の乳頭位置３０２および３０５）。ｓ１ ｎｅａｒｅｓｔは、体表点群上の点のうち第１の点に対する最近傍点、ｓ２ ｎｅａｒｅｓｔは、体表点群上の点のうち第２の点に対する最近傍点である（図３の体表点群上の最近傍点３０１および３０４）。ｐ１ ｉｎｐｕｔとｐ２ ｉｎｐｕｔはそれぞれ、第１の点と第２の点である（図３の第１の点３０３および第２の点３０６）。ｄｉｓｔは、Ｓ２０３０で算出された、２つの点の間の距離値を表す。すなわち、これらの式は、第１の画像における第１の点から乳頭までの距離に対する、第２の画像における第２の点から乳頭までの距離の比（数１）、および、第１の画像における第１の点から体表点群までの距離に対する、第２の画像における第２の点から体表点群までの距離の比（数２）であることを意味する。
次に、整合度算出部１０８は、上式で算出された距離比ｒｎｉｐｐｌｅおよびｒｓｕｒｆａｃｅを、下式に従って０．０〜１．０の整合度Ｃにマッピングする。
（数３）
Figure 0006886260
図４に、本実施形態における整合度を示す。すなわち、図４は、上式をグラフ化したものである。同図に示すように、整合度は、乳頭点間距離が等しい（すなわち距離比が１）の時に最大値の１をとり、距離比が１から離れるほどに線形に減少する。そして、距離比が０．５よりも小さい場合、もしくは２．０よりも大きい場合は、整合度の値は０となる。
なお、本実施形態では、図４で示すように、距離比の変化に伴う整合度の変化が直線で結ばれている（すなわち、区間的に線形である）場合を例に挙げて説明したが、曲線で結ばれている（すなわち、非線形の）関係であってもよい。この場合、距離比が１．０の近傍では整合度の減少を緩やかにするといった、より柔軟な関数を設計することができるようになる。また、整合度の算出には、上記のような対応点候補位置から被検体特徴までの距離値の比に基づく方法以外の、対応点候補位置から被検体特徴までの距離値の比較に基づく他の方法を用いてもよい。例えば、該距離値の差に基づいて整合度を求めてもよい。この場合、距離値の差が０の場合に整合度が１、距離値の差が所定の閾値以上の場合に整合度が０となり、その間を線形につなぐような変換関数を用いて、距離値の差を整合度に変換できる。
最後に、整合度算出部１０８は、算出した夫々の個別の整合度を統合することで、統合整合度を算出する。統合整合度は、例えば、個別整合度の平均や加重平均、あるいは個別整合度の積として算出される。なお、整合度の統合方法はユーザが選択できるようにしてもよい。特に、加重平均を用いる場合には、ユーザが重みを設定できる構成であってもよい。なお、Ｓ２０５０の処理で統合整合度を表示しない場合には、統合整合度の算出は行わなくてもよい。
（Ｓ２０５０） （整合度を表示）
Ｓ２０５０において、表示制御部１１０は、Ｓ２０４０で算出された整合度を、表示部１７０に表示する制御を行う。表示制御部１１０は、複数の整合度表示方法を備え、それら表示方法の中からいずれかを選択し、あるいは複数の表示方法を組み合わせて表示することができる。
図５に、本実施形態における整合度の表示の例を示す。図５には、文字情報と記号情報を組み合わせて整合度を表示する例が示されている。図５における表示の上部における文字列から、乳頭整合度が０．６７であり、体表整合度が０．１１であることが読み取れる。しかしながら、ユーザがマウスカーソルを動かしながらリアルタイムに整合度の値の変化を観察する場合、より直観的に整合度が確認できる方が、利便性が高い。そのため、文字情報だけではなく、記号情報による表示も行われている。黒丸（●）とバツ印（×）からなる表示が、当該記号情報による表示に相当する。黒丸とバツ印を１０目盛りからなるインジケータに見立て、黒丸の数によって整合度が示されている。すなわち、黒丸が６個見えている場合、整合度の値は０．６〜０．７の間であることを示している。図５の例では、黒丸（●）とバツ印（×）を用いて記号情報による表示を行ったが、インジケータをグラフィックとして描画する構成であってもよい。記号情報による表示やグラフィックによる表示を行うことで、単に整合度の数値を示すよりも、ユーザは直観的に、整合度の値を知ることができる。
他にも、文字色によって整合度を表示することも可能である。この場合、整合度の大小と連動させて、図５における、整合度を記述している文字列の文字色を変化させる。整合度が高い（１．０に近い）場合は例えば緑色、低い（０．０に近い）場合は例えば赤色とする。このようにすることで、記号情報（インジケータ）で示すよりも、ユーザは、より直観的に、整合度の値を知ることが可能である。また、マウスカーソルやクロスヘアカーソルの表示色を整合度に応じて変更する構成であってもよい。なお、この場合、どの整合度に基づき表示色を設定するかは、予め（例えば、統合整合度に）定めておいてもよいし、ユーザが設定できるようにしてもよい。また、整合度を画像ではなく音で提示してもよい。
このような整合度の表示方法は、単一のものを用いるのではなく、組み合わせて使用することも可能である。例えば、文字情報、記号情報、そして文字色の３つは重複して使用することが可能である。また、複数の表示方法を組み合わせて使用する場合は、直観的に整合度を知ることができるという効果と、詳細な整合度の値を観察することができるという効果を併せ持つ。
また、図５は、乳頭整合度と体表整合度の２つを同時に表示する例を示しているが、一方を表示しない、または別々に表示する構成としてもよい。また、これらの個別整合度と同時に、統合整合度を組み合わせて表示してもよい。また、統合整合度のみを表示してもよい。いずれの整合度を表示するかは、ユーザが設定できる構成であってもよい。
（Ｓ２０６０） （対応点候補の組を採用するかの判定）
Ｓ２０６０において、対応点候補取得部１０４は、対応点候補の組を対応点の組として採用するか否かというユーザからの指示を取得し、それに応じて以降の処理を分岐させる処理を行う。対応点候補の組を採用する場合は（Ｓ２０６０でＹｅｓ）、画像処理装置１００は処理ステップをＳ２０７０へと進める。対応点候補の組を採用しない場合は（Ｓ２０６０でＮｏ）、処理ステップをＳ２０８０へと進める。
対応点候補の組を採用する／しないを指定する方法を、以下に示す。本実施形態では、Ｓ２０２０の処理の説明で述べたとおり、第２の点を取得する方法として、マウスカーソルやクロスヘアカーソルによって第２の画像上の位置を単に指し示す方法を用いている。一例として、ここで、ユーザが、カーソルをその位置から動かさずに、マウスをクリックしたりキーを押下したりした場合は、「採用する」という指示が与えられたものとする。一方、クリックやキー押下を行うことなく、カーソルを別の位置に動かした場合には、「採用しない」という指示が与えられたものとする。
（Ｓ２０７０） （対応点候補の組を対応点群に追加）
Ｓ２０７０において、対応点候補取得部１０４は、対応点候補の組を対応点として確定し、不図示の記憶部に格納されている対応点群に追加する。そして、処理ステップをＳ２１１０へと進める。
（Ｓ２０８０） （第２の点を削除）
Ｓ２０８０において、画像処理装置１００は、Ｓ２０２０で取得した第２の点の情報を削除する。これにより、画像処理装置１００は、第１の点のみが取得された状態で、第２の点は未取得の状態となる。そして、画像処理装置１００は、処理ステップをＳ２０１０へと進め、以降の処理を繰り返す。
（Ｓ２１１０） （終了判定）
Ｓ２１１０において、終了判定部１１２は、対応点候補の指定処理を終了するか否かの判定を行う。例えば、表示部１７０に配置された終了ボタンをマウスでクリックするなどしてユーザが入力した終了の指示を取得する。終了判定部１１２が終了すると判定した場合には（Ｓ２１１０でＹｅｓ）、処理ステップをＳ２１２０へと進める。一方、終了判定部１１２が終了しないと判定した場合には（Ｓ２１１０でＮｏ）、処理ステップをＳ２０１０へと戻し、以降の処理が再度実行される。ここで、対応点候補の再指定の入力がない場合には、画像処理装置１００は、終了の入力があるまで断面画像が表示された状態で待機状態となる。
（Ｓ２１２０） （位置合わせを実行）
Ｓ２１２０において、位置合わせ実行部１１４は、Ｓ２０７０の処理で対応点として確定されて不図示の記憶部に格納されている対応点群の情報を用いて、第１の画像と第２の画像の間の位置合わせを実行する。位置合わせのアルゴリズムは、対応点群の距離差をコストとして用いるものであれば、任意の公知の手法を利用することが可能である。例えば、薄板スプライン（Ｔｈｉｎ ｐｌａｔｅ ｓｐｌｉｎｅ：ＴＰＳ）に基づく手法や自由変形（Ｆｒｅｅ ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ：ＦＦＤ）に基づく手法、あるいは、ランドマークＬＤＤＭＭ（Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ）法を用いる。位置合わせ実行部１１４は、位置合わせ結果として、第１の画像と第２の画像の間の対応関係を表す変形場を導出する。さらに、位置合わせ実行部１１４は、第１の画像と第２の画像の少なくともいずれか一方を変形させて他方の画像に位置合わせした変形画像を生成する。位置合わせ実行部１１４は、これらの情報を不図示の記憶部に格納する。
なお、本実施形態では、不図示の記憶部に格納されている対応点群の情報のみに基づいて位置合わせを行う場合を例に挙げて説明したが、さらに、第１の画像と第２の画像にも基づいて位置合わせを行うことも可能である。この場合、コストとして、対応点群の距離差に加え、画像間の類似度を用いることができる。
（Ｓ２１３０） （位置合わせ結果を出力）
Ｓ２１３０において、表示制御部１１０は、Ｓ２１２０で得た位置合わせ結果の情報（変形画像や変形場など）を表示部１７０に表示する制御を行う。以上が、画像処理装置１００による処理の流れである。
図２のフローチャートによれば、第１の画像上で第１の点が入力（Ｓ２０１０）された状態で第２の画像上でマウスカーソル動かすと、Ｓ２０２０からＳ２０６０、Ｓ２０８０、Ｓ２０９０、Ｓ２０１０、そしてＳ２０２０という経路で処理がループする。このように処理が繰り返されることで、画像処理装置１００は、リアルタイムに第２の点を更新しながら整合度を再計算し続けることができる。そのため、画像処理装置１００は、第２の画像の空間内のどのあたりで整合度が高くなるかをリアルタイムで探索することが可能である。これにより、ユーザは、「対応点はこの辺りにありそうだ」という自身の直観的判断と、整合度という定量的指標をバランスさせて、対応点を入力できるという効果が生じる。
なお、本実施形態では、乳房を被検体として、乳頭位置と体表形状を被検体特徴として用いる場合を例示したが、これに限定されるものではない。例えば、病変の重心位置や主要な血管の分岐点位置を被検体特徴として用いてもよい。また、本実施形態のように、一つの点（乳頭位置）と一つの面形状（体表形状）の組み合わせ以外にも、複数の点や複数の面形状を併用してもよい。このように、２種類以上の被検体特徴を用いることができる。
また、被検体は、乳房以外の他の部位であってもよい。例えば、被検体が骨盤の場合に、上前腸骨棘といった、骨盤表面に存在する解剖学的特徴点を被検体特徴として用いることで同様の効果を得ることができる。なお、画像処理装置１００自身は被検体が何かということを知る必要はなく、また、被検体特徴が点であるのか、面形状であるのかさえ与えられれば、何を被検体特徴として用いるかを知る必要もない。すなわち、ユーザは、任意の被検体に対して、変形に対して一定の不変性を有すると判断した（仮定した）被検体特徴を用いて、画像処理装置１００を動作させることが可能である。
＜第１の実施形態の変形例１＞（信頼度を考慮して整合度を算出する）
本実施形態では、Ｓ２０３０で計測される距離値のみに基づいて整合度を算出する場合を例に挙げて説明したが、他の情報も考慮に入れる構成であってもよい。例えば、「信頼度」という要素を導入し、画像領域の中で信頼度が高い領域は整合度を高く、信頼度が低い領域は整合度を低くするように重みづけしてもよい。
信頼度の例としては、体表面からの距離値が挙げられる。整合度算出の前提としている、「乳房においては変形しても乳頭からの距離や体表からの距離は変わらない」という知識は、対応点候補の位置が体表面から離れる（深くなる）につれ、成り立たない場合が生じると考えられる。そこで、体表面からの距離値が小さい領域は信頼度を高く、距離値が大きい領域は信頼度を低く設定する。
この場合、Ｓ２００５において、特徴取得部１０３は、第１の画像と第２の画像それぞれにおいて算出されている体表面を用いて、「体表面距離変換画像」をさらに算出する。これは、画像領域における各ボクセルについて、体表面までの最短距離がボクセル値として格納された３次元画像である。そして、Ｓ２０４０で整合度を算出する場合は、まず、整合度算出部１０８は、第１の画像と第２の画像それぞれに対して、以下の式に従って、信頼度係数Ｒ１とＲ２を算出する。
（数４）
Figure 0006886260
ここで、ｄｔｈは体表面までの距離値の閾値であり、距離値がこの値よりも大きい場合、信頼度（係数）は０となる。ここでは、信頼度係数Ｒ１とＲ２は、体表からの距離値が大きくなるほどに線形に減衰する場合を例に挙げて説明したが、その他の形の関数を用いてもよい。例えば、体表からの距離と信頼度の間の関係が正規分布に従うという事前知識がある場合は、平均値が０である半ガウス関数によって信頼度係数を算出することで、その事前知識を直接的に表現することが可能となる。
そして、整合度算出部１０８は、数３で得られる整合度Ｃを、Ｒ１とＲ２を用いて以下の式に従って重みづけし、Ｃ’を算出する。
（数５）
Figure 0006886260
この式は、夫々の画像における信頼度係数（Ｒ１とＲ２）の積を整合度の信頼度と定義して、この信頼度を、整合度Ｃに積算する補正係数として用いることで、補正後の整合度Ｃ’を求めることを意味する。なお、（数５）では、信頼度の積を用いる場合を例に挙げて説明したが、（数５）以外の定式化を行うことも可能である。例えば、Ｒ１とＲ２の平均値を整合度の信頼度として用いてもよい。すなわち、Ｒ１とＲ２の平均値と整合度Ｃとの積により、補正後の整合度Ｃ’を求めるようにしてもよい。（数５）のように信頼度の積を用いる場合、一方の信頼度が０になると、他方の信頼度の値に関係なく整合度が０となるが、平均値を用いることでこのような極端な傾向を緩和することできる。また、Ｒ１とＲ２のいずれか一方のみを整合度の信頼度として用いてもよい。この場合、Ｒ１とＲ２のいずれか一方をＣに乗算することでＣ’を算出すればよい。 なお、いずれの信頼度係数を整合度の信頼度として用いるかは、予め定めておいてもよいし、入力画像に応じて選択するようにしてもよい。例えば、体表面抽出の精度が高い方の画像のみを信頼度の算出対象として用いることができる。
このように、本変形例によれば、整合度の信頼性に対する知識を、整合度算出に活用することができるようになる。
＜第１の実施形態の変形例２＞（乳頭と体表最近傍点の測地線距離に基づく整合度をさらに算出する）
本実施形態では、算出される整合度は、対応点候補から被検体特徴までの距離値に基づくもののみであったが、対応点候補を直接使用せずに算出される整合度をさらに含む構成であってもよい。例えば、図３における体表点群上の最近傍点３０１（および体表点群上の最近傍点３０５）と、乳頭位置３０２（および乳頭位置３０４）との間の測地線距離（Ｇｅｏｄｅｓｉｃ ｄｉｓｔａｎｃｅ）を計測し、該距離値に基づいて算出される整合度をさらに含んでもよい。この場合、測定される距離値が、対応点候補の体表からの深さに影響されないため、整合度の信頼性が向上することが期待できる。なお、近似値として、測地線距離の代わりに、体表点群上の最近傍点と乳頭位置の直線距離を用いてもよい。
＜第１の実施形態の変形例３＞
本実施形態では、取得した対応点群を用いて２枚の画像の位置合わせ処理を行ったが、位置合わせ処理は必須ではなく、画像処理装置１００は、対応点の取得と保存のみを行う構成であってもよい。この場合、画像処理装置１００は、画像間の対応点や対応部位を探索するあらゆる目的に用いることができる。例えば、画像処理装置１００は、第１の画像上における病変位置などの注目点が与えられている場合に、第２の画像上におけるその対応病変を探索する目的に用いることができる。
また、本実施形態では、画像処理装置１００は、第１の画像と第２の画像という２枚の画像を用いて、両画像間の整合度を算出する処理を行なったが、本発明の実施に第２の画像は必ずしも必要ではない。この場合、画像処理装置１００は、術前に取得された第１の画像上における被検体の注目点と、術中に（画像ではない）実空間を測定して得られる被検体の注目位置との整合度を表示することができる。例えば、術前に撮像した第１の画像上における病変位置などの注目点が与えられている場合に、画像処理装置１００は、術中に実空間中のポインタで示された位置（第２の点）が注目点（第１の点）と対応する点であることの整合度を提示するようにできる。このとき、実空間中における被検体の乳頭位置や体表形状は、３次元位置センサ（３次元スタイラスや距離計測カメラ）で計測することができる。また、実空間中のポインタとしては、例えば、穿刺用器具を用いることができる。すなわち、当該器具の位置と姿勢を３次元位置センサで計測し、穿刺針の先端位置を用いることができる。
＜第１の実施形態の変形例４＞
本実施形態では、第１の点および第２の点を指定する際にユーザが参照する画像と、整合度算出に使用する画像は同一の画像であったが、第１および第２の点を指定する際には、ユーザが対応点を探索しやすい表示形態となるように、第１の画像と第２の画像を変形させて表示する構成であってもよい。例えば、画像処理装置１００は、体表面からの深さが同一のボクセルは同一平面に含まれるように画像を変形（以下、矩形変形）させ、これを表示画像として用いるようにすることができる。これには、例えば特許文献２の技術を用いることができる。これによると、乳房画像において、体表面から同一の深さに走行する血管を、画像のスライスを切り替えなくても観察することができるため、対応点候補（第１の点および第２の点）の取得の効率を向上させることができる。
ここで、矩形変形された画像は、対応点の観察には好適であるものの、非線形な変形が適用された歪んだ画像であり、元の画像における物理的な位置関係を保持していない。そこで、本変形例では、対応点候補の取得は矩形変形された画像を用いて行い、整合度算出は変形前の元々の画像で行う。具体的には、対応点候補取得部１０４は、第１および第２の矩形変形画像上で入力された対応点候補（第３の点および第４の点）を座標変換し、第１の画像および第２の画像上の点（第１の点および第２の点）を算出する。ここで、座標変換は、矩形変形された画像を生成する際に使用した変形関数の逆関数を、第３および第４の点に適用することで行う。そして、変換後の画像空間での座標（すなわち、第１の点および第２の点の座標）を用いて整合度を算出を行う。 なお、変形画像の生成方法は矩形変換に限らず、画像間の対比を容易にするための任意の方法を用いてもよい。例えば、乳頭からの同一距離上の点が同一平面に位置するような変形画像を生成して、これを表示する構成であってもよい。
＜第２の実施形態＞（整合度マップを算出表示する）
本実施形態における画像処理装置１００は、第１の画像で入力された第１の点との整合度の分布を表示することにより、対応点の入力を支援する。本実施形態における画像処理システムの構成は図１と同様である。ただし、以下に説明するように、各部の処理内容の一部は第１の実施形態とは異なっている。以下、本実施形態における画像処理装置１００について、第１の実施形態との相違部分について説明する。
図６は、本実施形態において、画像処理装置１００が行う全体の処理手順の一例を示すフローチャートである。なお、Ｓ６０００からＳ６０１０、Ｓ６０４０、Ｓ６０５０からＳ６０７０の処理は、それぞれ、図２のＳ２０００からＳ２０１０、Ｓ２０７０、Ｓ２１１０からＳ２１３０の処理と同様であるため、説明を省略する。
（Ｓ６０１５） （整合度画像を生成）
Ｓ６０１５において、画像処理装置１００は、第２の画像上の各ボクセル位置について、当該位置を注目点に対応する点の候補と仮定した際の整合度を算出する。すなわち、画像処理装置１００は、それぞれのボクセル位置を、第１の点に対応する第２の点と仮定した場合（対応点候補の組と仮定した場合）の整合度を算出する。そして、画像処理装置１００は、各ボクセル位置における整合度をボクセル値として有するボリューム画像（以下、整合度画像）を生成する。この整合度画像は、各ボクセル位置における整合度の分布を示すこととなる。以下、図７のフローチャートを用いて、Ｓ６０１５の処理の詳細について説明する。図７は、図６のＳ６０１５の詳細な処理手順の一例を示すフローチャートである。
（Ｓ７０００） （整合度画像を初期化）
Ｓ７０００において、整合度算出部１０８は、第２の画像と同サイズの整合度画像を生成して初期化する。例えば、整合度画像のすべてのボクセルに０を与える。
（Ｓ７０１０） （画像中のボクセル位置を取得）
Ｓ７０１０において、対応点候補取得部１０４は、第２の画像中の各ボクセルのうち、まだ選択していない１つのボクセルを第２の点として選択し、そのボクセル位置（３次元座標値）を取得する。すなわち、本ステップで取得した第２の点と、Ｓ６０１０で取得した第１の点と組み合わせたものを、対応点候補の組とする。そして、対応点候補取得部１０４は、取得した第１の点と第２の点を対応点候補の組（３次元座標の組）として、距離値計測部１０６へと出力する。
（Ｓ７０１５） （距離値を計測）
Ｓ７０１５において、距離値計測部１０６は、Ｓ７０１０で取得した対応点候補の組からＳ６００５で取得した被検体特徴までの距離値を計測する。本処理は、図２のＳ２０３０と同様の処理によって実施できる。そして、距離値計測部１０６は、計測した距離値を整合度算出部１０８へと出力する。
（Ｓ７０２０） （整合度を算出）
次に、Ｓ７０２０において、整合度算出部１０８は、Ｓ７０１５で計測した距離値を用いて、対応点候補の組の整合度を算出する。本処理は、図２のＳ２０４０と同様の処理によって実施できる。そして、整合度算出部１０８は、算出した値を、Ｓ７０１０で取得したボクセル位置に対応する整合度画像のボクセルに、該位置における整合度の値として設定する。なお、整合度算出部１０８は、複数の整合度（夫々の個別整合度や統合整合度）を各ボクセルにベクトル値として保存（設定）してもよいし、事前に選択したいずれかの整合度をスカラー値として保存（設定）してもよい。
（Ｓ７０３０） （全ボクセル位置で整合度の算出の完了の判定）
次に、Ｓ７０３０において、整合度算出部１０８は、整合度が算出されていないボクセルが存在するか否かを判定する。この判定の結果すべてのボクセルについて整合度の算出が終了している場合は、Ｓ６０１５の処理を終了する。一方、まだ整合度が算出されていないボクセルが存在する場合は（Ｓ７０３０でＮｏ）、処理はＳ７０１０に戻り、残されたボクセルに対して同様の処理が実行される。以上の手順により、整合度画像が生成される。
（Ｓ６０２０） （整合度画像を表示）
図６の説明に戻り、続いてＳ６０２０において、表示制御部１１０は、Ｓ６０１５で生成した整合度画像を表示部１７０に表示する制御を行う。具体的には、表示制御部１１０は、Ｓ６０１５で生成した整合度画像において、第２の画像の断面画像に対応する断面の整合度を得る。そして、表示制御部１１０は、表示部１７０に、第２の画像の断面画像を表示するとともに、当該整合度の分布の情報を表示させる。この表示は、例えば、濃淡で表現した第２の画像の断面画像上に整合度の分布をカラーマップ（整合度マップ）として重畳表示するような形態とすることができる。例えば、表示制御部１１０は、整合度の値と表示色との対応をあらかじめテーブルで定義しておき、そのテーブルに従って決定した表示色を第２の画像の対応するボクセル位置に重畳してもよい。なお、整合度分布の情報の表示・非表示は、ユーザの指示に応じて選択可能であってもよい。また、夫々の個別整合度や統合整合度のいずれを表示するかについても、ユーザの指示に応じて選択可能であってもよい。
また、整合度分布の表示形態は、整合度を表すカラーマップの重畳表示に限らない。例えば、整合度の等値線が重畳表示されてもよい。整合度分布の表示形態は、第２の画像へ重畳表示する形態に限定されるものではなく、第２の画像と対比しやすいように整合度画像の同一断面を並べて表示する構成であってもよい。これら整合度の分布の表示形態は、ユーザの指示に応じて選択可能であってもよい。
図８には、本実施形態における整合度分布の表示例を示す。ここでは、体表整合度の整合度マップを示している。図８（ａ）は、第１の点３０３および第１の画像における体表点群上の最近傍点３０１示す図である。図８（ｂ）は、整合度マップを第２の断面画像上に重畳表示した結果８０１を示す図である。図８（ｂ）において、最も太い線で描画されている等値線が、整合度が最も高い領域を表し、細い線、点線の順で整合度が低くなっていることを表す。このように、体表面からの距離が、第１の画像における体表点群上の最近傍点３０１と第１の点３０３の間の距離と等しい等値面が最も整合度が高く、その距離値から離れるほどに整合度が低くなっている。
（Ｓ６０３０） （第２の点を取得）
Ｓ６０３０において、対応点候補取得部１０４は、ユーザによる操作部１６０の操作に従って、第２の点の位置を取得する。第１の実施形態で説明した図２のＳ２０２０では、対応点候補取得部１０４は、マウスカーソル等で単に指し示した位置を取得していた。それに対して、本ステップでユーザによってマウスのクリックやキーボードの操作が行われて初めて、第２の点の取得処理が行われる。対応点候補取得部１０４は、第２の点を取得すると、第１の点と第２の点の組を対応点として確定し、不図示の記憶部に格納されている対応点群に追加する。
ユーザの操作によって第２の点の指定が行われる際には、ユーザは、Ｓ６０２０の処理によって表示部に表示されている整合度マップを参照しながら、整合度が高く、かつ、対応すると思われる位置に第２の点を入力する。
以上のように本実施形態によれば、ユーザは、整合度分布を確認することができるため、整合度と画像上の対応関係のバランスとを考慮しながら対応付けを容易に行うことができる。また、仮に整合度が高い位置（局所的最適解）が複数存在したとしても、整合度が最も高い位置（大域的最適解）を見つけることができるため、対応点の誤対応を回避できるという効果がある。
＜第２の実施形態の変形例＞
上記実施形態では、第２の画像の全てのボクセルに対応するボクセル位置で整合度の算出を行ったが、整合度を算出するボクセル位置はこれに限定されない。例えば、第２の画像を所定の間隔で間引いたボクセル位置においてのみ整合度の算出を行い、整合度の算出を行わなかった（間引かれた）ボクセル位置の整合度は補間によって求めてもよい。これによると、整合度マップの算出を高速に行うことができる。また、被検体の内外が判定できる場合には、被検体内に属するボクセル位置の整合度のみを算出するようにしてもよい。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 画像処理装置、１０２ 画像取得部、１０３ 特徴取得部、１０４ 対応点候補取得部、１０６ 距離値計測部、１０８ 整合度算出部、１１０ 表示制御部、１１２ 終了判定部、１１４ 位置合わせ実行部、１５０ データサーバ、１６０ 操作部、１７０ 表示部

Claims (18)

  1. 被検体を異なる条件で撮影することにより得られた第１の画像と第２の画像のそれぞれにおいて当該被検体の対応する特徴部分を取得する取得手段と、
    前記第１の画像上の第１の点と、前記第２の画像における前記第１の点の対応点候補である候補点を指定する指定手段と、
    前記第１の画像における前記第１の点と前記被検体の特徴部分の間の第１の距離と、前記第２の画像における前記候補点と前記被検体の特徴部分の間の第２の距離との第１の距離の比に基づいて、前記第１の点と前記候補点との整合度を導出する導出手段と、
    前記導出された整合度を表示部に表示させる表示制御手段と、
    を有し、
    前記指定手段によって前記第２の画像における前記候補点の位置が変更された場合、
    前記導出手段は、前記第１の画像における前記第１の点と前記特徴部分の間の第１の距離と、前記第２の画像において該位置が変更された前記候補点と前記特徴部分の間の第３の距離との第２の距離の比に基づいて、前記第１の画像における前記第１の点と前記第２の画像において該位置が変更された候補点との整合度を再導出し、
    前記指定手段は、前記第２の距離の比に基づいて整合度が再導出された候補点を前記第２の画像における第２の点として指定した場合、該指定された第２の点は前記第１の点の対応点として設定されることを特徴とする画像処理装置。
  2. 前記導出手段は、前記第１の画像における前記第１の点から前記被検体の特徴部分の位置までの第１の距離と、前記第２の画像における前記候補点から前記被検体の特徴部分の位置までの第２の距離に基づいて、前記整合度を導出することを特徴とする請求項１に記載の画像処理装置。
  3. 前記導出手段は、前記第１の距離と、前記第２の距離と、前記第１の距離または前記第２の距離に基づく重み付け値に基づいて、 前記整合度を導出することを特徴とする請求項２に記載の画像処理装置。
  4. 前記被検体は、乳房であり、前記取得手段は、前記被検体の特徴部分として、乳房の乳頭または乳房の体表面上の点を取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記取得手段は、２種類以上の前記被検体の特徴部分を取得し、
    前記導出手段は、当該２種類以上の特徴部分のそれぞれについて前記整合度を導出し、
    前記表示制御手段は、前記導出手段により導出された２種類以上の整合度を組み合わせて前記表示部に表示させることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  6. 前記被検体は、乳房であり、前記取得手段は、前記被検体の特徴部分として、少なくとも乳房の乳頭と乳房の体表面上の点を取得することを特徴とする請求項５に記載の画像処理装置。
  7. 前記導出手段は、前記第１の画像における、乳房の乳頭と前記第１の点の位置に対して最近傍の乳房の体表面上の点との距離、および、前記第２の画像における、乳房の乳頭と前記候補点の位置に対して最近傍の乳房の体表面上の点との距離とに基づいて前記整合度を導出することを特徴とする請求項６に記載の画像処理装置。
  8. 前記第１の画像と前記第２の画像をそれぞれ変形させて第１の変形画像と第２の変形画像を導出する変形手段と、
    前記第１の変形画像上の点の位置に対応する前記第１の画像上の点の位置と、前記第２の変形画像上の点の位置に対応する前記第２の画像上の点の位置を算出する座標変換手段と、をさらに備え、
    前記指定手段は、前記第１の変形画像上の第３の点と、前記第２の変形画像上の第４の点をさらに指定し、
    前記導出手段は、前記第３の点に対応する前記第１の画像における第５の点と前記被検体の特徴部分との位置関係、および、前記第４の点に対応する前記第２の画像における第６の点と前記被検体の特徴部分との位置関係に基づいて、前記第５の点と前記第６の点との整合度をさらに導出することを特徴とする請求項１に記載の画像処理装置。
  9. 前記表示制御手段は、前記導出された整合度を数値として前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
  10. 前記指定手段によって前記第２の画像における前記候補点の位置のリアルタイムに更新されることに応じて、前記導出手段は、前記第１の画像における前記第１の点と前記第２の画像において該位置が更新された候補点の整合度を再導出し続けることを特徴とする請求項１に記載の画像処理装置。
  11. 前記表示制御手段は、導出された前記整合度を前記第２の画像とともに前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
  12. 前記指定手段によって前記第２の画像における前記候補点の位置が変更された場合、
    前記表示制御手段は、再導出された前記整合度を、前記第２の画像において変更された位置における前記候補点とともに前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
  13. 前記指定手段によって前記第２の画像における前記候補点の位置が変更された場合に、前記第１の点、前記候補点、および、変更された位置における前記候補点の点群の情報を用いて、前記第１の画像と前記第２の画像の間の位置合わせを実行する位置合わせ手段を更に有することを特徴とする請求項１に記載の画像処理装置。
  14. 被検体を所定の条件で撮影することにより得られた第１の画像において当該被検体の特徴部分を取得する第１の取得手段と、
    実空間中で、前記第１の取得手段により取得された特徴部分と対応する、前記被検体の特徴部分を取得する第２の取得手段と、
    前記第１の画像上の第１の点を指定する第１の指定手段と、
    実空間中で前記被検体における第２の点を指定する第２の指定手段と、
    前記第１の画像における前記第１の点と前記第１の取得手段により取得された前記被検体の特徴部分との位置関係、および、実空間中での前記被検体における第２の点と前記第２の取得手段により取得された前記被検体の特徴部分との位置関係に基づいて、前記第１の点と前記第２の点との整合度を導出する導出手段と、
    前記導出された整合度を表示部に表示させる表示制御手段と、
    を有することを特徴とする画像処理装置。
  15. 前記導出手段は、前記第１の画像における前記第１の点から前記被検体の特徴部分の位置までの第１の距離と、前記第２の点から前記被検体の特徴部分の位置までの第２の距離に基づいて、前記整合度を導出することを特徴とする請求項１４に記載の画像処理装置。
  16. 被検体を異なる条件で撮影することにより得られた第１の画像と第２の画像のそれぞれにおいて当該被検体の対応する特徴部分を取得する取得工程と、
    前記第１の画像上の第１の点と、前記第２の画像における前記第１の点の対応点候補である候補点を指定する指定工程と、
    前記第１の画像における前記第１の点と前記被検体の特徴部分の間の第１の距離と、前記第２の画像における前記候補点と前記被検体の特徴部分の間の第２の距離との第１の距離の比に基づいて、前記第１の点と前記候補点との整合度を導出する導出工程と、
    前記導出された整合度を表示部に表示させる表示制御工程と、
    を有し、
    前記指定工程において前記第２の画像における前記候補点の位置が変更された場合、
    前記導出工程では、前記第１の画像における前記第１の点と前記特徴部分の間の第１の距離と、前記第２の画像において該位置が変更された前記候補点と前記特徴部分の間の第３の距離との第２の距離の比に基づいて、前記第１の画像における前記第１の点と前記第２の画像において該位置が変更された候補点との整合度を再導出し、
    前記指定工程では、前記第２の距離の比に基づいて整合度が再導出された候補点を前記第２の画像における第２の点として指定した場合、該指定された第２の点は前記第１の点の対応点として設定されることを特徴とする画像処理装置の制御方法。
  17. 被検体を所定の条件で撮影することにより得られた第１の画像において当該被検体の特徴部分を取得する第１の取得工程と、
    実空間中で、前記第１の取得工程において取得された特徴部分と対応する、前記被検体の特徴部分を取得する第２の取得工程と、
    前記第１の画像上の第１の点を取得する第３の取得工程と、
    ３次元センサが実空間中で前記被検体における第２の点を計測する計測工程と、
    前記第１の画像における前記第１の点と前記第１の取得工程において取得された前記被検体の特徴部分との位置関係、および、実空間中での前記被検体における第２の点と前記第２の取得工程において取得された前記被検体の特徴部分との位置関係に基づいて、前記第１の点と前記第２の点との整合度を導出する導出工程と、
    前記導出された整合度を表示部に表示させる表示制御工程と、
    を有することを特徴とする画像処理装置の作動方法。
  18. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2016174964A 2016-09-07 2016-09-07 画像処理装置、その制御方法、およびプログラム Active JP6886260B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016174964A JP6886260B2 (ja) 2016-09-07 2016-09-07 画像処理装置、その制御方法、およびプログラム
US15/678,233 US10603016B2 (en) 2016-09-07 2017-08-16 Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016174964A JP6886260B2 (ja) 2016-09-07 2016-09-07 画像処理装置、その制御方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2018038609A JP2018038609A (ja) 2018-03-15
JP2018038609A5 JP2018038609A5 (ja) 2019-09-12
JP6886260B2 true JP6886260B2 (ja) 2021-06-16

Family

ID=61281795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016174964A Active JP6886260B2 (ja) 2016-09-07 2016-09-07 画像処理装置、その制御方法、およびプログラム

Country Status (2)

Country Link
US (1) US10603016B2 (ja)
JP (1) JP6886260B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840481B2 (ja) * 2016-07-19 2021-03-10 キヤノン株式会社 画像処理装置および画像処理方法
JP6656207B2 (ja) * 2017-05-31 2020-03-04 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
US10445891B2 (en) * 2017-11-03 2019-10-15 Canon Medical Systems Corporation Medical image processing apparatus and method
KR102084256B1 (ko) 2018-03-26 2020-03-03 (주)레벨소프트 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
CN110772280B (zh) * 2018-07-31 2023-05-23 佳能医疗系统株式会社 超声波诊断装置和方法以及图像处理装置和方法
KR102233585B1 (ko) 2020-02-26 2021-03-30 (주)레벨소프트 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783094B2 (en) * 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
JP2008073076A (ja) * 2006-09-19 2008-04-03 Institute Of National Colleges Of Technology Japan 乳房ｘ線画像処理装置
US8194947B2 (en) * 2006-11-21 2012-06-05 Hologic, Inc. Facilitating comparison of medical images
US20090154782A1 (en) * 2007-12-17 2009-06-18 Three Palm Software Dual-magnify-glass visualization for soft-copy mammography viewing
JP5523791B2 (ja) * 2008-10-27 2014-06-18 株式会社東芝 Ｘ線診断装置および画像処理装置
CN102197412B (zh) * 2008-10-28 2014-01-08 日本电气株式会社 伪装检测系统和伪装检测方法
US8475377B2 (en) * 2009-09-28 2013-07-02 First Sense Medical, Llc Multi-modality breast cancer test system
US8903144B2 (en) * 2010-12-01 2014-12-02 Olympus Corporation Endoscope apparatus and method of measuring object
WO2012116746A1 (en) * 2011-03-02 2012-09-07 Mevis Medical Solutions Ag Image processing device for finding corresponding regions in two image data sets of an object
JP2012213558A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP5812841B2 (ja) * 2011-12-14 2015-11-17 株式会社日立製作所 画像診断支援装置、画像診断支援方法、画像診断支援プログラム
US9420973B1 (en) * 2013-04-01 2016-08-23 Alon Konchitsky Apparatus, device and method for validating electrocardiogram
JP6197340B2 (ja) * 2013-04-05 2017-09-20 オムロン株式会社 画像処理装置、画像処理方法、およびプログラム
US9129362B2 (en) * 2013-05-22 2015-09-08 Siemens Aktiengesellschaft Semantic navigation and lesion mapping from digital breast tomosynthesis
US10074199B2 (en) * 2013-06-27 2018-09-11 Tractus Corporation Systems and methods for tissue mapping
JP6309376B2 (ja) * 2013-07-03 2018-04-11 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理プログラム及び超音波診断装置
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
JP6346445B2 (ja) 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
JP6238755B2 (ja) * 2014-01-10 2017-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6376873B2 (ja) 2014-07-16 2018-08-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6482250B2 (ja) * 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10531840B2 (en) * 2015-03-19 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image display device, image display system, image display method, and program
JP6768389B2 (ja) * 2015-08-07 2020-10-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20170055844A1 (en) * 2015-08-27 2017-03-02 Canon Kabushiki Kaisha Apparatus and method for acquiring object information
WO2017054775A1 (en) * 2015-09-30 2017-04-06 Shanghai United Imaging Healthcare Co., Ltd. System and method for determining a breast region in a medical image
US10318102B2 (en) * 2016-01-25 2019-06-11 Adobe Inc. 3D model generation from 2D images
KR20180066781A (ko) * 2016-12-09 2018-06-19 삼성전자주식회사 의료 영상을 표시하는 방법 및 장치

Also Published As

Publication number Publication date
US10603016B2 (en) 2020-03-31
US20180064422A1 (en) 2018-03-08
JP2018038609A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6886260B2 (ja) 画像処理装置、その制御方法、およびプログラム
US9480456B2 (en) Image processing apparatus that simultaneously displays two regions of interest on a body mark, processing method thereof and storage medium
JP5995449B2 (ja) 情報処理装置及びその制御方法
CN105167793B (zh) 图像显示装置、显示控制装置及显示控制方法
US10008048B2 (en) Information processing apparatus and information processing method
US9129362B2 (en) Semantic navigation and lesion mapping from digital breast tomosynthesis
EP2849157B1 (en) Image processing apparatus, image processing method, and computer-readable storage medium
JP6376873B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104586418B (zh) 医用图像数据处理装置和医用图像数据处理方法
JP2017035469A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2016147026A (ja) 画像処理装置、画像処理方法およびプログラム
US20120027277A1 (en) Interactive iterative closest point algorithm for organ segmentation
CN107111875A (zh) 用于多模态自动配准的反馈
WO2021234907A1 (ja) 画像処理装置、制御方法及び記憶媒体
JP6293619B2 (ja) 画像処理方法および装置並びにプログラム
JP5121399B2 (ja) 画像表示装置
JP5925576B2 (ja) 画像処理装置、画像処理方法
JP4497951B2 (ja) 医用画像診断装置
JP6934734B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
US20130332868A1 (en) Facilitating user-interactive navigation of medical image data
JP6821303B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11139069B2 (en) Medical image diagnostic apparatus, image processing apparatus, and registration method
JP7309447B2 (ja) 医用画像診断装置、画像処理装置及び位置合わせ方法
JP6752254B2 (ja) 情報処理装置、情報処理方法
JP2016106781A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210514

R151 Written notification of patent or utility model registration

Ref document number: 6886260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151