JPWO2014076931A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2014076931A1
JPWO2014076931A1 JP2014546867A JP2014546867A JPWO2014076931A1 JP WO2014076931 A1 JPWO2014076931 A1 JP WO2014076931A1 JP 2014546867 A JP2014546867 A JP 2014546867A JP 2014546867 A JP2014546867 A JP 2014546867A JP WO2014076931 A1 JPWO2014076931 A1 JP WO2014076931A1
Authority
JP
Japan
Prior art keywords
image
display state
display
assist
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014546867A
Other languages
English (en)
Other versions
JP6323335B2 (ja
Inventor
遠間　正真
正真 遠間
淳 大宮
淳 大宮
文平 田路
文平 田路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2014076931A1 publication Critical patent/JPWO2014076931A1/ja
Application granted granted Critical
Publication of JP6323335B2 publication Critical patent/JP6323335B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる画像処理装置を提供する。画像処理装置である超音波診断装置（１００）は、対象箇所を含む３次元像に基づいて、対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部（１０１）と、器具の３次元位置を示す器具位置情報を取得する位置情報取得部（１０２）と、対象箇所と器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部（１０３）と、選択された表示状態で表示されるように、アシスト画像を対象位置情報および器具位置情報を用いて生成するアシスト画像生成部（１０４）と、アシスト画像を表示装置（１５０）に出力するための制御を行う表示制御部（１０７）とを備える。

Description

本発明は、被検体内の対象箇所まで器具を移動できるように誘導するための画像を生成する画像処理装置および画像処理方法に関する。
生体の画像診断装置としては、例えば、エックス線診断装置、ＭＲ（磁気共鳴）診断装置、および、超音波診断装置等が普及している。なかでも、超音波診断装置は非侵襲性および実時間性などの利点を有しており、診断または検診に広く利用されている。超音波診断装置を用いた診断部位は、心臓、血管、肝臓、乳房など多岐に渡るが、近年、動脈硬化のリスク判定を目的とした頸動脈などの血管診断が注目されている。しかし、この血管診断には高度な手技が必要であるため、特許文献１のように、検査者を誘導するための画像を表示する超音波装置が提案されている。
また、近年、手術中の患者位置と手術器具との位置関係を表示する術中ナビゲーションシステムが提案されている。この術中ナビゲーションシステムは、例えば腫瘍の位置または血管の位置等の認識性を向上させるため、また、骨または臓器といった手術対象箇所に対する手術器具の位置を表示し手術の際の安全性を向上させるためなどに用いられる。
特開２０１０−５１８１７号公報
しかしながら、上記のような超音波診断装置および術中ナビゲーションシステム等において、検査者および手術者等の使用者に対して表示する画像がわかりにくいという課題がある。
そこで、本発明は、被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる画像処理装置等を提供する。
本発明の一態様に係る画像処理装置は、被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理装置であって、前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部と、前記器具の３次元位置を示す器具位置情報を取得する位置情報取得部と、前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部と、選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成部と、前記アシスト画像を表示装置に出力するための制御を行う表示制御部とを備える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明によれば、被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる。
図１Ａは、プローブおよびスキャン面を示す概略図である。 図１Ｂは、頸動脈をプローブでスキャンする２方向を示す図である。 図１Ｃは、長軸スキャンにより取得された超音波画像の見え方の一例を示す図である。 図１Ｄは、短軸スキャンにより取得された超音波画像の見え方の一例を示す図である。 図２Ａは、短軸断面の動脈血管の構造を示す断面図である。 図２Ｂは、長軸断面の動脈血管の構造を示す断面図である。 図２Ｃは、短軸断面の内膜と外膜の境界を示す断面図である。 図２Ｄは、長軸断面の内中膜の肥厚の一例を示す断面図である。 図３は、想定される超音波診断装置の構成を示すブロック図である。 図４は、想定される超音波診断装置の動作を示すフローチャートである。 図５は、アシスト画像とライブ画像を含む画面構成例を示す図である。 図６は、実施の形態１の超音波診断装置の構成を示すブロック図である。 図７は、実施の形態１の超音波診断装置の動作を示すフローチャートである。 図８Ａは、３Ｄ像の生成フロー例を示す図である。 図８Ｂは、３Ｄ像の生成フロー例を示す図である。 図８Ｃは、３Ｄ像の生成フロー例を示す図である。 図８Ｄは、３Ｄ像の生成フロー例を示す図である。 図９Ａは、３Ｄ像における測定ターゲットの位置と向きを示す図である。 図９Ｂは、測定ターゲットの長軸断面における位置を示す図である。 図９Ｃは、測定ターゲットの短軸断面における位置を示す図である。 図１０は、画面表示の切替え動作の一例を示すフローチャートである。 図１１Ａは、３Ｄ空間における測定ターゲットである頸動脈の一例を示す図である。 図１１Ｂは、第２表示状態の一例を示す図である。 図１１Ｃは、第１表示状態の一例を示す図である。 図１２は、画面表示の切替えにヒステリシスを適用した動作の一例を示すフローチャートである。 図１３Ａは、３Ｄ空間における測定ターゲットである頸動脈の一例を示す図である。 図１３Ｂは、３Ｄ空間における長軸方向の頸動脈の一例を示す図である。 図１３Ｃは、３Ｄ空間における短軸方向の頸動脈の一例を示す図である。 図１３Ｄは、切替え後の長軸方向のライブ画像と短軸方向のアシスト画像の組み合わせ表示の一例を示す図である。 図１４Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図である。 図１４Ｂは、切替え後の短軸方向視点のアシスト画像の一例を示す図である。 図１５Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図である。 図１５Ｂは、切替え後の短軸方向視点で、かつズーム倍率を上げたアシスト画像の一例を示す図である。 図１６は、アシスト画像の設定を切替える動作の一例を示すフローチャートである。 図１７Ａは、第２表示状態の他の一例を示す図である。 図１７Ｂは、第１表示状態の他の一例を示す図である。 図１８は、実施の形態２の超音波診断装置の動作を示すフローチャートである。 図１９Ａは、カメラを用いてプローブの位置情報を取得するシステムを示す図である。 図１９Ｂは、プローブの位置情報が取得できない具体例１を示す図である。 図１９Ｃは、警告情報を表示する画面の具体例１を示す図である。 図１９Ｄは、プローブの位置情報が取得できない具体例２を示す図である。 図１９Ｅは、警告情報を表示する画面の具体例２を示す図である。 図２０Ａは、被検者の体位と３Ｄ像との向きを対応させた表示例１を示す図である。 図２０Ｂは、被検者の体位と３Ｄ像との向きを対応させた表示例２を示す図である。 図２１は、２つの視点での画像を含むアシスト画像を用いた画面構成例を示す図である。 図２２は、実施の形態３の超音波診断装置の動作を示すフローチャートである。 図２３は、術中ナビゲーションシステムの設置例を示す概略図である。 図２４は、仮想３次元空間内への情報取り込みの概要を示す図である。 図２５は、実施の形態４の画像処理装置の構成を示すブロック図である。 図２６は、実施の形態４の画像処理装置の動作を示すフローチャートである。 図２７Ａは、第２表示状態で表示するアシスト画像の一例を示す図である。 図２７Ｂは、第１表示状態で表示するアシスト画像の一例を示す図である。 図２８Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。 図２８Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。 図２８Ｃは、フレキシブルディスクにプログラムの記録再生を行うための構成を示す図である。
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した超音波診断装置および術中ナビゲーションシステム等の画像処理装置に関し、以下の問題が生じることを見出した。
まず、超音波による頸動脈診断について説明する。図１Ａ〜図１Ｄは頸動脈を超音波でスキャンする際の像の見え方の説明図である。図１Ａはプローブおよびスキャン面を示す概略図であり、図１Ｂは頸動脈をプローブでスキャンする２方向を示す図であり、図１Ｃは長軸スキャンにより取得された超音波画像の見え方の一例を示す図であり、図１Ｄは短軸スキャンにより取得された超音波画像の見え方の一例を示す図である。
プローブ１０には超音波振動子（図示しない）が配置されており、例えば超音波振動子が１次元的に配置される際には、図１Ａに示すように超音波振動子の直下の２次元のスキャン面１１に対して超音波画像が得られる。一般的に、頸動脈の診断においては、図１Ｂに示すように頸動脈１４を輪切りにする方向（短軸方向）１２と短軸方向１２に略直交する方向（長軸方向）１３の２方向からの画像を取得する。長軸方向１３、短軸方向１２で頸動脈１４をプローブ１０でスキャンすると、それぞれ、例えば図１Ｃに示すような長軸方向の血管像と図１Ｄに示すような短軸方向の血管像が得られる。
次に、頸動脈診断においては血管壁の厚さを指標として動脈硬化の進行度合いを把握することから、動脈の血管壁の構造について図２Ａ〜図２Ｄを参照して説明する。図２Ａは短軸断面の動脈血管の構造を示す断面図であり、図２Ｂは長軸断面の動脈血管の構造を示す断面図であり、図２Ｃは短軸断面の内膜と外膜の境界を示す断面図であり、図２Ｄは長軸断面の内中膜の肥厚の一例を示す断面図である。
動脈の血管壁２０は、図２Ａおよび図２Ｂに示すように内膜２２、中膜２３、外膜２４の３層から構成される。動脈硬化の進展に伴い、図２Ｃおよび図２Ｄに示すように主に内膜２２と中膜２３が肥厚する。従って、超音波による頸動脈診断では、図２Ｃに示す内膜境界２５と外膜境界２６を検出することで、内膜２２と中膜２３を合わせた内中膜の厚みを測定する。内中膜の厚みが一定値を超えた部分はプラーク２７と呼ばれ、長軸像においては、図２Ｄのような血管壁の構造変化をきたす。プラーク２７の検査においては、一般的に、短軸像と長軸像の両方を確認する。
ここで、プラーク２７の厚みや大きさによっては、投薬、あるいは、外科的にプラーク２７を剥離するなどの治療が必要となることから、内中膜の厚みの正確な測定が診断の鍵となる。しかしながら、内中膜の厚みは測定部位に依存して変化するとともに、検査者にとっては首の内部に存在する頸動脈の３次元的な走行形状を把握するのが困難であるため、頸動脈診断においては熟練した手技が必要とされてきた。また、投薬治療においては、治療効果を確認するために、プラーク２７の同一位置を定期的に測定することにより、プラーク２７の厚みや面積、容積などの縮小効果を診断する。毎回、同一の位置と向きで測定することが重要であり、ここでも高度な手技が必要とされる。
そこで、超音波のライブ画像（プローブで取得される超音波の実時間画像）に加えて、測定すべき位置と向きの超音波画像を取得するにはどのようにプローブを動かせば良いかを表示して、検査者を誘導する超音波診断装置３０が提案される。
図３は、超音波診断装置３０の構成を示すブロック図である。
超音波診断装置３０は、図３に示すように３Ｄ像解析部３１、位置情報取得部３２、アシスト画像生成部３３、ライブ画像取得部３４、および、表示制御部３５を備えている。
３Ｄ像解析部３１は、予め取得された３次元像（以下、３Ｄ像という）を解析し、被検体内における測定すべき対象箇所（以下、測定ターゲットという）の３次元位置（以下、単に位置ともいう）および向きを含む対象位置情報ｔｇｔＩｎｆを決定し、決定した対象位置情報ｔｇｔＩｎｆをアシスト画像生成部３３へ出力する。
位置情報取得部３２は、例えば磁気センサまたは光学カメラなどを用いて、現在スキャンしているプローブ１０の走査位置（スキャン位置）および向きを示す器具位置情報を取得する。
アシスト画像生成部３３は、３Ｄ像、対象位置情報ｔｇｔＩｎｆ、および、器具位置情報に基づいて、測定ターゲットの測定面、および、現在のスキャン面の位置と向きとを示す情報を３Ｄ像に重畳表示したアシスト画像ａｓｉｓ０を生成する。
表示制御部３５は、現在のスキャン位置における超音波画像であるライブ画像とアシスト画像とを合わせて表示装置１５０に表示する。
図４は、超音波診断装置３０の動作を示すフローチャートである。ここでは、診断する器官形状を示す３Ｄ像が予め生成されているものとする。
まず、３Ｄ像解析部３１は、３Ｄ像を解析して、測定ターゲットの位置および向きを含む対象位置情報を決定する（ステップＳ００１）。続いて、位置情報取得部３２は、現在スキャンしているプローブ１０の走査位置および向きを示す器具位置情報を取得する（ステップＳ００２）。次に、アシスト画像生成部３３は、測定ターゲットと現在のスキャン位置との差分を計算し、その差分に応じて表示画像の色、又は、形状を変化させる経路情報Ｚを生成する（ステップＳ００３）。そして、アシスト画像生成部３３は、３Ｄ像、測定ターゲットの位置、現在のスキャン位置に加えて、経路情報Ｚを含むアシスト画像を生成する（ステップＳ００４）。表示制御部３５は、例えば図５に示すように、現在のスキャン位置における超音波画像であるライブ画像４８とアシスト画像４１とを合わせた画面４０を表示装置１５０に表示する（ステップＳ００５）。ここで、アシスト画像４１には、対象箇所を含む器官形状を示す３Ｄ像４２、現在のプローブ１０の位置を示す画像４３、現在のスキャン面を示す画像４４、測定ターゲットのスキャン面を示す画像４６、測定ターゲットのスキャンするために移動すべきプローブ１０の位置を示す画像４５、およびプローブ１０を移動させる方向を示す矢印４７が表示されている。
一般的に、検査者がプローブを動かしながらスキャン面を測定ターゲットに合わせる際には、まず、おおまかに位置合わせを行い、その後に微調整するという２段階のステップを踏む。このとき、おおまかな位置合わせには、主にアシスト画像を参照し、微調整は主にライブ画像を見ながら行うとスムーズに位置決めができる。しかしながら、例えば、図５に示すように、アシスト画像４１とライブ画像４８とを常に同一の画面構成で表示すると、検査者がどちらの画像に注目してプローブを動かせばよいのか分かり難いという課題がある。
上記課題を解決するために、本発明の一態様に係る画像処理装置は、被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理装置であって、前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部と、前記器具の３次元位置を示す器具位置情報を取得する位置情報取得部と、前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部と、選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成部と、前記アシスト画像を表示装置に出力するための制御を行う表示制御部とを備える。
これにより、被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる。
また、前記二つ以上の表示状態には、前記アシスト画像における表示のズーム倍率を第１倍率で表示する第１表示状態と、前記アシスト画像における表示のズーム倍率を前記第１倍率より大きい倍率である第２倍率で表示する第２表示状態とを含み、前記表示状態決定部は、前記位置関係が第１の所定条件を満たさない場合に、前記第１表示状態を選択し、前記位置関係が前記第１の所定条件を満たす場合に、前記第２表示状態を選択してもよい。
これにより、位置関係が第１の所定条件を満たす場合に、アシスト画像を拡大表示に切り替えることができ、使用者に対して分かり易く表示することができる。
また、前記３Ｄ像解析部は、前記３次元像に基づいて、前記対象箇所の３次元位置に加えて、前記対象箇所の向きを、前記対象位置情報として決定し、前記位置情報取得部は、前記器具の３次元位置に加えて、前記器具の向きを、前記器具位置情報として取得してもよい。
これにより、対象箇所および器具に位置だけでなく、対象箇所および器具の向きに応じても表示状態を選択することができる。
また、前記器具は、超音波診断装置における前記被検体の超音波画像を取得するためのプローブであり、前記位置情報取得部は、前記器具位置情報として、前記プローブの走査位置および向きを取得し、前記アシスト画像生成部は、前記プローブの前記対象箇所への移動を誘導するための画像であるアシスト画像を生成してもよい。
これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対して分かり易く表示することができる。
また、前記画像処理装置は、さらに、前記プローブからライブ画像である前記被検体の超音波画像を取得するライブ画像取得部を備え、前記表示制御部は、前記アシスト画像および前記ライブ画像を表示装置に出力してもよい。
これにより、アシスト画像に加えてライブ画像を、使用者に対して分かり易く表示することができる。
また、前記二つ以上の表示状態には、前記表示装置において前記アシスト画像をメイン画像として表示するとともに、前記ライブ画像を前記メイン画像より小さいサブ画像として表示する第３表示状態と、前記表示装置において前記ライブ画像を前記メイン画像として表示するとともに、前記アシスト画像を前記サブ画像として表示する第４表示状態とを含み、前記表示状態決定部は、前記位置関係が第２の所定条件を満たさない場合に前記第３表示状態を選択し、前記位置関係が前記第２の所定条件を満たす場合に前記第４表示状態を選択し、前記表示制御部は、選択された表示状態で、前記アシスト画像および前記ライブ画像を表示装置に出力してもよい。
これにより、ライブ画像およびアシスト画像の表示形態を、使用者に対して分かり易く切り替えることができる。
また、前記表示制御部は、選択された前記表示状態に応じて、前記アシスト画像と前記ライブ画像との相対的な表示サイズを切り替えることで、前記メイン画像および前記サブ画像の切り替えを行い、前記アシスト画像および前記ライブ画像を前記表示装置に出力してもよい。
これにより、ライブ画像およびアシスト画像の表示形態を、使用者に対して分かり易く切り替えることができる。
また、前記表示状態決定部は、前記第３表示状態を選択している場合には、前記位置関係が第３の所定条件を満たすか否かに基づいて表示状態を選択し、前記第４表示状態を選択している場合には、前記位置関係が第４の所定条件を満たすか否かに基づいて表示状態を選択してもよい。
これにより、表示状態を安定的に切替えることができる。
また、前記対象箇所は血管であり、前記表示状態決定部は、前記ライブ画像において前記血管の走行方向に略平行な断面が描出されているか否かに応じて前記位置関係を判定し、判定した前記位置関係に基づいて前記二つ以上の表示状態の中から一つの表示状態を選択してもよい。
これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対して分かり易く表示することができる。
また、前記画像処理装置は、さらに、あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備え、前記３Ｄ像生成部は、前記データである、前記対象箇所を含む領域を前記プローブで予め走査して取得された超音波画像から、前記対象箇所を含む器官の輪郭を抽出することにより、前記３次元像を生成し、前記３次元像の３次元空間内における位置および向きを、前記位置情報取得部により取得される前記プローブの走査位置および向きと対応づけてもよい。
これにより、３次元空間内における３次元像の位置および向きを、プローブの走査位置および向きと対応づけることができる。
また、前記アシスト画像生成部は、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいてナビゲーション情報を生成し、前記アシスト画像として、前記３次元像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像と、前記ナビゲーション情報と、を重畳した画像を生成してもよい。
これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対してさらに分かり易く表示することができる。
また、前記アシスト画像生成部は、前記第４表示状態が選択されたとき、前記対象箇所における複数の方向からの断面形状をそれぞれ示す複数の断面画像を生成し、生成した前記複数の断面画像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像を重畳した画像を、前記アシスト画像として生成してもよい。
また、前記対象箇所は血管であり、前記複数の断面画像には、前記血管の走行方向である長軸方向および前記長軸方向に略直交する短軸方向からの断面形状をそれぞれ示す２つの断面画像を含み、前記アシスト画像生成部は、前記２つの断面画像に対して、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいて、前記プローブの前記対象箇所への移動を誘導するための直線または長方形を重畳した画像を、前記アシスト画像として生成してもよい。
これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対してさらに分かり易く表示することができる。
また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択してもよい。
また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択してもよい。
これにより、的確に表示状態を選択することができる。
また、前記対象箇所は前記被検体内の手術対象部位であり、前記器具は、前記被検体の手術に用いられる手術器具であり、前記アシスト画像生成部は、前記手術器具の前記手術対象部位への移動を誘導するための画像であるアシスト画像を生成してもよい。
これにより、施術者は操作した手術器具の動きを確認でき、手術器具と対象箇所までの距離、および、切除または切削を行う向きの調整を容易に行うことができる。
また、前記画像処理装置は、さらに、あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備えてもよい。
これにより、あらかじめ取得されたデータから３次元像を生成することができる。
また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択してもよい。
また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択してもよい。
これにより、的確に表示状態を選択することができる。
また、前記二つ以上の表示状態には、前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する表示状態を二つ以上含み、前記表示状態決定部は、前記位置関係に基づいて、前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する二つ以上の表示状態の中から一つの表示状態を選択してもよい。
これにより、各種の表示態様によってアシスト画像を生成し、使用者に対して分かり易く表示することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の実施の形態について、図面を参照しながら説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
本実施の形態では、本発明の一態様に係る画像処理装置を超音波診断装置に適用した場合について、図面を参照しながら説明する。なお、測定ターゲットは、超音波により撮影できる器官であれば特に限定されず、血管、心臓、肝臓、および乳房などがあるが、ここでは頸動脈を例に説明する。
まず、装置の構成について説明する。
図６は、実施の形態１の超音波診断装置１００の構成を示すブロック図である。
超音波診断装置１００は、図６に示すように３Ｄ像解析部１０１、位置情報取得部１０２、表示状態決定部１０３、アシスト画像生成部１０４、送受信部１０５、ライブ画像取得部１０６、表示制御部１０７、および、制御部１０８を備えている。
また、超音波診断装置１００は、プローブ１０、表示装置１５０、および入力装置１６０と接続可能に構成されている。
プローブ１０は、例えば一次元方向（以下、振動子配列方向という）に配列された複数の振動子（図示しない）を有している。プローブ１０は、送受信部１０５から供給されたパルス状または連続波の電気信号（以下、送信電気信号という）をパルス状または連続波の超音波に変換し、プローブ１０を被検体の皮膚表面に接触させた状態で複数の振動子から発せられる複数の超音波からなる超音波ビームを測定器官（すなわち、頚動脈）に向けて送信する。この際、頚動脈の長軸断面の断層画像を取得するためには、プローブ１０の振動子配列方向が頚動脈の長軸方向に沿うようにプローブ１０を被検体皮膚表面に配置する必要がある。そして、プローブ１０は、被検体からの複数の反射超音波を受信し、複数の振動子によりこれら反射超音波をそれぞれ電気信号（以下、受信電気信号という）に変換し、これら受信電気信号を送受信部１０５に供給する。
なお、本実施の形態においては、一次元方向に配列された複数の振動子を有するプローブ１０の例を示しているが、これに限られるものではない。例えば、二次元方向に振動子を配列した二次元配列振動子、または一次元方向に配列された複数の振動子を機械的に揺動させて三次元の断層画像を構築する揺動型超音波探触子を用いてもよく、測定に応じて適宜使い分けることができる。
また、プローブ１０は、送受信部１０５の一部の機能を超音波探触子側に設けてもよい。例えば、送受信部１０５から出力された送信電気信号を生成するための制御信号（以下、送信制御信号という）に基づきプローブ１０内で送信電気信号を生成し、この送信電気信号を超音波に変換し、一方、受信した反射超音波を受信電気信号に変換し、プローブ１０内で受信電気信号に基づき後述の受信信号を生成する構成が挙げられる。
表示装置１５０は、いわゆるモニタであって、表示制御部１０７からの出力を表示画面として表示する。
入力装置１６０は、各種入力キーを備え、操作者が超音波診断装置１００の各種設定するために用いられる。
なお、図６に示す構成は、表示装置１５０と入力装置１６０とを超音波診断装置１００とは別々に設けた構成の例を示しているが、係る構成に限定されるものではない。例えば、入力装置１６０が表示装置１５０上でタッチパネル操作する構成である場合、表示装置１５０と入力装置１６０（および超音波診断装置１００）とが一体となった構成となる。
３Ｄ像解析部１０１は、測定ターゲットを短軸スキャンすることなどにより予め取得した３Ｄ像を解析し、測定ターゲットの３次元位置および向きを含む位置情報（対象位置情報）ｔｇｔＩｎｆ１を決定し、決定した対象位置情報ｔｇｔＩｎｆ１を表示状態決定部１０３に出力する。
位置情報取得部１０２は、例えば磁気センサまたは光学カメラなどを用いて、現在スキャンしているプローブ１０のスキャン位置および向きを示す位置情報（器具位置情報）を取得する。
表示状態決定部１０３は、測定ターゲットとプローブ１０との位置関係に基づいて、２つの表示状態の中から１つの表示状態を選択する。具体的には、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置および向きの差分に基づいて、第１表示状態、あるいは、第２表示状態のどちらかを選択し、選択した表示状態を示すモード情報ｍｏｄｅとして出力する。
アシスト画像生成部１０４は、３Ｄ像のデータと測定ターゲットの対象位置情報とを含むアシスト画像生成情報ｔｇｔＩｎｆ２を３Ｄ像解析部１０１から取得して、モード情報ｍｏｄｅにより示される表示状態で表示されるようにアシスト画像を生成する。ここで、アシスト画像は、測定ターゲットへのプローブ１０の移動を誘導するための画像であり、測定ターゲットの測定面、および現在のスキャン面の位置と向きとを示す情報を３Ｄ像に重畳表示した画像である。なお、表示状態をとして画面構成ではなく、ズーム倍率または視点方向などを切替える際には、これらの情報をモード情報ｍｏｄｅに含め、ズーム倍率および視点方向の変更を併用する場合は両方の情報をモード情報ｍｏｄｅに含める。
送受信部１０５は、プローブ１０と接続するものであって、プローブ１０の超音波ビームの送信制御に係る送信制御信号を生成し、この送信制御信号に基づき生成したパルス状または連続波の送信電気信号をプローブ１０に供給する送信処理を行う。なお、送受信部１０５が行う送信処理とは、少なくとも送受信部１０５で送信制御信号を生成し、プローブ１０に超音波（ビーム）を送信させる処理を意味する。
一方、送受信部１０５は、プローブ１０からの受信電気信号を増幅してＡ／Ｄ変換を行い、受信信号を生成する受信処理を行い、この受信信号をライブ画像取得部１０６に供給する。この受信信号は、例えば、振動子配列方向と超音波の送信方向であって振動子配列と垂直な方向（以下、深さ方向とする。）からなる複数の信号からなり、各信号は反射超音波の振幅から変換された電気信号をＡ／Ｄ変換したデジタル信号である。そして、この送信処理および受信処理を繰り返し連続して行い、複数の受信信号からなるフレームを複数構築していく。なお、送受信部１０５が行う受信処理とは、少なくとも送受信部１０５が反射超音波に基づく受信信号を取得する処理を意味する。
また、ここでいうフレームとは、１枚の断層画像を構築する上で必要な１つのまとまった受信信号、またはこの１つのまとまった受信信号に基づき断層画像データを構築するために処理された信号、あるいは、この一つのまとまった受信信号に基づき構築された１枚の断層画像データ或いは断層画像のことをいう。
ライブ画像取得部１０６は、フレーム内のそれぞれの受信信号を、その強度に対応した輝度信号へと変換し、その輝度信号を直交座標系に座標変換を施すことで断層画像データを生成する。ライブ画像取得部１０６は、この処理をフレーム毎に逐次行い、生成した断層画像データを表示制御部１０７に出力する。
表示制御部１０７は、アシスト画像と、ライブ画像取得部１０６により取得された現在のスキャン位置における超音波画像（断層画像データ）であるライブ画像とを用いて、モード情報ｍｏｄｅにより指定された画面構成に従ってライブ画像とアシスト画像とを表示装置１５０に表示する。
制御部１０８は、入力装置１６０の指示に基づいて、超音波診断装置１００内の各部を制御する。
次に、上記のように構成された超音波診断装置１００の動作について説明する。
図７は、実施の形態１の超音波診断装置１００の動作を示すフローチャートである。
まず、３Ｄ像解析部１０１は、予め取得した３Ｄ像を解析して、測定ターゲットとなる断面の位置および向きを含む対象位置情報を決定すると共に、測定ターゲットに対して、位置、あるいは、向きの差分が閾値以下である範囲を測定範囲として設定する（ステップＳ１０１）。
ここで、図８Ａ〜図８Ｄと図９Ａ〜図９Ｃを参照して、３Ｄ像の生成方法と測定ターゲットの対象位置情報の決定方法について説明する。図８Ａ〜図８Ｄは、超音波画像を用いた３Ｄ像の生成フロー例を示す図である。
まず、例えばプローブ１０により頸動脈全体をスキャンして図８Ａに示すように複数のフレーム５１の短軸像の断層画像データを取得し、短軸像の各フレーム５１から図８Ｂに示すように血管輪郭５２を抽出する。次に、図８Ｃに示すように各フレーム５１の血管輪郭５２を３Ｄ空間内に配置し、輪郭頂点に基づいてポリゴンを生成するなどして図８Ｄに示すような頸動脈の３Ｄ像５３を構築する。短軸像の取得時には、スキャン面の位置情報（位置と向きを含む）を取得しており、この位置情報に基づいて各フレーム５１の血管輪郭５２が３Ｄ空間内に配置される。位置情報は、例えばプローブ１０に取り付けた光学マーカをカメラで撮影し、撮影した画像内における光学マーカの形状変化に基づいて算出することができる。なお、他にも、磁気センサ、ジャイロ、または加速度センサなどを用いて位置情報を取得してもよい。
また、プローブについては、２次元画像を取得するプローブだけでなく、プローブを移動させずに３次元画像が取得できるプローブを用いてもよい。これは例えば、プローブ内でスキャン面が機械的に揺動する揺動プローブ、またはプローブ面に超音波振動子が２次元的に配置されたマトリクスプローブである。
さらに、３Ｄ像は、ＣＴ（コンピュータ断層撮影）、またはＭＲＩ（磁気共鳴イメージング）など超音波以外の方法により取得してもよい。
また、本実施の形態では、３Ｄ像を予め取得しているものとしているが、これに限られるものではない。例えば、超音波診断装置１００に３Ｄ像を生成する構成を備えても構わない。
図９Ａは、３Ｄ像における測定ターゲットの位置と向きについて示す図であり、図９Ｂは、長軸断面における測定ターゲットの位置を示す図であり、図９Ｃは、短軸断面における測定ターゲットの位置を示す図である。
測定すべき測定ターゲットの位置および向きは測定器官診断目的に応じて異なる。例えば、測定器官が頸動脈の検診の場合、一般的に、３Ｄ像５３における測定ターゲットは、図９Ａに示すような位置と向きになる。よって、３Ｄ像解析部１０１は、血管の走行方向である長軸断面において、図９Ｂに示すように頸動脈の形状に基づいて設定した測定基準位置６１から所定の距離６２となる部位を測定ターゲット６３として決定する。
また、３Ｄ像解析部１０１は、短軸方向の面内において、３Ｄ像を構成する各フレームにおける短軸像の輪郭６４の中心を結んだ線（以下、中心線という）６５を通る平面（以下、最大活面という）６６となるように測定ターゲット６３の位置を決定する。ここで、３Ｄ像解析部１０１は、最大活面６６が、分岐前後の輪郭中心を通る平面、あるいは当該平面から所定の角度だけ傾いた向きとなるように決定する。例えば、分岐前後の輪郭中心を通る基準面に沿ってプローブを当てられる場合には基準面において測定するが、頸動脈の走行方向によっては基準面に沿ってプローブを当てられないため、そのような場合には、基準面からそれぞれ±４５度傾いた２つの平面の、いずれかを選択するとよい。検診などでは、診断ガイドラインなどで規定された部位を測定すればよいが、プラークの治療効果の判定には、前述したように毎回同じ条件（位置と向き）で測定することが重要である。従って、３Ｄ像解析部１０１は、前回の診断時の測定ターゲットの位置情報を記憶しておき、次回の測定時には前回と同一の位置と向きで測定できるように測定ターゲット６３を決定してもよい。また、３Ｄ像解析部１０１は、３Ｄ像生成時に取得された短軸像などから、血管の内膜境界と外膜境界を抽出することで内中膜の厚さを算出し、厚さが閾値以上である部位をプラークとして検出することができる。３Ｄ像解析部１０１は、このようにして検出したプラークにおいて、厚みが最大となる位置での長軸方向の断面を測定ターゲット６３として決定してもよい。なお、本実施の形態では、３Ｄ像解析部１０１で測定ターゲット６３を決定しているが、検査者が手動で測定ターゲット６３を設定しても構わない。
次に、位置情報取得部１０２は、プローブ１０の現在のスキャン位置および向きを示す位置情報（器具位置情報）を取得する（ステップＳ１０２）。ここで、位置情報取得部１０２は、この位置情報を、先述したように、例えばカメラ、または磁気センサ等の各種センサを用いて取得する。カメラを用いる場合には、例えば、プローブ１０に４つのマーカから構成される光学マーカを取り付け、カメラで取得される画像における４つのマーカの中心座標およびサイズに基づいてマーカの位置および向きを推定することにより、プローブ１０のスキャン位置および向きを推定することができる。
次に、表示状態決定部１０３は、現在のスキャン位置が測定ターゲットに対する測定範囲内であるか否か判定する（ステップＳ１０３）。この判定の結果、測定範囲内である場合（ステップＳ１０３でＹｅｓ）、表示状態決定部１０３は、第１表示状態を選択する（ステップＳ１０４）。次に、アシスト画像生成部１０４は、３Ｄ像のデータと測定ターゲットの対象位置情報とを含むアシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第１表示状態のアシスト画像を生成する（ステップＳ１０５）。そして、表示制御部１０７は、アシスト画像と、ライブ画像取得部１０６により取得した現在のスキャン位置における超音波画像であるライブ画像とを、第１表示状態で表示装置１５０に表示する（ステップＳ１０６）。
一方、測定範囲内でない場合（ステップＳ１０３でＮｏ）、表示状態決定部１０３は、第２表示状態を選択する（ステップＳ１０７）。次に、アシスト画像生成部１０４は、３Ｄ像のデータと測定ターゲットの対象位置情報とを含むアシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第２表示状態のアシスト画像を生成する（ステップＳ１０８）。そして、表示制御部１０７は、アシスト画像とライブ画像とを、第２表示状態で表示装置１５０に表示する（ステップＳ１０９）。
次に、終了であるか否かを判定し（ステップＳ１１０）、終了でなければ（ステップＳ１１０でＮｏ）、現在の位置情報の取得処理（ステップＳ１０２）から繰り返す。
次に、図７のフローチャートに示すステップＳ１０３からステップＳ１０９における表示状態の決定フローの具体例について、説明する。図１０は、画面表示の切替え動作の一例を示すフローチャートである。なお、図１０に示すフローチャートは、図７に示すステップＳ１０３からステップＳ１０９に置き換わる部分のみを記載している。
まず、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との、位置および向きの差分を算出する（ステップＳ１１０１）。続いて、表示状態決定部１０３は、３Ｄ像の特定方向に対する、位置および向きの差分が閾値以下であるか否かを判定する（ステップＳ１１０２）。
ここで、特定方向とは、３次元空間座標において互いに直交する３つの軸の全てを考慮してもよいし、測定器官の形状などに基づいて設定してもよい。例えば、測定ターゲットが血管の中心線に平行な場合には、測定ターゲットの中心と現在のスキャン位置におけるスキャン面の中心との距離が閾値以下であり、かつ、現在のスキャン位置におけるスキャン面が中心線と平行に近づいた場合に、位置と向きの差分が閾値以下である判定することなどが可能である。
この判定の結果、閾値以下である場合（ステップＳ１１０２でＹｅｓ）、表示状態決定部１０３は、第１表示状態を選択する（ステップＳ１０４）。次に、アシスト画像生成部１０４は、アシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第１表示状態のアシスト画像を生成する（ステップＳ１０５）。そして、表示制御部１０７は、メイン表示を超音波のライブ画像とし、サブ表示をアシスト画像とする第１表示状態（第４表示状態）で表示装置１５０に表示する（ステップＳ１１０３）。
一方、閾値以下でない場合（ステップＳ１１０２でＮｏ）、表示状態決定部１０３は、第２表示状態を選択する（ステップＳ１０７）。次に、アシスト画像生成部１０４は、アシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第２表示状態のアシスト画像を生成する（ステップＳ１０８）。そして、表示制御部１０７は、メイン表示をアシスト画像とし、サブ表示をライブ画像とする第２表示状態（第３表示状態）で表示装置１５０に表示する（ステップＳ１０９）。
ここで、メイン表示とは、超音波画像が表示される表示装置１５０の画面の中心部、又は、画面上で最も大きな領域を占める部分の表示をいい、サブ表示とは、画面に表示される情報のうち、メイン表示ではない部分の表示をいう。
次に、図１１Ａ〜図１１Ｃを用いて、頸動脈の長軸像における測定ターゲットをスキャンする際の表示状態の切替え例について説明する。図１１Ａは、３Ｄ空間における測定器官である頸動脈の一例を示す図であり、図１１Ｂは、第２表示状態の一例を示す図であり、図１１Ｃは、第１表示状態の一例を示す図である。
長軸像を描出して内中膜の肥厚を測定する際には、まず短軸像をスキャンしながら測定ターゲットの近傍までプローブを移動させ、その後にプローブを回転させて長軸像を描出する。従って、図１１Ａに示すように、頸動脈の短軸断面がｘｚ平面に平行で、進行方向がｙ軸に平行である場合には、ターゲット位置の近傍まで短軸像でスキャンした後に、ｚ軸の周りにプローブを回転させて長軸像を描出する。このため、ステップＳ１１０２においては、現在のスキャン位置が測定範囲内にあるか、つまり３Ｄ空間における現在のスキャン位置と測定ターゲットとの位置の差分、および、ｚ軸周りの回転角の差分が、それぞれ予め設定された閾値以下であるかを判定する。このように判定することで、プローブをｚ軸周りに回転させた状態で長軸像が描出できるかどうかを大まかに判定でき、長軸像が描出されうる場合に表示状態を切替えられる。図１１Ｂに示す第２表示状態では、現在のスキャン位置が測定範囲外、つまり、長軸像が描出されない場合の画面表示であり、主にアシスト画像を参照しながらスキャン位置をターゲット位置に移動できるように、画面７０に、アシスト画像７３をメイン表示７１とし、ライブ画像７４をサブ表示７２として、表示している。一方、図１１Ｃに示す第１表示状態では、現在のスキャン位置が測定範囲内である場合の画面表示であり、スキャン位置がターゲット位置の近傍にあることから、超音波のライブ画像７５を主に参照して位置合わせができるように、画面７０に、ライブ画像７５をメイン表示７１とし、アシスト画像７３をサブ表示７２として、表示している。ここで、アシスト画像７３には、対象箇所を含むとなる器官形状を示す３Ｄ像４２、現在のプローブ１０の位置を示す画像４３、現在のスキャン面を示す画像４４、測定ターゲットのスキャン面を示す画像４６、測定ターゲットのスキャンするために移動すべきプローブ１０の位置を示す画像４５、およびプローブ１０を移動させる方向を示す矢印４７が表示されている。
なお、図１１Ｂに示す第２表示状態から図１１Ｃに示す第１表示状態へ画面が切替えられた場合、切替え前後でアシスト画像とライブ画像の左右関係が逆転するが、これに限られるものではない。例えば、図１１Ｃに示す第１表示においてライブ画像７４を画面の右側に表示したまま表示領域を拡大して、左右の関係は切替わらないようにしてもよい。また、画面表示の切替えは２パターンに限定されるものではなく、位置、向きの差分に基づいて各画像の表示領域を拡大または縮小していくなど連続的に遷移してもよい。
ここで、図１０のステップＳ１１０２では、測定ターゲットと現在のスキャン位置との位置および向きの差分が閾値以下であるか否かに基づいて表示状態を切替えるため、差分が閾値の境界近傍となる位置でプローブが頻繁に移動すると、表示状態が頻繁に切替わり、アシスト画像およびライブ画像の視認性が低下するという問題が起こりうる。
そこで、表示状態を安定的に切替えるための動作について、以下、説明する。
図１２は、表示状態の切替え判定にヒステリシスを導入して、表示状態を安定的に切替えるための動作を示すフローチャートである。なお、図１２のフローチャートに示すステップのうち、図１０のフローチャートに対して追加されるステップＳ１１０５からステップＳ１１０７までのステップについて説明する。
表示状態決定部１０３は、現在の表示状態が第２表示状態であるかどうか判定する（ステップＳ１１０５）。この判定の結果、第２表示状態である場合（ステップＳ１１０５でＹｅｓ）、表示状態決定部１０３は、位置と向きのそれぞれについて、表示状態の切替え判定に用いる閾値をＴ１に設定する（ステップＳ１１０６）。一方、第２表示状態でない場合（ステップＳ１１０５でＮｏ）、表示状態決定部１０３は、ステップＳ１１０６において設定した閾値Ｔ１とは異なる閾値Ｔ２を設定する（ステップＳ１１０７）。例えば、第１表示状態では、位置の閾値Ｔ２を８ｍｍとして、第２表示の状態では、位置の閾値Ｔ１を１０ｍｍとする。初期状態を第２表示状態とすると位置の差分が８ｍｍ以下となった段階で第１表示状態に遷移する。ここで、第１表示状態における閾値は１０ｍｍであるため、差分が１０ｍｍ未満であれば、第１表示状態のままである。従って、差分が８ｍｍとなる付近でプローブが２ｍｍ程度動いても、表示状態は振動することなく、安定した状態を保つことができる。
なお、測定ターゲットと現在のスキャン位置との差分に基づいて切替える要素は、メイン表示とサブ表示などの表示状態に限定されるものではなく、例えば、アシスト画像における視点方向やズーム倍率などアシスト画像自体の見え方に関わるパラメータであってもよい。
次に、図１３Ａ〜図１３Ｄを用いて、頸動脈を診断する際のアシスト画像における視点方向の切替え例について説明する。図１３Ａは、３Ｄ空間における測定ターゲットである頸動脈の一例を示す図であり、図１３Ｂは、３Ｄ空間における長軸方向の頸動脈の一例を示す図であり、図１３Ｃは、３Ｄ空間における短軸方向の頸動脈の一例を示す図であり、図１３Ｄは、切替え後の長軸方向のライブ画像と短軸方向のアシスト画像の組み合わせ表示の一例を示す図である。
頸動脈の３次元的な形状は、図１３Ａに示すように、短軸断面がｘｚ平面に平行で、進行方向がｙ軸に平行であるとする。頸動脈の長軸の内中膜厚を測定する際には、図１１Ａ〜図１１Ｃを用いて先に説明したように、測定ターゲットの近傍である測定範囲内まで短軸像でスキャンした後に、プローブを回転させて長軸像を描出する。短軸像のスキャン時には、図１３Ｂに示すように、長軸像が俯瞰できる視点方向（図中のｚ軸方向）にすると現在のスキャン位置８２と測定ターゲット８１との位置関係が分かり易い。次に、長軸像の描出後は、図１３Ｃに示すように、短軸断面８４におけるスキャン位置と傾きが把握できる視点方向（図中のｙ軸方向）が望ましい。
このとき、図１３Ｄに示すように長軸方向視点のライブ画像と短軸方向視点のアシスト画像とを組み合わせると、プローブ１０と測定ターゲットとの位置関係がより把握しやすい表示を提供することができる。まず、ライブ画像における長軸像の傾きから、ｘ軸周りの回転情報が得られる。また、血管の走行方向（図中のｙ軸方向）とスキャン面の方向が一致する（図中のｚ軸周りの回転角が同一）場合には、血管像が画面の一方の端から他方の端まで連続して描出されるが、両者の間におけるｚ軸周りの回転角のズレが大きくなるにつれ、画面の一部にしか血管像が描出されなくなる。ここでは、血管の蛇行が軽微であることを仮定しているが、少なくとも、総頸動脈から分岐部にかけての走行は直線的であり、この仮定は実用上有用である。従って、ライブ画像からｘ軸とｚ軸周りの回転、および、ｙ軸方向の位置が把握できる。アシスト画像からは、ｙ軸周りの回転と、ｘ軸とｚ軸方向の位置が把握できるため、両者を合わせることで、全ての位置関係が把握できる。なお、血管の走行方向は、３Ｄ像の中心線に基づいて決定できる。
図１４Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図であり、図１４Ｂは、切替え後の短軸方向視点のアシスト画像の一例を示す図である。
現在のスキャン位置が測定範囲外であれば、図１４Ａのような長軸方向視点のアシスト画像８５を表示し、測定範囲内であれば、図１４Ｂのような短軸方向視点のアシスト画像を表示する。
また、ズーム倍率の切替えを行ってもよい。図１５Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図であり、図１５Ｂは、切替え後の短軸方向視点で、かつズーム倍率を上げたアシスト画像の一例を示す図である。
現在のスキャン位置が測定範囲外であり、スキャン位置と測定ターゲットの距離が遠く、全体を俯瞰する必要がある場合には、図１５Ａのようにズーム倍率を下げ、スキャン位置が測定範囲内でスキャン位置の微調整を行う場合には、図１５Ｂのように測定ターゲットの近傍領域が詳細にみえるようにズーム倍率を上げて表示する。
図１６は、アシスト画像の設定を切替える動作の一例を示すフローチャートである。なお、ステップＳ２０１からＳ２０３は、図７のステップＳ１０１、Ｓ１０２、Ｓ１０３とほぼ同様である。ここでは、ステップＳ２０４およびＳ２０５の処理について、説明する。
アシスト画像生成部１０４は、アシスト画像の視点方向およびズーム倍率など、各要素の設定を切替える（ステップＳ２０４）。そして、アシスト画像生成部１０４は、切替えを反映したアシスト画像を生成する（ステップＳ２０５）。なお、これら視点方向およびズーム倍率などの各要素の切替えは、画面表示の切替えと併用してもよい。
以上のように、超音波診断装置１００では、現在のスキャン位置が測定ターゲットの測定範囲内か否かに基づいて画面の表示状態を動的に切替えている。これにより、検査者に対してよりわかりやすい、プローブの誘導を行うことができる。さらに、現在のスキャン位置および向きに応じて、アシスト画像における３Ｄ空間の視点方向などを変更する構成とすれば、検査者が、測定ターゲットとスキャン位置との位置合わせを容易にできるよう誘導することもできる。
なお、図１１Ｂおよび図１１Ｃに例示した画面構成以外の構成でもよい。例えば、図１１Ｂおよび図１１Ｃに示すように、画面７０に対してメイン表示７１とサブ表示７２を別々に表示する画面構成ではなく、図１７Ａおよび図１７Ｂに示すように、メイン表示７６の中にサブ表示７７が含まれる画面構成でもよい。
また、本実施の形態では、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置および向きの差分に基づいて、第１表示状態または第２表示状態を選択しているが、これに限られるものではない。例えば、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置の差分に基づいて、第１表示状態または第２表示状態を選択しても構わない。また、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置および向き（または位置のみ）の差分を保持することにより、時間経過に伴う差分の変位に基づいて、第１表示状態または第２表示状態を選択しても構わない。
（実施の形態２）
実施の形態２は、超音波診断装置１００の位置情報取得部１０２がプローブの位置情報を取得できているかどうかを判定する点が、実施の形態１と相違する。なお、構成は、図６に示す実施の形態１の超音波診断装置１００と同様であるので、位置情報取得部１０２についても同じ符号を用いて、説明する。
例えば、プローブに取り付けた光学マーカをカメラで撮影して位置情報を取得する場合、プローブがカメラの視野範囲から外れたり、プローブのケーブルや検査者の手などにより光学マーカが隠れてカメラに映らなかったりすると（オクルージョン）、位置情報が正しく取得できない。また、例えば磁気センサを用いて位置情報を取得する場合でも、プローブが磁場範囲外に出たり、金属などの磁場を乱す器具に近づいたりすると、位置情報が正しく取得できない。
本実施の形態２において位置情報取得部１０２は、プローブ１０の位置情報が取得できているか否かを判定する。
図１８は、実施の形態２の超音波診断装置１００の動作を示すフローチャートである。なお、ステップＳ１０８とステップＳ１０９以外は、図７と同様であるため説明を省略する。
ステップＳ１０８において、位置情報取得部１０２は、プローブ１０の位置情報が取得できているか否かを判定する。この判定の結果、取得できていれば（ステップＳ１０８でＹｅｓ）、ステップＳ１０３に進む。
一方、取得できていなければ（ステップＳ１０８でＮｏ）、位置情報取得部１０２は、位置情報が取得できないことを示す警告情報を表示するように表示制御部１０７に指示し、表示制御部１０７は、警告情報を表示装置１５０に表示する（ステップＳ１０９）。
なお、本実施の形態では、位置情報が取得できないときにその旨を示す警告情報を表示するとしたが、ステップＳ１０３以降において、位置情報が取得できる場合にも、その旨を示す情報を表示してもよい。また、位置情報が取得できているか否かだけでなく、位置情報の信頼度などに基づく表示をしてもよい。例えば、カメラのゲインや露出、ホワイトバランスなどが適切でなく、カメラで取得した画像における光学マーカの位置検出精度が低下するなどした場合には、信頼度が下がる。この場合、ステップＳ１０９やステップＳ１０３以降において、その信頼度に基づく数値を表示してもよいし、信頼度に基づいて形状、模様、色彩などの形態が変化する図形等を表示してもよい。
図１９Ａは、プローブに取り付けた光学マーカをカメラで撮影して位置情報を取得するシステムの構成例を示す図である。
例えば、このシステムでは、図１９Ａに示すように、光学マーカは１５ａから１５ｄまでの４つのマーカから構成され、位置情報取得部１０２は、カメラ９０で取得した画像における４つのマーカの中心座標とサイズに基づいてマーカの位置と向きを推定する。
図１９Ｂは、マーカ１５ｃがプローブ自体の影になって検出できないため位置情報が取得できない場合の具体例１を示す図であり、図１９Ｃは、警告情報を表示する画面の具体例１を示す図である。
例えば、図１９Ｂに示すように、マーカ１５ｃがプローブ１０自体の影になって検出できないため位置情報が取得できない場合には、警告情報として、図１９Ｃに示すように、その旨を示す赤丸のサイン９１を画面７０に表示する。なお、位置情報が取得できる場合は、例えば警告情報の一例である赤丸と異なる緑丸のサイン９１を表示しておくなど、位置情報が取得できる場合にもその旨を表示してもよい。
図１９Ｄは、プローブ１０がカメラ９０の視野から外れているため、位置情報が取得できない場合の具体例２を示す図であり、図１９Ｅは、警告情報を表示する画面の具体例２を示す図である。
例えば、図１９Ｄに示すように、プローブ１０がカメラ９０の視野から外れているため、位置情報が取得できない場合には、図１９Ｅに示すように、プローブ１０の現在位置が図中に×印９３で示すアシスト画面の表示外となり、プローブ１０をどの方向に動かせばカメラの視野範囲内に移動できるかを検査者に知らせるために、プローブの現在位置から測定ターゲット９２に向かう方向の矢印９４をアシスト画面に表示する。
次に、アシスト画像の変形例を説明する。図２０Ａは、被検者の体位と３Ｄ像との向きを対応させた表示例１を示す図であり、図２０Ｂは、被検者の体位と３Ｄ像の向きを対応させた表示例２を示す図である。
アシスト画像に、例えば、頸動脈の３Ｄ像と被検者の体の向きとを関連付ける情報を表示してもよい。
図２０Ａの表示例１のように被検者の頭部の方向を示してもよいし、図２０Ｂの表示例２のように、頭部の方向に加えて、３Ｄ像が左右どちらの頸動脈であるかを示してもよい。頭部の方向は、例えば、カメラ画像から被検者の顔を検出する、あるいは、被検者の頭や肩のシルエットを検出して決定することができる。又は、頸動脈の３Ｄ像において、頸動脈は１本から２本へと分岐しているが、その分岐して血管が２本存在する側の方向を頭部の方向としてもよい。さらには、３Ｄ像を構築する際の短軸スキャンを頸部の下から上に向かう方向とするなどスキャンする方向を予め束縛することでも頭部の方向を決定できる。
また、例えば、アシスト画像は、メイン表示とサブ表示との切替え時で視点方向を切替えるのではなく、複数の視点方向からの情報を常に表示してもよい。図２１は、頸動脈診断において、長軸方向視点と短軸方向視点の２つの視点方向での画像（断面画像）を含むアシスト画像を用いた画面構成例を示す図である。
この例では、アシスト画像７１における視点方向は常に長軸方向と短軸方向の２視点方向であり、アシスト画像７１には、長軸方向視点の画像７８と短軸方向視点の画像７９とが表示される。また、ライブ画像７２とアシスト画像７１とを合わせることで、ｘ、ｙ、ｚの３軸全てに関する位置と向きの情報が得られるため、本表示の場合、メイン表示とサブ表示の切替え時に視点方向を切替えなくてよい。
また、特に、熟練者においては、比較的容易に長軸像を描出できるため、画面構成の切替えも行わずに、常にメイン表示をライブ画像、サブ表示をアシスト画像としてもよい。さらに、現在のスキャン位置が測定範囲内と測定された場合にのみ、現在のスキャン位置を示す情報をアシスト画像に重畳してもよい。また、現在のスキャン位置が測定範囲内であるかどうかを示す情報を、表示してもよい。
（実施の形態３）
実施の形態３は、超音波診断装置１００の表示状態決定部１０３が表示状態の切替えを超音波画像に長軸像が描画されているか否かで行う点が、実施の形態１と相違する。なお、構成は、図６に示す実施の形態１の超音波診断装置１００と同様であるので、表示状態決定部１０３についても同じ符号を用いて、説明する。
実施の形態３において、表示状態決定部１０３は、ライブ画像取得部１０６より取得した現在のスキャン位置における超音波画像が長軸像を描出しているか否かを判定する。そして、表示状態決定部１０３は、長軸像を描出している場合は、メイン表示を超音波のライブ画像とし、サブ表示をアシスト画像とする第１表示状態を選択する。また、表示状態決定部１０３は、長軸像を描出していない場合は、メイン表示をアシスト画像とし、サブ表示をライブ画像とする第２表示状態を選択する。
ここで、血管の長軸像の内膜境界や外膜境界は、超音波のＢ画像やカラーフロー、あるいは、パワードプラ画像に基づいて抽出できる。例えば、Ｂ画像であれば、輝度値に基づいて境界付近のエッジを探索すればよいし、カラーフローやパワードプラ画像であれば、血流領域が血管の内腔に相当すると仮定して血管輪郭を抽出する。また、血管の走行方向とプローブのスキャン面が平行に近ければ、超音波画像の一方の端から他方の端まで長軸像が描出されるが、平行な方向から外れるにしたがって、超音波画像の一部領域にしか長軸像が描出されなくなる。したがって、Ｂ画像などに基づいて検出した長軸像の輪郭が、超音波画像内で所定の長さ以上に渡って描出されていれば、血管の走行方向とプローブのスキャン面とが平行であるとみなして、表示を切替えることができる。さらには、長軸像が描出されているかを検査者が判断し、手動で表示状態を切替えられるように、ボタンを１つ押せば切り替わるような切替え操作を簡単にできるＵＩ（ユーザインタフェース）を設けてもよい。
次に、実施の形態３の超音波診断装置１００の動作について説明する。
図２２は、実施の形態３の超音波診断装置１００の動作を示すフローチャートである。なお、ステップＳ３０１以外は、図７と同様であるため説明を省略する。
表示状態決定部１０３は、ライブ画像取得部１０６より取得した現在のスキャン位置における超音波画像が長軸像を描出しているか否かを判定する（ステップＳ３０１）。この判定の結果、長軸像を描出していると判定した場合（ステップＳ３０１でＹｅｓ）、表示状態決定部１０３は、メイン表示を超音波のライブ画像とし、サブ表示をアシスト画像とする第１表示状態を選択する（ステップＳ１０４）。一方、長軸像を描出していないと判定した場合（ステップＳ３０１でＮｏ）、表示状態決定部１０３は、メイン表示をアシスト画像とし、サブ表示をライブ画像とする第２表示状態を選択する（ステップＳ１０７）。
以上のように、本実施の形態では、超音波画像が長軸像を描出しているか否かに基づいて画面の表示状態を動的に切替えている。これにより、検査者に対してよりわかりやすい、プローブの誘導を行うことができる。
上記実施の形態１〜３では、主に、頸動脈のプラークを診断する際の動作について説明したが、プラークだけでなく、血管の診断において重要となるドプラ計測においても、アシスト画像は有効である。このとき、プラークの位置情報の代わりに、ドプラ計測のサンプルゲートの位置情報を３Ｄ像解析部１０１で決定、あるいは、手動で設定し、サンプルゲートの設定位置をスキャンできるように検査者を誘導する。サンプルゲートの位置は、総頸動脈と頸動脈洞との境界や、頸動脈の分岐部から所定の距離となる部位、あるいは、プラーク部位の近傍となるように設定できる。また、頸動脈以外にも、腹部大動脈、鎖骨下動脈などの他の血管や、肝臓や乳房の腫瘍を観察する際にも使用できる。
（実施の形態４）
本実施の形態では、本発明の一態様に係る画像処理装置を術中ナビゲーションシステムに適用した場合について、図面を参照しながら説明する。術中ナビゲーションシステムとは、手術中の患者位置と手術器具との位置関係を表示するシステムである。この術中ナビゲーションシステムは、例えば腫瘍の位置または血管の位置等の認識性を向上させるため、また、骨または臓器といった手術対象に対する手術器具の位置を表示し手術の際の安全性を向上させるためなどに用いられる。
図２３、は術中ナビゲーションシステムの設置例を示す概略図であり、図２４は、仮想３次元空間内への情報取り込みの概要を示す図である。
外科手術では、例えば、図２３に示すように手術対象の患者２０１の切開部２０２から内視鏡などの手術器具２０３を挿入し、所望部位の切除や切削を行う場合がある。所望部位が目視できない場合、手術器具２０３の先端が体内のどの位置にあるかを施術者に示すために、手術ナビゲーションシステムが用いられる。手術ナビゲーションシステムは、手術器具２０３に設置された光学マーカ２１３、患者を寝かせたベッドサイドに一つ以上のＣＣＤカメラ等の撮像装置５１１および画像処理装置５００を備えたトラッキングシステム、ナビゲーション情報（アシスト画像）を表示するための表示装置（モニタ）２５０を備えている。トラッキングシステムは光学マーカ２１３を撮像装置５１１で撮影して、光学マーカ２１３の空間上の位置および姿勢（向き）の情報２２３を算出し、それを手術器具２０３の先端部の位置および姿勢の情報に変換することができる。取得した位置および姿勢の情報に基づいて、トラッキングシステム内に仮想的に設定した３次元空間５２０内に手術器具２０３を模擬したオブジェクトを配置する。
近年は、手術対象患者の所望部位の位置は術前のシミュレーションによってその３次元的な形状や大きさが事前に確認されていることが一般的である。ＣＴ、ＭＲＩ、ＰＥＴ、または超音波診断装置などのモダリティによって取得された手術対象部位（対象箇所）の３次元ボリュームデータ５１０を用いて、切除または切削する領域が事前に決定される。術中ナビゲーションを行う際には、実際の手術対象の患者２０１と３次元ボリュームデータ５１０との位置関係をトラッキングシステム内の仮想３次元空間５２０内に厳密に再現する必要があるため、手術対象の大きさやトラッキングシステムに対する位置および姿勢の情報２２１を計測する必要がある。実際の手術対象部位と３次元ボリュームデータ５１０との位置合わせ２２２は、手術開始前に患者をベッド２０４に固定した段階で行われる。すなわち、手術対象の患者２０１あるいは手術対象の患者２０１を固定したベッド２０４と、撮像装置５１１の位置関係が変化しないことを前提として、手術対象部位の位置、姿勢、および大きさをトラッキングシステムに取り込む。この処理は手術器具２０３の位置および姿勢の情報の計測と同じように、所定位置（ベッドや骨といった患者の身体的特徴点）に光学マーカ２１４、２１１を設置し、トラッキングシステムによってその空間的位置および姿勢の情報を計測することなどによって行われる。
このようにしてトラッキングシステム内の仮想３次元空間には手術対象領域の情報と、手術器具の位置および姿勢の情報とが取り込まれる。
この仮想３次元空間５２０内に任意の視点位置を設定することによって、手術対象部位と手術器具との位置関係を俯瞰的に確認することができる画像を生成することができ、その画像をナビゲーション情報（アシスト画像）として表示装置２５０に表示することができる。
図２５は、実施の形態４の画像処理装置５００の構成を示すブロック図である。
画像処理装置５００は、図２５に示すように３Ｄ像生成部５０１、位置情報取得部５０２、表示状態決定部５０３、アシスト画像生成部５０４、および表示制御部５０５を備えている。画像処理装置５００は、ボリュームデータ５１０を記憶するデータベース、撮像装置５１１、および表示装置２５０と接続されている。
撮像装置５１１は、ＣＣＤカメラ等の撮影部であり、光学マーカを含んだ手術対象患者および手術器具の映像を取得する。
ボリュームデータ５１０は、手術対象部位の３次元画像データであり、一般的には術前にＣＴ、ＭＲＩ等のモダリティによって取得される。なお、超音波診断装置を用いてリアルタイムにデータを取得することによって随時ボリュームデータの更新を行いながらナビゲーションを行うことも可能である。
表示装置２５０は、いわゆるモニタであって、表示制御部５０５からの出力を表示画面として表示する。
３Ｄ像生成部５０１は、ボリュームデータ５１０をレンダリングすることによって手術対象部位の３Ｄ像の生成を行う。ここで、３Ｄ像生成部５０１は、切除または切削する領域等の決定を行って、領域等の情報を３Ｄ像に反映してもよい。
位置情報取得部５０２は、撮像装置５１１で取得されたベッドまたは手術対象患者、手術器具等に設置された光学マーカが映った画像に基づいて、手術対象部位の３次元位置および向きを含む位置情報（対象位置情報）、および手術器具の３次元位置および姿勢（向き）を示す位置情報（器具位置情報）を取得する。
表示状態決定部５０３は、手術対象部位（対象箇所）と手術器具との位置関係に基づいて、２つの表示状態の中から１つの表示状態を選択する。具体的には、表示状態決定部５０３は、手術対象部位と手術器具との位置の差分（距離）に基づいて、第１表示状態または第２表示状態のどちらかを選択する。このとき、表示状態決定部５０３は、仮想３次元空間における手術対象部位と手術器具との位置から手術対象部位と手術器具との距離を算出する。
アシスト画像生成部５０４は、表示状態決定部５０３で選択された表示状態で表示されるようにアシスト画像を生成する。
表示制御部５０５は、表示装置２５０上にアシスト画面を表示する際の位置およびサイズなどを制御し、アシスト画像を表示装置２５０に表示する。
次に、上記のように構成された画像処理装置５００の動作について説明する。
図２６は、実施の形態４の画像処理装置５００の動作を示すフローチャートである。
３Ｄ像生成部５０１は、事前取得された患者の手術対象領域を含んだ３Ｄボリュームデータを取得し、３Ｄボリュームデータをレンダリングすることによって、アシスト画像に表示する３Ｄ像の生成を行う（ステップＳ５０１）。ここで、３Ｄ像生成部５０１は、術前シミュレーションに相当する切除または切削部位の指定などを行ってもよい（一般的には切除または切削部位の設定は術前に別途行われる）。
次に、位置情報取得部５０２は、手術室におけるベッドあるいは手術対象患者と、撮像装置５１１との幾何学的な位置関係が決定された環境において、撮像装置５１１で取得された画像に基づいて、手術対象部位の３次元位置、姿勢、および大きさなどの対象位置情報を取得する（ステップＳ５０２）。そして、３Ｄ像生成部５０１は、手術対象部位の３次元位置、姿勢、および大きさなどと３Ｄ像とをキャリブレーションすることによって位置合わせを行う（ステップＳ５０３）。
次に、位置情報取得部５０２は、撮像装置５１１で取得された画像に基づいて、手術器具の位置および姿勢の情報を取得する。更に、これらの情報を手術器具先端部の位置および姿勢の情報に変換する（ステップＳ５０４）。
３Ｄ像生成部５０１は、手術対象部位、手術器具、および手術器具先端部の位置および姿勢の情報などから、仮想３次元空間に手術対象部位および手術器具をそれぞれ配置する（ステップＳ５０５）。
次に、表示状態決定部５０３は、仮想３次元空間内における手術対象部位と手術器具との距離を算出する（ステップＳ５０６）。そして、表示状態決定部５０３は、仮想３次元空間内における手術対象部位と手術器具との距離が所定範囲内であるかどうかを判定する（ステップＳ５０７）。この結果、所定範囲内である場合（ステップＳ５０７でＹｅｓ）には、表示状態決定部１０３は、第２表示状態を選択する（ステップＳ５０８）。そして、表示状態決定部１０３は、アシスト画像のズーム倍率および視線方向等の設定を変更する（ステップＳ５０９）。
一方、所定範囲内でない場合（ステップＳ５０７でＮｏ）には、表示状態決定部１０３は、第１表示状態を選択する（ステップＳ５１０）。
そして、アシスト画像生成部５０４は、表示状態決定部５０３で選択された第１表示状態または第２表示状態で表示されるようにアシスト画像を生成する（ステップＳ５１１）。次に、表示制御部５０５は、アシスト画像を表示装置２５０に表示する（ステップＳ５１２）。
ここで、第１表示状態または第２表示状態で表示されるアシスト画像について説明する。
図２７Ａおよび図２７Ｂは、画像処理装置５００が表示するアシスト画像の一例を示す図であり、図２７Ａは、第２表示状態で表示するアシスト画像の一例を示す図であり、図２７Ｂは、第１表示状態で表示するアシスト画像の一例を示す図である。
第１表示状態で表示するアシスト画像は、手術対象部位と手術器具とが所定範囲外（一定距離以上離れている）であるときのアシスト画像であり、図２７Ａに示すように視点位置を３Ｄボリュームデータから離れた点に設置（または切り出し画角を広角に設定）し、手術対象部位と手術器具との位置関係を俯瞰的に確認できるようにしている。
一方、第２表示状態で表示するアシスト画像は、手術対象部位と手術器具との距離が所定範囲内（一定距離以上離れていない）であるときのアシスト画像であり、図２７Ｂに示すように視点位置を３Ｄボリュームデータに近い位置に設定（または切り出し画角を狭く設定）し、より詳細な位置関係および手術器具の動きを確認できるようにしている。
図２６のフローチャートの説明に戻り、終了であるか否かを判定し（ステップＳ５１３）、終了であれば（ステップＳ５１３でＹｅｓ）、処理を終了する。
一方、終了でなければ（ステップＳ５１３でＮｏ）、アシスト画像には最新の手術対象部位と手術器具との位置関係を表す情報が生成されるべきであるので、位置情報取得部５０２は、撮像装置５１１で取得された画像に基づいて、手術器具の位置および姿勢の情報を取得する（ステップＳ５１４）。そして、手術器具の位置または姿勢に変化があるか否かを判定する（ステップＳ５１５）。この判定の結果、変化がある場合（ステップＳ５１５でＹｅｓ）には、ステップＳ５０６からの処理を繰り返す。一方、変化がない場合（ステップＳ５１５でＮｏ）には、ステップＳ５１３からの処理を繰り返す。ここでは手術器具の器具位置情報のみを更新する手順を述べたが、必要に応じて手術対象部位の対象位置情報も更新を行ってよい。このときも、手術対象部位と手術器具との位置関係に変化が生じた場合にはステップＳ５０６からの処理を実行する。
以上のように、手術器具の器具位置情報はリアルタイムに更新され、それに伴って表示装置２５０に表示されるアシスト画像も更新されるので、施術者は操作した手術器具の動きを表示装置２５０で確認でき、手術器具と対象箇所までの距離、および、切除または切削を行う向きの調整を容易に行うことができる。
なお、本実施の形態では、アシスト画像生成部５０４は、初期状態で手術対象部位と手術器具とが離れていると仮定して、全体を俯瞰できる第１表示状態のアシスト画像を生成している。そして表示状態決定部５０３は、算出した距離が所定の値より小さい、すなわち手術対象部位と手術器具とが非常に近い位置にあると判定した場合には、アシスト画像の設定を第１表示状態から第２表示状態に切り替えるように、ステップＳ５０９において初期状態からズーム倍率および視線方向等の設定を変更している。また、図２６のフローチャートでは示していないが、第１表示状態に切り替えられた後、第１表示状態された場合には、表示状態決定部５０３は、ズーム倍率および視線方向等の設定が初期状態に戻すものとする。ここで、表示状態決定部５０３が算出する距離は、手術対象部位における切除または切削領域の重心と手術器具の先端との間で求めるなどと設定してよいが、この限りではない。
また、ステップＳ５０１において、３Ｄ像生成部５０１は、術前シミュレーションに相当する切除または切削部位の指定などを行ってもよいとしたが、このシミュレーション結果（切除または切削領域）をステップＳ５１１において３Ｄ像に重畳表示してもよい。また、手術器具が切除または切削領域にアクセスしたかどうかを判定するステップや手段を追加し、アクセスしたと判断した場合にはその領域を削除した３Ｄ像を再生成し、表示を更新するようにしてもよい。このようにすることで施術者は手術の進捗をより容易に把握することが可能となる。
また、本実施の形態では、位置情報を取得する方法として光学マーカをカメラで撮影する方式を説明したが、磁気センサまたは多関節アームなどを使用してもよい。
また、ステップＳ５０７〜Ｓ５１０において距離情報に基づいて二つのアシスト画像設定を切り替える例を示したが、これに限られるものではない。例えば、画像表示状態をｍ通り（ｍは自然数）準備しておき、そのうちのｎ番目（ｎはｍより小さい自然数）の表示状態が選択されている状態で、ステップＳ５０７において、ある時刻ｔと時刻ｔ−１とにおける距離の絶対差分が所定の大きさ以上であるかどうか、およびその正負を判定して、ｎ番目からｎ＋１番目あるいはｎ−１番目の表示状態を選択するようにしてもよい。このようにすることによって、手術器具が手術対象部位に近づいていくにつれて切除または切削を行う領域が拡大されていくような効果、すなわち図２７Ａから図２７Ｂに滑らかに変化するような画像が得られる。
（実施の形態５）
上記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図２８Ａ〜２８Ｃは、上記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図２８Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２８Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
また、図２８Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。超音波診断方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより超音波診断方法を実現する上記超音波診断方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
なお、図６の超音波診断装置および図２５の画像処理装置のブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。例えば、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのグラフィクス処理用の専用回路が使用できる。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、図６の超音波診断装置および図２５の画像処理装置の各部は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続してもよい。例えば、ネットワーク上のサーバや蓄積デバイスに保持された超音波画像を読み込む構成などが可能である。さらに、各部の機能追加などをネットワーク経由で行ってもよい。
本発明に係る画像処理装置および方法によれば、スキャン位置をターゲットに合わせるまでの時間が削減でき、動脈硬化のスクリーニングなどにおける検査効率の向上が見込まれることから、医療診断機器産業において高い利用可能性をもつ。
１０ プローブ
３０、１００ 超音波診断装置
３１、１０１ ３Ｄ像解析部
３２、１０２、５０２ 位置情報取得部
３３、１０４、５０４ アシスト画像生成部
３４、１０６ ライブ画像取得部
３５、１０７、５０５ 表示制御部
１０３、５０３ 表示状態決定部
１０５ 送受信部
１０８ 制御部
１５０、２５０ 表示装置
１６０ 入力装置
５００ 画像処理装置
５０１ ３Ｄ像生成部
５１０ ボリュームデータ
５１１ 撮像装置

Claims (22)

  1. 被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理装置であって、
    前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部と、
    前記器具の３次元位置を示す器具位置情報を取得する位置情報取得部と、
    前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部と、
    選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成部と、
    前記アシスト画像を表示装置に出力するための制御を行う表示制御部と
    を備える画像処理装置。
  2. 前記二つ以上の表示状態には、
    前記アシスト画像における表示のズーム倍率を第１倍率で表示する第１表示状態と、
    前記アシスト画像における表示のズーム倍率を前記第１倍率より大きい倍率である第２倍率で表示する第２表示状態とを含み、
    前記表示状態決定部は、前記位置関係が第１の所定条件を満たさない場合に、前記第１表示状態を選択し、前記位置関係が前記第１の所定条件を満たす場合に、前記第２表示状態を選択する
    請求項１に記載の画像処理装置。
  3. 前記３Ｄ像解析部は、前記３次元像に基づいて、前記対象箇所の３次元位置に加えて、前記対象箇所の向きを、前記対象位置情報として決定し、
    前記位置情報取得部は、前記器具の３次元位置に加えて、前記器具の向きを、前記器具位置情報として取得する
    請求項１または請求項２に記載の画像処理装置。
  4. 前記器具は、超音波診断装置における前記被検体の超音波画像を取得するためのプローブであり、
    前記位置情報取得部は、前記器具位置情報として、前記プローブの走査位置および向きを取得し、
    前記アシスト画像生成部は、前記プローブの前記対象箇所への移動を誘導するための画像であるアシスト画像を生成する
    請求項３に記載の画像処理装置。
  5. 前記画像処理装置は、さらに、
    前記プローブからライブ画像である前記被検体の超音波画像を取得するライブ画像取得部を備え、
    前記表示制御部は、前記アシスト画像および前記ライブ画像を表示装置に出力する
    請求項４に記載の画像処理装置。
  6. 前記二つ以上の表示状態には、
    前記表示装置において前記アシスト画像をメイン画像として表示するとともに、前記ライブ画像を前記メイン画像より小さいサブ画像として表示する第３表示状態と、
    前記表示装置において前記ライブ画像を前記メイン画像として表示するとともに、前記アシスト画像を前記サブ画像として表示する第４表示状態とを含み、
    前記表示状態決定部は、前記位置関係が第２の所定条件を満たさない場合に前記第３表示状態を選択し、前記位置関係が前記第２の所定条件を満たす場合に前記第４表示状態を選択し、
    前記表示制御部は、選択された表示状態で、前記アシスト画像および前記ライブ画像を表示装置に出力する
    請求項５に記載の画像処理装置。
  7. 前記表示制御部は、選択された前記表示状態に応じて、前記アシスト画像と前記ライブ画像との相対的な表示サイズを切り替えることで、前記メイン画像および前記サブ画像の切り替えを行い、前記アシスト画像および前記ライブ画像を前記表示装置に出力する
    請求項６に記載の画像処理装置。
  8. 前記表示状態決定部は、前記第３表示状態を選択している場合には、前記位置関係が第３の所定条件を満たすか否かに基づいて表示状態を選択し、前記第４表示状態を選択している場合には、前記位置関係が第４の所定条件を満たすか否かに基づいて表示状態を選択する
    請求項６または請求項７に記載の画像処理装置。
  9. 前記対象箇所は血管であり、
    前記表示状態決定部は、前記ライブ画像において前記血管の走行方向に略平行な断面が描出されているか否かに応じて前記位置関係を判定し、判定した前記位置関係に基づいて前記二つ以上の表示状態の中から一つの表示状態を選択する
    請求項５〜請求項７のいずれか１項に記載の画像処理装置。
  10. 前記画像処理装置は、さらに、
    あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備え、
    前記３Ｄ像生成部は、前記データである、前記対象箇所を含む領域を前記プローブで予め走査して取得された超音波画像から、前記対象箇所を含む器官の輪郭を抽出することにより、前記３次元像を生成し、
    前記３次元像の３次元空間内における位置および向きを、前記位置情報取得部により取得される前記プローブの走査位置および向きと対応づける
    請求項４〜請求項９のいずれか１項に記載の画像処理装置。
  11. 前記アシスト画像生成部は、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいてナビゲーション情報を生成し、前記アシスト画像として、前記３次元像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像と、前記ナビゲーション情報と、を重畳した画像を生成する
    請求項４〜請求項１０のいずれか１項に記載の画像処理装置。
  12. 前記アシスト画像生成部は、前記第４表示状態が選択されたとき、前記対象箇所における複数の方向からの断面形状をそれぞれ示す複数の断面画像を生成し、生成した前記複数の断面画像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像を重畳した画像を、前記アシスト画像として生成する
    請求項６〜請求項８のいずれか１項に記載の画像処理装置。
  13. 前記対象箇所は血管であり、
    前記複数の断面画像には、前記血管の走行方向である長軸方向および前記長軸方向に略直交する短軸方向からの断面形状をそれぞれ示す２つの断面画像を含み、
    前記アシスト画像生成部は、前記２つの断面画像に対して、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいて、前記プローブの前記対象箇所への移動を誘導するための直線または長方形を重畳した画像を、前記アシスト画像として生成する
    請求項１２に記載の画像処理装置。
  14. 前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択する
    請求項３に記載の画像処理装置。
  15. 前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択する
    請求項３に記載の画像処理装置。
  16. 前記対象箇所は前記被検体内の手術対象部位であり、
    前記器具は、前記被検体の手術に用いられる手術器具であり、
    前記アシスト画像生成部は、前記手術器具の前記手術対象部位への移動を誘導するための画像であるアシスト画像を生成する
    請求項１〜請求項３のいずれか１項に記載の画像処理装置。
  17. 前記画像処理装置は、さらに、
    あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備える
    請求項１６に記載の画像処理装置。
  18. 前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択する
    請求項１または請求項２に記載の画像処理装置。
  19. 前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択する
    請求項１または請求項２に記載の画像処理装置。
  20. 前記二つ以上の表示状態には、
    前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する表示状態を二つ以上含み、
    前記表示状態決定部は、前記位置関係に基づいて、前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する二つ以上の表示状態の中から一つの表示状態を選択する
    請求項１〜請求項１９のいずれか１項に記載の画像処理装置。
  21. 被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理方法であって、
    前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析ステップと、
    前記器具の３次元位置を示す器具位置情報を取得する位置情報取得ステップと、
    前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定ステップと、
    選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成ステップと、
    前記アシスト画像を表示装置に出力するための制御を行う表示制御ステップと
    を含む画像処理方法。
  22. 被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成するためのプログラムであって、
    前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析ステップと、
    前記器具の３次元位置を示す器具位置情報を取得する位置情報取得ステップと、
    前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定ステップと、
    選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成ステップと、
    前記アシスト画像を表示装置に出力するための制御を行う表示制御ステップとをコンピュータに実行させる
    プログラム。
JP2014546867A 2012-11-15 2013-11-11 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP6323335B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012251583 2012-11-15
JP2012251583 2012-11-15
PCT/JP2013/006625 WO2014076931A1 (ja) 2012-11-15 2013-11-11 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2014076931A1 true JPWO2014076931A1 (ja) 2017-01-05
JP6323335B2 JP6323335B2 (ja) 2018-05-16

Family

ID=50730865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014546867A Expired - Fee Related JP6323335B2 (ja) 2012-11-15 2013-11-11 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20160270757A1 (ja)
JP (1) JP6323335B2 (ja)
WO (1) WO2014076931A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224438A (zh) * 2014-09-05 2022-03-25 普罗赛普特生物机器人公司 与靶器官图像的治疗映射结合的医师控制的组织切除
KR20160046670A (ko) * 2014-10-21 2016-04-29 삼성전자주식회사 영상 진단 보조 장치 및 방법
CN108024806B (zh) 2015-07-21 2022-07-01 3D集成公司 套管组装套件、套管针组装套件、套筒组件、微创手术系统及其方法
DK178899B1 (en) * 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
CN109069110B (zh) * 2016-05-06 2022-08-09 皇家飞利浦有限公司 具有简化的3d成像控制的超声成像系统
EP3621525A1 (en) * 2017-05-11 2020-03-18 Verathon, Inc. Probability map-based ultrasound scanning
US11191524B2 (en) * 2017-09-28 2021-12-07 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and non-transitory computer readable medium
US10521916B2 (en) * 2018-02-21 2019-12-31 Covidien Lp Locating tumors using structured light scanning
CN111770730B (zh) 2018-02-23 2023-04-28 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
JP7313359B2 (ja) * 2018-09-04 2023-07-24 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
US20220015741A1 (en) * 2019-01-09 2022-01-20 Koninklijke Philips N.V. Ultrasound system and method for shear wave characterization of anisotropic tissue
JP7447692B2 (ja) * 2020-06-16 2024-03-12 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
JP2022074392A (ja) * 2020-11-04 2022-05-18 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
JP2022090787A (ja) 2020-12-08 2022-06-20 富士フイルムヘルスケア株式会社 超音波診断システム及び操作支援方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124712A (ja) * 2003-10-22 2005-05-19 Aloka Co Ltd 超音波診断装置
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
JP2010201049A (ja) * 2009-03-05 2010-09-16 Aloka Co Ltd 超音波診断装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
WO2010005571A2 (en) * 2008-07-09 2010-01-14 Innurvation, Inc. Displaying image data from a scanner capsule

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124712A (ja) * 2003-10-22 2005-05-19 Aloka Co Ltd 超音波診断装置
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
JP2010201049A (ja) * 2009-03-05 2010-09-16 Aloka Co Ltd 超音波診断装置

Also Published As

Publication number Publication date
WO2014076931A1 (ja) 2014-05-22
US20160270757A1 (en) 2016-09-22
JP6323335B2 (ja) 2018-05-16

Similar Documents

Publication Publication Date Title
JP6323335B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP2460473B1 (en) Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
JP5830576B1 (ja) 医療システム
JP5208495B2 (ja) 医療用システム
JP4758355B2 (ja) 患者の体内に医療用機器を案内するためのシステム
JP6238651B2 (ja) 超音波診断装置及び画像処理方法
JP6873647B2 (ja) 超音波診断装置および超音波診断支援プログラム
JP2014217745A (ja) 超音波診断装置、およびその制御方法
JP2013059609A (ja) 医用画像表示装置及びｘ線診断装置
KR101588014B1 (ko) 복합 실제 3차원 영상 제작방법 및 이를 위한 시스템
JP2007526066A (ja) 患者体内において医療器具をガイドするシステム
JP2010167032A (ja) 超音波診断装置及び画像表示装置
US20100286526A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
US20230181148A1 (en) Vascular system visualization
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2002253480A (ja) 医療処置補助装置
JP2008272370A (ja) 医用ガイドシステム
JP4700405B2 (ja) 超音波診断装置
JP2009247641A (ja) 超音波画像処理装置及び手術支援装置
JP2017074221A (ja) 医療システム
KR20170034457A (ko) 복합 실제 3차원 영상 제작방법 및 이를 위한 시스템

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180326

R150 Certificate of patent or registration of utility model

Ref document number: 6323335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees