JP6080249B2 - ３次元画像表示装置および方法並びにプログラム - Google Patents

３次元画像表示装置および方法並びにプログラム Download PDF

Info

Publication number
JP6080249B2
JP6080249B2 JP2012201581A JP2012201581A JP6080249B2 JP 6080249 B2 JP6080249 B2 JP 6080249B2 JP 2012201581 A JP2012201581 A JP 2012201581A JP 2012201581 A JP2012201581 A JP 2012201581A JP 6080249 B2 JP6080249 B2 JP 6080249B2
Authority
JP
Japan
Prior art keywords
label
dimensional image
displayed
volume rendering
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012201581A
Other languages
English (en)
Other versions
JP2014054428A (ja
Inventor
潤 桝本
潤 桝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012201581A priority Critical patent/JP6080249B2/ja
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CA2884679A priority patent/CA2884679A1/en
Priority to BR112015005240A priority patent/BR112015005240A2/pt
Priority to PCT/JP2013/005328 priority patent/WO2014041791A1/ja
Priority to CN201380047366.8A priority patent/CN104619258A/zh
Priority to AU2013317201A priority patent/AU2013317201A1/en
Priority to EP13837633.0A priority patent/EP2896368A4/en
Publication of JP2014054428A publication Critical patent/JP2014054428A/ja
Priority to US14/644,386 priority patent/US9495794B2/en
Priority to IN2504DEN2015 priority patent/IN2015DN02504A/en
Application granted granted Critical
Publication of JP6080249B2 publication Critical patent/JP6080249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Description

本発明は、物体を断層撮影することにより取得した複数の断層画像からなる３次元画像をボリュームレンダリング表示するための３次元画像表示装置および方法並びに３次元画像表示方法をコンピュータに実行させるためのプログラムに関するものである。
近年、医療機器（例えば多検出器型ＣＴ等）の進歩により質の高い３次元画像が画像診断に用いられるようになってきている。また、このような３次元画像を解析することにより、体内に存在する様々な臓器の３次元形状の把握が容易となり、さらには臓器の中に存在する動脈、静脈、腫瘍といった各組織の相対的な位置関係や立体構造の把握までもが可能になってきている。この際、各種画像処理アルゴリズムを用いて、特定臓器および臓器内の特定の構造物を抽出し、ボリュームレンダリング（ＶＲ）等の表示手法を用いて、３次元形状を２次元平面に投影してその立体構造を把握することも行われている。
ここで、３次元画像をＶＲ表示する場合、注目する臓器、組織および構造等の構造物を抽出し、抽出した構造物の３次元画像の各画素位置の信号値（ＣＴ画像の場合はＣＴ値）に応じて、各画素の信号値に色（Ｒ，Ｇ，Ｂ）および不透明度（オパシティ）が設定される。この場合、注目する部位に応じて色および不透明度を設定したカラーテンプレートを用意しておくことにより、部位に応じて所望のカラーテンプレートを選択すれば、ボリュームレンダリング画像（ＶＲ画像）において、注目する部位を可視化することができる。
一方、３次元画像に含まれる各構造物の名称等の文字列、および腫瘍の有無等を表す矢印等を、対応する構造物の位置にラベルとして付与することも行われている。また、脊椎を抽出し、抽出した脊椎に自動でラベルを付与する手法、あるいは気管支を抽出し、抽出した気管支に解剖学的な医学名称をラベルとして付与する手法も提案されてきている。
このようにラベルを付与した３次元画像を表示する際に、ラベルにそのラベルが付与される位置における、セグメント化された解剖学的構造の名前、説明、あるいは異常を文字列として記載しておき、ラベルが付与されている位置をポイントすることにより、文字列を表示する手法が提案されている（特許文献１参照）。また、３次元画像を用いて医師の所見を作成し、内視鏡を用いて被写体の検査を行う際に、内視鏡が所見を付与した位置に近づいたときに、表示中の内視鏡画像に所見が記載されたラベルを表示する手法も提案されている（特許文献２参照）。
特表２０１０−５０００８９号公報 特開２０１１−２０６１６８号公報
３次元画像に含まれる構造物が少ない場合には、全てのラベルが表示されても、ラベルの数も少ないため、問題なくラベルを表示することができる。しかしながら、人体の胸部あるいは胸腹部というような広範囲を対象とする３次元画像に含まれる各種構造物の全てにラベルを付与した場合、３次元画像を表示すると表示画面上に全てのラベルを表示できなくなる場合がある。また、全てのラベルを表示した場合、臓器の外観のみが可視化され、臓器の内部が見えていない状態で臓器内の構造物に付与されたラベルを表示しても、そのラベルがいずれの構造物に付与されたものであるかが分からないため、そのラベルを表示する意味がない。この場合、３次元画像において可視化されている構造物に応じて、ラベルの表示および非表示を手動にて変更することが考えられるが、３次元画像に含まれる構造物が多い場合、ラベル数も多いため、その作業は非常に面倒である。
本発明は上記事情に鑑みなされたものであり、ユーザに負担をかけることなく、３次元画像に付与されたラベルの表示を制御できるようにすることを目的とする。
本発明による３次元画像表示装置は、複数の構造物からなる物体の３次元画像であって、物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
３次元画像をボリュームレンダリング表示する画像表示制御手段と、
ボリュームレンダリング表示される３次元画像の不透明度に基づいて、複数のラベルのうち、表示するラベルを決定するラベル表示決定手段と、
表示すると決定されたラベルを対応する構造物に付与して、ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段とを備えたことを特徴とするものである。
構造物とは、３次元画像により表される物体に含まれる各種構造物を意味し、例えば人体の３次元画像の場合、人体内部の腫瘍および各種臓器（肺、肝臓、心臓、脾臓、膵臓等）等の特定の領域を構成する構造物のみならず、腫瘍の中心位置、血管分岐点および各種臓器の中心点等の特定の位置をも構造物として含むものとする。
なお、本発明による３次元画像表示装置においては、ラベル表示決定手段を、３次元画像において、不透明度によって不透明となる位置と、ラベルが付与された構造物との距離が特定の値以下の場合に、特定の値以下となる構造物に付与されたラベルを表示すると決定する手段としてもよい。
また、本発明による３次元画像表示装置においては、ラベル表示制御手段を、表示すると決定されたラベルが複数の構造物に付与されたものである場合、構造物毎にラベルを表示する位置を制御する手段としてもよい。
また、本発明による３次元画像表示装置においては、ラベル表示制御手段を、同一のラベルを表示する構造物が複数の部分に分断されて、ボリュームレンダリング表示される３次元画像に存在する場合、特定面積以上となる部分にのみラベルを付与して表示する手段としてもよい。
また、本発明による３次元画像表示装置においては、ラベル表示制御手段を、同一のラベルを表示する構造物が複数の部分に分断されて、ボリュームレンダリング表示される３次元画像に存在する場合、最大面積となる部分にのみラベルを付与して表示する手段としてもよい。
また、本発明による３次元画像表示装置においては、３次元画像にラベルを付与するラベル付与手段をさらに備えるものとしてもよい。
本発明による３次元画像表示方法は、複数の構造物からなる物体の３次元画像であって、物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
３次元画像をボリュームレンダリング表示し、
ボリュームレンダリング表示される３次元画像の不透明度に基づいて、複数のラベルのうち、表示するラベルを決定し、
表示すると決定されたラベルを対応する構造物に付与して、ボリュームレンダリング表示される３次元画像とともに表示することを特徴とするものである。
なお、本発明による３次元画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、３次元画像をボリュームレンダリング表示するに際し、ボリュームレンダリング表示される３次元画像の不透明度に基づいて、複数のラベルのうちの表示するラベルが決定され、表示すると決定されたラベルが対応する構造物に付与されて、３次元画像とともに表示される。このため、ユーザは何ら作業を行わなくても、３次元画像に付与されたラベルの表示を制御することができ、これにより、ラベル表示に際してのユーザの負担を軽減することができる。
本発明の実施形態による３次元画像表示装置の構成を示す概略ブロック図 表示するラベルの決定の処理を説明するための図 本実施形態において行われる処理を示すフローチャート ＶＲ画像にラベルが表示された状態を示す図 図４に示すＶＲ画像において体表の不透明度を変更した状態を示す図 図５に示すＶＲ画像において右上葉の不透明度を変更した状態を示す図 図６に示すＶＲ画像において視線を変更した状態を示す図 図７に示すＶＲ画像において視線を変更した状態を示す図
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による３次元画像表示装置の構成を示す概略ブロック図である。なお、図１に示す３次元画像表示装置１の構成は、補助記憶装置に読み込まれた３次元画像表示プログラムをコンピュータ上で実行することにより実現される。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
本実施形態による３次元画像表示装置１は、画像取得部１０、記憶部１２、構造物抽出部１４、ラベル付与部１６、画像表示制御部１８、ラベル表示決定部２０、ラベル表示制御部２２、入力部２４および表示部２６を備える。
画像取得部１０は、マルチスライスＣＴ装置またはＭＲＩ装置等のモダリティ２において、被写体の胸部を撮影して得られた３次元画像Ｖ０を取得する、通信インターフェースの機能を有する。なお、本実施形態においては、モダリティ２はマルチスライスＣＴ装置であるものとする。３次元画像群Ｖ０はＬＡＮ経由でモダリティ２から送信される。
ここで、３次元画像Ｖ０は、診断対象となる胸部を断層面に垂直な方向に沿って順に得られる２次元の断層画像を積層することによって取得されるものであり、本実施形態においては、モダリティ２において撮影された複数の断層画像を重ね合わせることにより生成される。なお、ＣＴ装置を用いて取得した３次元画像は、３次元空間上での格子点を構成するボクセル（すなわち画素位置）毎にＸ線の吸収量を蓄えたデータとなり、各画素位置に対して１つの信号値（ＣＴ装置で撮影した場合は、Ｘ線の吸収量を示す値）が与えられたデータとなる。
なお、３次元画像Ｖ０には、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報が付加される。付帯情報は、例えば、３次元画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、画像情報毎に割り振られるユニークなＩＤ（ＵＩＤ）、その画像情報が生成された検査日、検査時刻、その画像情報を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位、本実施形態においては胸部）、撮影条件（造影剤の使用有無や、放射線量等）、１回の検査で複数の画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれうる。
記憶部１２は、ハードディスク等の大容量の記憶装置であり、３次元画像Ｖ０が記憶される。
構造物抽出部１４は、胸部の３次元画像Ｖ０から、人体の体表領域、肺領域、気管支および肺結節を構造部として抽出する。体表領域については、３次元画像Ｖ０の各画素位置の信号値（すなわちＣＴ値）に対して、体表と見なせる信号値の範囲を推定し、この値を用いてしきい値処理を行うことにより抽出する。肺領域については、肺野は空気が存在する領域であるため、３次元画像Ｖ０の各画素位置の信号値をヒストグラム化し、肺領域をしきい値処理することにより抽出する方法、肺領域を表すシード点に基づく領域拡張法等、任意の手法を用いることができる。そして、肺領域の抽出後、肺領域を右上葉、右中葉、右下葉、左上葉および左下葉の５葉に分離する。この分離は、抽出された肺野を表示部２６に表示し、ユーザが入力部２４から手動で葉間膜をトレースすることにより行ってもよく、「胸部Ｘ線ＣＴ画像における葉間裂抽出とその重粒子線治療評価への応用, 佐藤 善隆 他,MEDICAL IMAGING TECHNOLOGY Vol.22 No.5 November 2004」等に記載された、自動で葉間膜を抽出する手法を用いてもよい。なお、肺領域を分離する手法はこの手法に限定されるものではなく、任意の手法を用いることができる。
気管支を抽出する手法としては、領域拡張法により気管支領域内の画素の集合を抽出し、抽出された気管支領域に対して細線化処理を行い、得られた気管支を表す細線の連結関係に基づいて細線上の各画素を端点、エッジ（辺）および分岐点に分類することによって、気管支を表す木構造データを得る手法を用いることができる。また、「マルチスライスＣＴ画像を用いた気管支抽出アルゴリズム, 河村 奈美他, 電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス 105(221), 11-14, 2005-07-22」等に記載されたように、自動で気管支を抽出する手法を用いてもよい。
また、本実施形態においては、抽出した気管支における分岐毎に解剖学的命名を行う。この場合、ユーザが手動で命名を行ってもよく、「A method for automated nomenclature of bronchial branches extracted from CT images, Kensaku Mori et. al., Volume 1281, May 2005, Pages 86-91, CARS 2005」等に記載されたように、自動で命名する手法を用いてもよい。これにより、気管支には、左右の気管支のそれぞれに対して、肺尖枝（Ｂ１）、後上葉枝（Ｂ２）、前上葉枝（Ｂ３）… 後肺底枝（Ｂ１０）の命名がなされる。
肺結節を抽出する手法としては、「Interactive Segmentation of Lung Nodules using AdaBoost and Graph Cuts, Yuanzhong Li et. al., P125, Fourth International Workshop on Pulmonary Image Analysis.」および「Automated lung nodule detection and segmentation, Christian Schneider et. al., Medical Imaging 2009, Proc. of SPIE Vol. 7260」等に記載された手法を用いてもよく、ユーザが入力部２４を用いて手動で肺結節を抽出してもよい。
ラベル付与部１６は、ユーザの入力部２４からの入力により、抽出した構造物に対してラベルを付与する。ラベルの内容としては、解剖学的な名称の他、腫瘍等の場合にはそれに対する所見であってもよい。また、腫瘍等の場所を示す矢印であってもよい。具体的には、体表領域に対しては「皮膚」という文字列のラベルを、肺領域の５葉の領域にはそれぞれ「右上葉」、「右中葉」、「右下葉」、「左上葉」および「左下葉」の文字列のラベルを、気管支の領域には「気管支」という文字列のラベルを付与する。また、本実施形態においては、気管支の解剖学的命名がなされているため、気管支には「Ｂ１」〜「Ｂ１０」の解剖学的名称のラベルを付与する。肺結節の領域には、例えば「１０ｍｍ大のソリッド陰影」というように所見のラベルを付与する。
なお、ラベルの付与とは、３次元画像Ｖ０における抽出した構造物に属する複数の画素とラベルの文字列とを対応づけることを意味する。これにより、抽出した構造物に含まれるいずれかの画素を指定すればそのラベルを参照でき、逆にラベルを指定すればそのラベルが付与された構造物を参照できることとなる。ラベルが付与された３次元画像Ｖ０は、記憶部１２に記憶される。
画像表示制御部１８は、３次元画像Ｖ０をボリュームレンダリング法を用いてボリュームレンダリング（ＶＲ）表示する。すなわち、３次元画像Ｖ０に対して投影面から仮想的な光線を照射し、３次元画像Ｖ０の各信号値に対応した色（Ｒ，Ｇ，Ｂ）および不透明度（オパシティ）に基づいて、物体内部からの仮想的な反射光による３次元画像を作成し、この３次元画像から投影面に物体内部の３次元構造を透視する投影画像を生成して、これをＶＲ画像として表示する。なお、色および不透明度は所定のカラーテンプレートに定義されており、３次元画像Ｖ０の各画素位置の信号値は、所定のカラーテンプレートに応じて設定された色および不透明度に基づいて、アルファブレンディング法により、投影画像の画素値に変換される。なお、ボリュームレンダリング（ＶＲ）表示中において、ユーザによるカラーテンプレートの変更の指示、あるいは体表から内部へ向かって不透明度を変更して胸部の内部の構造物を徐々に表示する指示がなされると、画像表示制御部１８は、カラーテンプレートにより設定される色および不透明度、あるいは指定された不透明度に基づいて、３次元画像Ｖ０のＶＲ表示の態様を変更する。
ラベル表示決定部２０は、ＶＲ表示される３次元画像Ｖ０の不透明度に基づいて、３次元画像Ｖ０に付与された複数のラベルのうち、ＶＲ表示される３次元画像（以下ＶＲ画像とする）とともに表示するラベルを決定する。以下、表示するラベルの決定の処理について説明する。
本実施形態においては、ＶＲ表示を行うに際し、アルファブレンディング法により、そのＶＲ画像の各画素の色が決定される。すなわち、投影面上の画素に対して、光線により表される光線ベクトル上に存在する３次元画像Ｖ０内の信号値と、その信号値に対応する不透明度の値をアルファブレンディングしながら、その光線の光が減衰して０になる位置、すなわち、何らかの物体の表面まで光線が進められる。ラベル表示決定部２０は、３次元画像Ｖ０上における物体の表面となる画素をＰｉｊとし、３次元画像Ｖ０の光線ベクトル上において、ある画素Ｐｉｊとラベルが付与されている全ての構造物内の画素Ｌｉとの距離を算出する。そして、構造物毎に、構造物内において画素Ｐｉｊとの距離が最小となる画素Ｌｉ＿ｍｉｎを求め、この最小となる点Ｌｉ＿ｍｉｎについて、算出した画素Ｐｉｊとの距離Ｄｍｉｎをしきい値Ｔｈ１（例えば１ｃｍ）と比較する。そして、距離Ｄｍｉｎがしきい値Ｔｈ１以下の場合、その構造物Ｌｉに対してラベルを表示することとする。
図２は表示するラベルの決定の処理を説明するための図である。なお、図２においては説明のために画像を２次元にて示している。図２に示すように物体の表面の点Ｐｉｊを通る光線ベクトルＶｅ上に、ラベルが付与された構造物Ｌ１，Ｌ２がこの順序で存在するものとする。そして、光線ベクトルＶｅ上において、表面の画素Ｐｉｊから構造物Ｌ１までの距離がしきい値Ｔｈ１以下であり、構造物Ｌ２までの距離がしきい値Ｔｈ１を超える場合、構造物Ｌ１に付与されたラベルを表示するラベルに決定する。
上記の処理を投影面上における物体の表面となる全ての画素（ｘ，ｙ）に対して行うことにより、投影面上にラベルを表示するか否かを定義したラベルマップを作成する。このラベルマップは、投影面上の画素（ｘ，ｙ）のそれぞれに対して、ラベルを表示する場合は１、そうでない場合は０を示すものとすることが好ましい。そしてラベルマップにおいて、１の値を示す画素に対して連結成分処理を行い、１の値を示す画素からなる連結成分を生成する。そして個々の連結成分毎に画素数をカウントし、画素数がしきい値Ｔｈ２（例えば１００個）以上の場合に、その連結成分からなる領域に、その連結成分に対応する構造物に付与されたラベルを表示することに決定する。
ラベル表示制御部２２は、ラベルを表示すると決定した連結成分に対して、その連結成分に対応する構造物に付与されたラベルを、表示中のＶＲ画像に重ね合わせて表示する。ラベルの表示位置は、そのラベルを表示する連結成分の領域のいずれの位置であってもよいが、その連結成分の重心位置がその連結成分内に存在する場合にはその位置に、重心位置がその連結成分内に存在しない場合には、その重心位置に最も近い連結成分の領域内の位置にラベルを表示する。ラベルは、表示位置にそのまま表示してもよいが、表示位置から参照線を引いて表示することが好ましい。また、複数のラベルを表示することとなる場合、ＶＲ画像の中心（すなわち投影面の中心）から放射状に広がる範囲において表示することが好ましい。
なお、複数のラベルを表示する場合、ラベルの表示位置が重なる場合がある。この場合、連結成分の面積が大きい方の表示位置を、ラベルが重ならない位置まで移動させることにより、全てのラベルが同時に確認できるようにラベルの表示を制御する。
入力部２４は、キーボードおよびマウス等の公知の入力装置からなる。
表示部２６は、液晶、ＣＲＴ等の公知の表示装置からなる。
次いで、本実施形態において行われる処理について説明する。図３は本実施形態において行われる処理を示すフローチャートである。なお、３次元画像Ｖ０は、画像取得部１０により取得され、ラベル付与部１６によりラベルが付与された後に、記憶部１２に記憶されているものとする。また、ここではまず体表を表示した後に、体表の不透明度を変更して、順次体表の内部の構造物をＶＲ表示する場合について説明する。ユーザが入力部２４を操作することにより、画像表示制御部１８が、３次元画像Ｖ０について、ユーザが指定した構造物が投影されたＶＲ画像を表示部２６に表示する（ステップＳＴ１）。そして、ラベル表示決定部２０が、上述したようにラベルマップを生成し、さらに連結成分処理を行うことにより表示するラベルを決定し（ステップＳＴ２）、ラベル表示制御部２２がＶＲ画像にラベルを表示する（ステップＳＴ３）。
図４はＶＲ画像にラベルが表示された状態を示す図である。まず、最初の段階においては、体表が不透明とされてＶＲ画像が表示されるため、図４に示すように、体表の重心位置から引き出し線が引き出されて「皮膚」のラベルが表示される。この際、体表はＶＲ画像の略全面に投影されることから、ＶＲ画像の略中心位置から引き出し線が引き出されてラベルが表示される。なお、体表が不透明とされている場合、内部の臓器は可視化されない。
この状態において、不透明度または視線の変更の指示がなされたか否かが判定され（ステップＳＴ４）、ステップＳＴ４が肯定されると、ステップＳＴ２の処理に戻り、ステップＳＴ２、ステップＳＴ３の処理を繰り返す。ここで、図２に示す状態から、体表の不透明度を徐々に下げる指示がユーザによりなされたとすると、ＶＲ画像において体表が半透明から徐々に透明となり、投影面上の光線が体表を通過し、肺領域および気管支の表面に進むため、肺領域および気管支が投影面上に投影されたＶＲ画像が表示される。また、本実施形態においては、肺領域の５葉のそれぞれ、および気管支にラベルが付与されており、肺領域および気管支の表面がＶＲ画像として表示されることから、図５に示すように、肺領域を構成する５葉のそれぞれおよび気管支にラベルが付与される。なお、ラベルは、５葉のそれぞれおよび気管支の重心位置から、ＶＲ画像の中心を基準として放射状に引き出し線が引き出されて表示されることとなる。
さらに、ユーザからの指示により、右上葉の不透明度を透明にする指示がなされると、右上葉については表示される部分が無くなることから、右上葉により隠れていた気管支の分岐を含むＶＲ画像が表示される。この場合、図６に示すように、右上葉についてはラベルは表示されず、ＶＲ表示されることとなった気管支に付与された解剖学的命名Ｂ１〜Ｂ３のラベルおよび気管支に見つかった肺結節に付与された所見のラベルが表示される。
図６に示す状態から、視線を変更することにより投影面を回転させて、肺領域のやや上方から肺領域を観察するようなＶＲ画像を表示すると、左下葉が気管支により２つの領域に分割される。この場合、ラベルマップにおいて、左下葉に対応する連結成分（１の値を有する）の大きさを比較し、大きい方の領域には、その重心位置にラベルを付与し、小さい方の領域には、その重心位置に半透明のラベルを付与する。この状態を図７に示す。図７においては、半透明となるラベルについてはその周囲を破線にて示している。なお、小さい方の領域にラベルを付与せず、大きい方の領域にのみラベルを付与するようにしてもよい。
さらに図７に示す状態から視線を変更した状態を図８に示す。図８においては、右中葉の領域が含まれないものとなっている。このため、右中葉のラベルは表示されないこととなる。
フローチャートに戻り、ステップＳＴ４が否定されると、終了指示がなされたか否かが判定され（ステップＳＴ５）、ステップＳＴ５が否定されるとステップＳＴ４の処理に戻る。ステップＳＴ５が肯定されると処理を終了する。
このように、本実施形態においては、３次元画像Ｖ０をＶＲ表示するに際し、不透明度に基づいて、複数のラベルのうちの表示するラベルを決定し、表示すると決定されたラベルを対応する構造物に付与して３次元画像Ｖ０とともにＶＲ表示するようにしたものである。このため、ユーザは何ら作業を行わなくても、３次元画像Ｖ０に付与されたラベルの表示を制御することができ、これにより、ラベル表示に際してのユーザの負担を軽減することができる。
なお、上記実施形態において、さらに肺動脈、肺静脈、肋骨および脊椎等を抽出し、これらにラベルを付与するようにしてもよい。この場合においても上記と同様に表示するラベルを決定してＶＲ画像に重畳させて表示すればよい。
また、上記実施形態においては、肺領域のＶＲ画像を表示する場合の処理について説明しているが、心臓を抽出して心臓領域のＶＲ画像を表示する場合にも本発明を適用することができることはもちろんである。また、腹部の３次元画像Ｖ０のＶＲ画像を表示する場合においても、本発明を適用することができる。腹部の場合、例えば、対象を肝臓領域とし、３次元画像Ｖ０から肝臓領域、肝動脈、肝静脈、門脈および腫瘍を抽出し、それぞれにラベルを付与し、ＶＲ画像の表示時に、表示される構造物の不透明度に基づいて表示するラベルを決定すればよい。
ここで、心臓領域は、３次元画像Ｖ０における心臓が存在する信号値の範囲を推定し、その値を用いてしきい値処理を行を行うことにより抽出すればよい。
また、肝臓領域の抽出には、３次元画像Ｖ０における肝臓が存在するＣＴ値の範囲を推定し、その値を用いてしきい値処理を行い、これにより抽出された領域に、モフォロジーフィルタを適用する手法、「“非剛体レジストレーションを適用した多時相腹部造影ＣＴ画像からの肝臓領域自動抽出法“、コンピュータ支援画像診断学会論文誌、Vol.7, No.4-1, Jun. 2003.」に記載されたように、時系列で撮影された複数の肝臓フェーズ画像を用いて、肝臓領域の造影パターンを検出し、それを用いて肝臓領域を抽出する手法、「“A Liver Level Set (LLS) Algorithm for Extracting Liver’s Volume Containing Disconnected Regions Automatically”, IJCSNS International Journal of Computer Science and Network Security, VOL.8 No.12, December 2008」および「”Level set methodを用いた肝臓領域抽出方法の開発と評価”、コンピュータ支援診断学会論文誌、Vol.7, No.4-2, Jun. 2003」に記載されたレベルセット法等を用いることができる。なお、肝臓領域を抽出する手法は、これらの手法に限定されるものではなく、任意の手法を用いることができる。
肝動脈、肝静脈および門脈（以下、単に血管と称する場合があるものとする）を抽出する手法としては、例えば特開２０１０−２２０７４２号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報と主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法、特開２０１１−２１２３１４号公報に記載された、自動で血管を区別して抽出する手法を用いることができる。
また、血管を抽出する手法として、第１および第２の線状構造物のそれぞれ１つの起始部から分岐を繰り返しながら離れる方向に広がって延びるという特徴に基づいて、各ノード毎に、各ノードに接続可能な複数のノード間を結ぶ複数のエッジについて接続しやすさを表すコストを重みづけするコスト関数により、第１の木構造の根ノードに対応する第１の根ノードおよび第２の木構造の根ノードに対応する第２の根ノードのそれぞれから各ノードを接続して木構造を作成する手法を用いることができる。この手法において、第１および第２の線状構造物を、肝臓内の肝動脈および肝静脈とすることにより、肝動脈および肝静脈を区別して抽出できる。また、この手法において、第１および第２の線状構造物を門脈および肝動脈または肝静脈とすることにより、門脈および肝動脈または肝静脈を区別して抽出できる。なお、この手法において、起始部は、任意の方法により特定したものであってもよく、起始部に基づいて周知の方法により起始部に対応する根ノードを特定してよい。例えば、表示された画像上でマウス等の入力装置により起始部を指定してもよく、起始部が既知である所定の構造物を表す複数の教師データを機械学習することにより、起始部を検出する起始部検出部をさらに備えるものとし、この起始部検出部により検出してもよい。なお、教師データを機械学習して根ノードを抽出する周知の種々の方法を用いることができ、例えば、アダブースト(Adaboost)法により教師データにおいて既知である起始部の特徴量に基づいて起始部を検出することが考えられる。
また、腫瘍については、「“Liver tumors segmentation from CTA images using voxels classification and affinity constraint propagation”, Int J CARS, 2010」に記載された、Voxel Classificationを利用した手法等を用いることができる。なお、肝動脈、肝静脈、門脈および腫瘍を抽出する手法は、これらの手法に限定されるものではなく、任意の手法を用いることができる。
また、上記実施形態においては、文字列を含むラベルを表示しているが、腫瘍の位置を示す矢印のみをラベルとして表示するようにしてもよい。
また、上記実施形態においては、人体の３次元画像にラベルを付与した場合のラベルの表示について説明しているが、地質学の地形データの３次元画像にラベルを付与した場合、気象データにおける雲の３次元画像にラベルを付与した場合、非破壊検査における各種部品の３次元画像にラベルを付与した場合等にも本発明を適用できることはもちろんである。
１ ３次元画像表示装置
２ モダリティ
１０ 画像取得部
１２ 記憶部
１４ 構造物抽出部
１６ ラベル付与決定部
１８ 画像表示制御部
２０ ラベル表示決定部
２２ ラベル表示制御部
２４ 入力部
２６ 表示部

Claims (12)

  1. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
    前記３次元画像をボリュームレンダリング表示する画像表示制御手段と、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するラベル表示決定手段であって、前記３次元画像における視線方向において、前記不透明度によって不透明となる前記３次元画像上の位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定するラベル表示決定手段と、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段とを備えたことを特徴とする３次元画像表示装置。
  2. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
    前記３次元画像をボリュームレンダリング表示する画像表示制御手段と、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するラベル表示決定手段と、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段であって、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、特定面積以上となる部分にのみ前記ラベルを付与して表示するラベル表示制御手段とを備えたことを特徴とする３次元画像表示装置。
  3. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
    前記３次元画像をボリュームレンダリング表示する画像表示制御手段と、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するラベル表示決定手段と、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段であって、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、最大面積となる部分にのみ前記ラベルを付与して表示するラベル表示制御手段とを備えたことを特徴とする３次元画像表示装置。
  4. 前記ラベル表示決定手段は、前記３次元画像において、前記不透明度によって不透明となる位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定する手段であることを特徴とする請求項２または３記載の３次元画像表示装置。
  5. 前記ラベル表示制御手段は、前記表示すると決定されたラベルが複数の前記構造物に付与されたものである場合、前記構造物毎に前記ラベルを表示する位置を制御する手段であることを特徴とする請求項１から４のいずれか１項記載の３次元画像表示装置。
  6. 前記３次元画像にラベルを付与するラベル付与手段をさらに備えたことを特徴とする請求項１から５のいずれか１項記載の３次元画像表示装置。
  7. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
    前記３次元画像をボリュームレンダリング表示し、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するに際し、前記３次元画像における視線方向において、前記不透明度によって不透明となる前記３次元画像上の位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定し、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示することを特徴とする３次元画像表示方法。
  8. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
    前記３次元画像をボリュームレンダリング表示し、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定し、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、特定面積以上となる部分にのみ前記ラベルを付与して表示することを特徴とする３次元画像表示方法。
  9. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
    前記３次元画像をボリュームレンダリング表示し、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定し、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、最大面積となる部分にのみ前記ラベルを付与して表示することを特徴とする３次元画像表示方法。
  10. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法をコンピュータに実行させるためのプログラムであって、
    前記３次元画像をボリュームレンダリング表示する手順と、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するに際し、前記３次元画像における視線方向において、前記不透明度によって不透明となる前記３次元画像上の位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定する手順と、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示する手順とをコンピュータに実行させることを特徴とするプログラム。
  11. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法をコンピュータに実行させるためのプログラムであって、
    前記３次元画像をボリュームレンダリング表示する手順と、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定する手順と、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、特定面積以上となる部分にのみ前記ラベルを付与して表示する手順とをコンピュータに実行させることを特徴とするプログラム。
  12. 複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法をコンピュータに実行させるためのプログラムであって、
    前記３次元画像をボリュームレンダリング表示する手順と、
    前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定する手順と、
    前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、最大面積となる部分にのみ前記ラベルを付与して表示する手順とをコンピュータに実行させることを特徴とするプログラム。
JP2012201581A 2012-09-13 2012-09-13 ３次元画像表示装置および方法並びにプログラム Active JP6080249B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2012201581A JP6080249B2 (ja) 2012-09-13 2012-09-13 ３次元画像表示装置および方法並びにプログラム
BR112015005240A BR112015005240A2 (pt) 2012-09-13 2013-09-09 aparelho de exibição de imagem tridimensional, método e programa
PCT/JP2013/005328 WO2014041791A1 (ja) 2012-09-13 2013-09-09 ３次元画像表示装置および方法並びにプログラム
CN201380047366.8A CN104619258A (zh) 2012-09-13 2013-09-09 三维图像显示装置、方法及程序
CA2884679A CA2884679A1 (en) 2012-09-13 2013-09-09 Three-dimensional image display apparatus, method, and program
AU2013317201A AU2013317201A1 (en) 2012-09-13 2013-09-09 Device and method for displaying three-dimensional image, and program
EP13837633.0A EP2896368A4 (en) 2012-09-13 2013-09-09 THREE DIMENSIONAL IMAGE DISPLAY DEVICE AND METHOD, AND PROGRAM
US14/644,386 US9495794B2 (en) 2012-09-13 2015-03-11 Three-dimensional image display apparatus, method, and program
IN2504DEN2015 IN2015DN02504A (ja) 2012-09-13 2015-03-27

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012201581A JP6080249B2 (ja) 2012-09-13 2012-09-13 ３次元画像表示装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2014054428A JP2014054428A (ja) 2014-03-27
JP6080249B2 true JP6080249B2 (ja) 2017-02-15

Family

ID=50277933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012201581A Active JP6080249B2 (ja) 2012-09-13 2012-09-13 ３次元画像表示装置および方法並びにプログラム

Country Status (9)

Country Link
US (1) US9495794B2 (ja)
EP (1) EP2896368A4 (ja)
JP (1) JP6080249B2 (ja)
CN (1) CN104619258A (ja)
AU (1) AU2013317201A1 (ja)
BR (1) BR112015005240A2 (ja)
CA (1) CA2884679A1 (ja)
IN (1) IN2015DN02504A (ja)
WO (1) WO2014041791A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6134986B2 (ja) * 2014-09-01 2017-05-31 富士フイルム株式会社 医用画像計測装置およびその作動方法並びに医用画像計測プログラム
WO2016181550A1 (ja) * 2015-05-14 2016-11-17 オリンパス株式会社 画像処理装置
JP6827706B2 (ja) * 2015-09-09 2021-02-10 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
DE112016003687T5 (de) 2015-09-09 2018-05-03 Fujifilm Corporation Zuordnungsbild-anzeigesteuervorrichtung, -verfahren und -programm
JP6396597B2 (ja) * 2015-09-09 2018-09-26 富士フイルム株式会社 マッピング画像表示制御装置および方法並びにプログラム
JP6496698B2 (ja) 2015-10-30 2019-04-03 株式会社Ａｚｅ 医用画像処理装置、その制御方法、及びプログラム
CN114822783A (zh) 2015-10-30 2022-07-29 佳能株式会社 医用图像处理装置及其控制方法
CN107038750A (zh) * 2016-02-03 2017-08-11 上海源胜文化传播有限公司 一种三维人体模型生成系统及其方法
US10223590B2 (en) * 2016-08-01 2019-03-05 Qualcomm Incorporated Methods and systems of performing adaptive morphology operations in video analytics
JP6702902B2 (ja) * 2017-02-24 2020-06-03 富士フイルム株式会社 マッピング画像表示制御装置および方法並びにプログラム
JP6983573B2 (ja) * 2017-08-09 2021-12-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
CN108121440A (zh) * 2017-09-30 2018-06-05 苏州美房云客软件科技股份有限公司 存储装置、计算机设备、虚拟选房系统及其标签设定方法
CN107895400A (zh) * 2017-11-09 2018-04-10 深圳赛隆文化科技有限公司 一种虚拟现实的三维小区域物体渲染模拟方法及装置
JPWO2019150717A1 (ja) * 2018-01-30 2021-01-07 富士フイルム株式会社 葉間膜表示装置、方法およびプログラム
CN108711193A (zh) * 2018-05-04 2018-10-26 北京雅森科技发展有限公司 一种显示脑部病灶区标签的方法
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
JP7034306B2 (ja) * 2018-08-31 2022-03-11 富士フイルム株式会社 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN110213640B (zh) * 2019-06-28 2021-05-14 香港乐蜜有限公司 虚拟物品的生成方法、装置及设备
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11080879B1 (en) * 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
JP7107590B2 (ja) * 2020-09-15 2022-07-27 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
CN112529976B (zh) * 2020-11-26 2024-06-07 上海商汤智能科技有限公司 目标显示方法及装置、电子设备和存储介质
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
US6411299B1 (en) * 1999-12-30 2002-06-25 Ge Medical Systems Global Technology Company, Llc Processing text for display on medical images
JP2001195610A (ja) * 2000-01-12 2001-07-19 Toshiba Corp 画像処理装置
US6904392B1 (en) * 2000-10-13 2005-06-07 Dassault Systemes Annotation management
US7277564B2 (en) * 2002-11-26 2007-10-02 Ge Medical Systems Information Technologies, Inc. Method and system for labeling of orthogonal images
JP2005148409A (ja) 2003-11-14 2005-06-09 Fuji Xerox Co Ltd 導電性トナー及びこれを用いた現像装置並びに画像形成装置
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US8548566B2 (en) * 2005-10-21 2013-10-01 Koninklijke Philips N.V. Rendering method and apparatus
US20100293505A1 (en) 2006-08-11 2010-11-18 Koninklijke Philips Electronics N.V. Anatomy-related image-context-dependent applications for efficient diagnosis
WO2010036716A1 (en) * 2008-09-23 2010-04-01 Edda Technology, Inc. Methods for interactive labeling of tubular structures in medical imaging
US8310494B2 (en) * 2008-09-30 2012-11-13 Apple Inc. Method for reducing graphics rendering failures
JP5624308B2 (ja) * 2008-11-21 2014-11-12 株式会社東芝 画像処理装置及び画像処理方法
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP4914517B2 (ja) * 2009-10-08 2012-04-11 富士フイルム株式会社 構造物検出装置および方法ならびにプログラム
US9256982B2 (en) * 2010-03-17 2016-02-09 Microsoft Technology Licensing, Llc Medical image rendering
JP5504028B2 (ja) 2010-03-29 2014-05-28 富士フイルム株式会社 観察支援システムおよび方法並びにプログラム
JP5539778B2 (ja) 2010-03-31 2014-07-02 富士フイルム株式会社 血管表示制御装置、その作動方法およびプログラム
US8625869B2 (en) * 2010-05-21 2014-01-07 Siemens Medical Solutions Usa, Inc. Visualization of medical image data with localized enhancement
CN102473322B (zh) * 2010-06-07 2014-12-24 松下电器（美国）知识产权公司 对象选择装置、对象选择程序及对象选择方法
JP5460547B2 (ja) * 2010-09-30 2014-04-02 株式会社東芝 医用画像診断装置、及び医用画像診断装置の制御プログラム
JPWO2012063653A1 (ja) * 2010-11-12 2014-05-12 株式会社日立メディコ 医用画像表示装置及び医用画像表示方法
JP5369078B2 (ja) * 2010-11-26 2013-12-18 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP6000672B2 (ja) * 2011-07-19 2016-10-05 東芝メディカルシステムズ株式会社 画像処理システム、画像保管装置及び医用画像診断装置

Also Published As

Publication number Publication date
US20150187118A1 (en) 2015-07-02
CN104619258A (zh) 2015-05-13
AU2013317201A1 (en) 2015-04-30
IN2015DN02504A (ja) 2015-09-11
EP2896368A4 (en) 2016-06-22
EP2896368A1 (en) 2015-07-22
JP2014054428A (ja) 2014-03-27
CA2884679A1 (en) 2014-03-20
BR112015005240A2 (pt) 2017-07-04
US9495794B2 (en) 2016-11-15
WO2014041791A1 (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
JP6080249B2 (ja) ３次元画像表示装置および方法並びにプログラム
JP6080248B2 (ja) ３次元画像表示装置および方法並びにプログラム
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Ritter et al. Medical image analysis
US20190021677A1 (en) Methods and systems for classification and assessment using machine learning
CN101036165B (zh) 用于树模型显像以检测肺栓塞的系统和方法
EP2856428B1 (en) Segmentation highlighter
US20070276214A1 (en) Systems and Methods for Automated Segmentation, Visualization and Analysis of Medical Images
CN107004305A (zh) 医学图像编辑
Bornik et al. Integrated computer-aided forensic case analysis, presentation, and documentation based on multimodal 3D data
JP5934071B2 (ja) 管状構造の最短経路探索装置および方法並びにプログラム
JP2022526418A (ja) 解剖学的構造の着目領域をモデリングすること
CN112862833A (zh) 血管分段方法、电子装置和存储介质
EP2638525A1 (en) Identifying individual sub-regions of the cardiovascular system for calcium scoring
US12051156B2 (en) System and method for linking a segmentation graph to volumetric data
Ropinski et al. Multimodal vessel visualization of mouse aorta PET/CT scans
Chi et al. Stenosis detection and quantification on cardiac CTCA using panoramic MIP of coronary arteries
CN115330732A (zh) 一种确定胰腺癌的方法及装置
CN111563877B (zh) 一种医学影像的生成方法及装置、显示方法及存储介质
Krass et al. Computer-assisted image-based risk analysis and planning in lung surgery-a review
US20190122445A1 (en) Panoramic visualization of coronary arterial tree
Viola et al. Illustrated Ultrasound for Multimodal Data Interpretation of Liver Examinations.
Pant et al. Enhancing Liver Biopsy Simulations: 3D Model Development, Endoscopic Imaging, and Needle Tracking
Schaap et al. On the Evaluation of Coronary Artery Centerline Extraction Algorithms: A Standardized Methodology and Reference Database

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170113

R150 Certificate of patent or registration of utility model

Ref document number: 6080249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250