JP6250086B2 - 画像表示アプリケーションおよび配向感知可能な表示装置のための方法 - Google Patents

画像表示アプリケーションおよび配向感知可能な表示装置のための方法 Download PDF

Info

Publication number
JP6250086B2
JP6250086B2 JP2016059692A JP2016059692A JP6250086B2 JP 6250086 B2 JP6250086 B2 JP 6250086B2 JP 2016059692 A JP2016059692 A JP 2016059692A JP 2016059692 A JP2016059692 A JP 2016059692A JP 6250086 B2 JP6250086 B2 JP 6250086B2
Authority
JP
Japan
Prior art keywords
display device
image
orientation
display
landmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016059692A
Other languages
English (en)
Other versions
JP2016157450A (ja
Inventor
アバーブーフ,ドリアン
Original Assignee
コビディエン エルピー
コビディエン エルピー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コビディエン エルピー, コビディエン エルピー filed Critical コビディエン エルピー
Publication of JP2016157450A publication Critical patent/JP2016157450A/ja
Application granted granted Critical
Publication of JP6250086B2 publication Critical patent/JP6250086B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Position Input By Displaying (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本出願は、2010年11月2日に出願された、「配向感知可能な表示装置用の画像表示アプリケーション」と題する米国仮出願第61/409,495号の優先権を主張し、該内容は参照により本明細書に組み込まれる。
本発明は、加速度計、ジャイロスコープ、またはスマートフォンやiPad(登録商標)など、他の位置および/若しくは配向感知技術を備える既存の装置を用いて、複雑な三次元のボリューム画像を見るための直感型アプリケーションを提供する。特に、こうした直感型装置が与える便益を医師、検査官、および技術者などに提供する。
当該アプリケーションが、限定されない種々の撮像された対象物と共に使用でき得ることを想定する。限定されないそのような例は、患者、製造物、動物、油井、火山および断層線などの地質構造、並びにコンピュータによりレンダリングされた仮説的構造物などを含む。本明細書を通して例示を決定づける明瞭さが使用される場合、患者を指す。これは、本発明が患者に対して一層適していることを示唆するものではなく、また、そのように解釈されるべきではない。
本発明の一態様は、装置の配向によってディスプレイを自動的に変更するために、表示装置の配向検知面と特定の装置に使用可能であれば位置を使用するアプリケーションを提供する。これにより、装置自体が3Dボリューム元、例えば患者を実際に調べることが可能なイリュージョンを作り出す。表示画像は、装置の配向に関係なく実存の患者と連携した状態を保つ。従って、装置が患者の上部で水平に保持されると、ディスプレイはX−Y面に配置された患者の平面図となり、そのディスプレイでは、装置がX線機器のようになる。装置が垂直に変わり、患者の側面にて保持されると、患者の側面図が表示される。好適には、装置の配向が変わるとディスプレイは持続的に変化し、患者と連携した状態を保つ。
本発明の別の態様は計画機能であり、装置は、将来参照するために、病変または目的とする他の領域などの標的を識別し、目印を付けるために効率的に使用することができる。
本発明の別の態様は、ユーザが、選択した標的に対するナビゲーション経路を計画することができるプログラムを提供する。ナビゲーション経路の計画特徴は、好適には、三次元ボリューム画像データ、または前処理された画像データの一部として分割された画像データへと読み込まれた、ありのままの空間情報に依存し、標的までの論理的で無駄の少ない経路を自動的に提供することを支援する。
さらに、本発明の別の態様は、対応する内部仮想画像オプションを提供する。ユーザは、視覚化のため、必要に応じて仮想図を選択することができる。好適には、経路特徴の一部として、フライスルーオプションも提供され、ユーザはフライスルーを行っている間、リアルタイムにディスプレイとやりとりして経路を獲得する特有の能力を有する。
従って、本発明は、配向感知可能な表示装置に画像を表示する方法であって、対象物に関する三次元ボリューム画像データを前記装置に提供することと、前記装置の位置および配向を前記対象物に記録することと、前記装置の前記位置および配向に対応する、前記データを使用して生成された画像を前記表示装置に表示することと、前記対象物に対する前記装置の位置および配向の変化に応じて新たな画像を生成することと、を含み、前記表示および生成された画像と前記対象物との前記対応が、前記装置が前記対象物を調べているという印象をユーザに与える。
前記装置の位置および配向を前記対象物に記録することは、前記対象物に少なくとも一つの目印を配置することと、前記少なくとも一つの目印に対する前記装置の位置を追跡することとを含み得る。
前記少なくとも一つの目印に対する前記装置の位置を追跡することは、前記目印の位置を突き止める光学追跡機構を使用することを含み得る。
前記少なくとも一つの目印に対する前記装置の位置を追跡することは、磁気性の測位システムを使用することを含み得る。
前記装置の位置および配向を前記対象物に記録することは、前記対象物および前記装置の位置を提供する、前記装置に組み込まれた全地球測位システムを使用することを含み得る。
本発明の好適な方法は、前記装置がさらに動いて所望の画像が変化しないように、ユーザに現在の画像を固定するオプションを与えることを含み得る。
本発明の好適な方法は、前記対象物を通る所望の道を計画するために前記ユーザにオプションを提供することも含み得る。
本発明の好適な方法は、フライスルー特徴を提供することを含み得、選択されると、前記所望の道のアニメ表示が前記道に沿った視点から表示される。
また、本発明は、対象物に関する三次元ボリューム画像データを提示する方法も提供する。該方法は、配向感知可能な表示装置を使用して前記三次元ボリューム画像データにアクセスすることと、前記装置の位置および配向を前記対象物に記録することと、前記装置の前記位置および配向に対応する、前記データを使用して生成された画像を前記表示装置に表示することと、前記対象物に対する前記装置の位置および配向の変化に応じて、持続的に新たな画像を生成することと、を含み、前記表示され生成された画像と前記対象物との前記対応が、前記装置が前記対象物を調べているという印象をユーザに与える。
前記装置の位置および配向を前記対象物に記録することは、少なくとも一つの目印を前記対象物に配置することと、前記少なくとも一つの目印に対する前記装置の位置を追跡することとを含み得る。
前記少なくとも一つの目印に対する前記装置の位置を追跡することは、前記目印の位置を突き止める光学追跡機構を使用することを含み得る。
前記少なくとも一つの目印に対する前記装置の位置を追跡することは、磁気性の測位システムを使用することを含み得る。
前記装置の位置および配向を前記対象物に記録することは、前記対象物および前記装置の位置を提供する、前記装置に組み込まれた全地球測位システムを使用することを含み得る。
好適な方法は、前記装置がさらに動いて所望の画像が変化しないように、ユーザに現在の画像を固定するオプションを与えることも含み得る。
好適な方法は、前記対象物を通る所望の道を計画するために前記ユーザにオプションを提供することも含み得る。
好適な方法は、フライスルー特徴を提供することも含み得、選択されると、前記所望の道のアニメ表現が前記道に沿った視点から表示される。
また、本発明は、対象物の内部画像を提示する際に使用するシステムを提供する。該システムは、配向感知可能な表示装置と、前記装置がアクセス可能な前記対象物に関する三次元ボリューム画像データと、前記装置の方位センサによる入力と、前記対象物の位置及び配向に対する前記装置の位置及び配向の記録データとを受信し、前記表示装置のディスプレイ上に、前記対象物に対する前記表示装置の前記位置および配向に対応する前記対象物の内部画像を生成する、前記装置により実行可能なコンピュータプログラムを備え、これにより、ユーザが前記表示装置を通して前記対象物を調べているように見える。
また、本発明のシステムの好適な実施形態は、前記表示装置の動きが感知される度に、前記対象物に対する前記表示装置の前記位置および配向に対応する前記対象物の前記内部画像をアップデートするコンピュータプログラムを含み得る。
また、本発明のシステムの好適な実施形態は、前記装置が動かされて画像が変更されないように、前記対象物の前記画像を固定するオプションを提供するコンピュータプログラムを含み得る。
また、本発明のシステムの好適な実施形態は、スライダ特徴も備え得、動かされると、前記装置に、前記表示画面の面に垂直な軸に沿った、仮説的な動きに対応する変化画像を生成させる。
また、本発明のシステムの好適な実施形態は、フライスルー特徴を含み得、選択されると、前記道に沿った視点から表示される前記所望の道のアニメ表示を生成する。
本発明のアプリケーションのスクリーンショットの一実施形態を示す。 本発明の説明に使用する内部配置を有する三次元ボリュームの簡略図である。 図2のボリュームに対する方向に保持された、本発明のアプリケーションを使用する装置を示す。 図3の装置上に見られる、本発明のアプリケーションのスクリーンショットの一実施形態である。 図2のボリュームに対し、ある向きで保持された、本発明のアプリケーションを使用する装置を示す。 図5の装置上に見られる、本発明のアプリケーションのスクリーンショットの一実施形態である。 図2のボリュームに対し、ある向きで保持された、本発明のアプリケーションを使用する装置を示す。 図7の装置上に見られる、本発明のアプリケーションのスクリーンショットの一実施形態である。 図7の装置上に見られるスライダコントロールの設定を変更した結果得られるスクリーンショットの実施形態を示す。 図7の装置上に見られるスライダコントロールの設定を変更した結果得られるスクリーンショットの実施形態を示す。 図7の装置上に見られるスライダコントロールの設定を変更した結果得られるスクリーンショットの実施形態を示す。 経路計画のために使用される、本発明のアプリケーションのスクリーンショットの一実施形態を示す。
本発明は、例えば、加速度計やジャイロスコープなどの位置感知および/または配向感知技術を組み込んだ表示装置を用いて使用するためのソフトウェアアプリケーションを提供する。限定されないそのような装置の例は、iPad(登録商標)、iPhone(登録商標)などのAPPLE(登録商標)社製の装置を含む。本明細書で記載するスクリーンショットは、本発明の概略的な概念を伝えるために使用される、限定されない単なる例示であり、本明細書で論じる幾つかの具体的な特徴は本発明の一部として主張するが、具体的な特徴がスクリーンショットに示される方法は限定を意図するものではないことを理解されたい。
図を参照し、まず図1を参照すると、本発明のアプリケーション20の一実施形態を実行する装置のスクリーンショットが示される。スクリーンショットは、画像30とユーザコントロール40,50,60,70,および80とを備える。
画像30は、例えばCT、MRI、蛍光透視法などの画像技術を用いて撮影された、三次元ボリュームの画像データのうちの二次元部分である。当業者に周知であるように、例えばCTスキャンなどの複数の二次元並行走査をデータボリュームに取り込み、編集することができる。編集されると、そのボリュームは、詳細なスキャンには一致していないが、ボリューム内容のうち幾何学的に精確な描写である二次元画像部分を作成するために使用することができる。よって、ユーザは該ボリュームを使用して、該ボリュームに含まれる実質的に任意の面の部分を見ることができる。
本発明のアプリケーションを明瞭に説明するために、三次元ボリュームの非常に簡略なモデルを図2に示す。ボリューム10は、点線として示される画像境界線12を備える。これらの線12は、撮像されたボリュームの範囲を表している。像内は、3つのブランチ15,16,および17を含む管状ネットワーク14がある。ブランチ15は円状の断面を有し、ブランチ16はダイアモンド形状の断面を有し、ブランチ17は三画状の断面を有する。こうした様々な断面は、単に明瞭さのために提供している。このような三次元ボリューム画像は周知であるが、本発明のアップリケーショは、このような画像技術を前述した配向感知可能な表示技術と結び付けて実質的なX線装置を作り出す。この大きな革新的飛躍は、一見して簡単に証明されるが、それでいて力強いユーザコントロールを与える。
コントロール40は、南京錠に似た形状であり、固定位置と非固定位置とを切り替えることができる。非固定位置の場合、示される画像30は、装置20が傾けられると持続的に変化する。以下に記載する幾つかの実施形態も、装置が横方向または縦方向に動かされると、変化する画像を提供する。明瞭にするために、本発明のアプリケーションを起動している装置の配向感知性によって、画像は装置20の傾きとともに流動的かつ持続的に変化する。画像は、直交する位置ではただ切り替わらない。
コントロール40が固定位置の場合、画像30はその状態を保つ。これは、画像が目的物を表示している場合や、最初のユーザ以外のユーザに画像を与えるなど、装置20を動かしている間に画像を維持することが望ましい場合に有益である。
コントロール50は、装置20の現在の面に直交する軸に向けて、ユーザが画像30を変えることができるスライドコントロールである。一実施形態では、画像は傾けられると自動で変化するが、装置により使用される方位センサの種類によっては、装置が、装置に対して垂直な軸に沿って持ち上げられたり持ち下げられたりすると、画像は変化しなくてもよい。スライドコントロール50によりこの変化を行うことができる。装置20は、例えば、装置が垂直軸に沿って動かされると自動的にこの特徴を発生させ得るジャイロスコープ技術を備える。しかし、それでもスライドコントロール50は好適であり得る。例えば、一実施形態では、コントロール40が固定位置であってもスライドを使用することができる。これにより、ユーザはテーブルに装置20をセットし、装置を動かすことなく対象物を介して「上下に」スクロールすることができる。
コントロール60は、ランドマーク/中間地点マーキング特徴である。コントロール60により、ユーザは特徴を確認するために画像20に、目印を付けることができる。コントロール60は、ディスプレイの中央に位置する十字線90と共に使用される。好適には、ディスプレイはタッチスクリーンである。そのようなものとして、ディスプレイを横切るように、単に指をスライドさせることにより画像30に対して十字線90を移動させることができる。一実施形態では、十字線90は、ディスプレイ上のどこにでも配置されてよい。別の形態では、十字線がディスプレイの中央に位置したまま、十字線の「下」辺りで画像が動かされてよい。いずれの方法でも、十字線90が画像30上の目的位置に配置されると、その位置にランドマークを配置するためにコントロール60が押下されてよい。
コントロール70は、ランドマーク/中間地点削除特徴である。コントロール70は、以前に目印した位置を簡単に削除したり、目印を解除する。一実施形態では、コントロール70は、一度目の押下で最終位置を、二度目の押下で最終位置を削除することなどにより機能する。別の実施形態では、十字線90が既存のランドマークに配置されており、ボタン70をタッチするとランドマークを任意の順に削除することができる。
コントロール80は、フライスルー特徴である。コントロール80をタッチして(以下で説明するように)標的までの経路が計画されると、画像30が三次元ボリュームの仮想モデルに変わる。従って、ディスプレイは、(例えば血管または気管支のボリューム画像の場合)、論理的な開始点から標的まで、肺を飛び回る経験をユーザに提供する現実的な透視図を表示する。この特徴は、医師が内視鏡を覗いているかのような予想図を医師に提供し得る。好適な実施形態では、鳥のグラフィックがボタンから画像30の開始点に飛び、下方に急降下し、そして画像が仮想画像に変換される。これにより、ユーザは旅の始まりを正確に理解する。
本明細書で論じるコントロールは単に例示の組み合わせであり、アプリケーションの使用によって変更されてよいことを理解されたい。例えば、消火性能において使用されるアプリケーションには、消防士に建造物の仮想リアルタイム三次元マップを提供することが想定され、それにより、消防士が煙の立ち込めた環境にいても消防士がどこにいるか、手掛かりとなるディスプレイを消防士に提供する。そのようなアプリケーションにおいて、様々な通信コントロールが提供され得、消防士は可聴式の通信機器に頼るのではなく、ボタンをタッチして外部のユーザと通信することができる。そのようなアプリケーションは、もう一つの装置と連携するという利益も得られ、建物の外にいる監視者が、建物の中にいるユーザと同じ画像30を見ることができる。
図3乃至図8は、図2に示すボリューム10を様々な角度から見た場合に、ユーザがディスプレイ20で視認し得る例示を提供する。まず、図3および図4を参照すると、ボリューム10に対するディスプレイ20の位置が図3に示される。ディスプレイ20は、ボリューム10の上部で水平方向に保持されていることが理解できる。図4は、図3の方向で保持された場合に得られる画像30を示す。画像30は、管状ネットワーク14を通る水平断面図であることが理解できる。
図5において、ディスプレイは縦方向に沿って僅かに傾けられている。図6は、結果得られる画像30を示す。
図7において、もはやディスプレイは垂直に配向されたようにさらに傾けられている。図8は、結果得られる画像30を示す。
図9乃至図11はスライダコントロール50の使用を示す。図7に示すディスプレイ20に関係する配向をさらに用いており、図9は、スライダが最も左位置にある場合に得られる画像30を示す。それにより得られる画像30は、ディスプレイに最も近い位置に配置される。図10は、右に動かされたスライダを示し、図11は、さらに右に動かされたスライダを示す。
先述したように、スライダ50の代替案は一実施形態であり、従って、装置20とボリューム(対象物)10の相対位置はモニタされるか、または何等かの方法で説明される。すなわち、装置20は、ボリュームまたは対象物10に記録される。記録を達成する方法の一つは、ボリューム10に一または複数のセンサまたは目印を用いることである。装置20は、光学装置または磁気性の測位システムを用いてセンサまたは目印に対する自装置の位置を追跡し得る。別の方法として、地理学的ボリュームまたは建造物などボリュームが大きい場合、全地球測位システムが使用され得る。装置20が精密なジャイロ技術を使用して、装置20がボリューム10に記録されると、装置20のジャイロ能力によりボリューム10に関する装置20の相対位置を持続的に追跡することも可能である。悪化したエラーが蓄積されるのを防ぐため、周期的に記録し直すことが望ましいことが想定される。
また、本発明は経路計画特徴を備える。次に図12を参照すると、仮説の、簡略な患者の肺の画像30のディスプレイが示されている。医師は病変110を確認し、十字線90が病変の中心に位置するように、十字線90に対して画像を動かしている。好ましくは、医師は、十字線90がほぼ病変110の体積の中心にあるように、幾つか異なる角度に装置20を傾けている。
次に、医師は画像30を固定するためコントロール40をタッチする。好適な位置で十字線90を使用し、医師は追加用の中間地点/ランドマーク・コントロール60をタッチする。医師が十字線90の位置を気に入らなければ、削除コントロール50を使用すればよい。
次に、医師は気道に第2位置120をマークする。一実施形態では、これは十字線が所望の位置120上に位置付けられるまで、タッチスクリーンを使用して画像をスライドさせることにより達成される。固定40が有効なので、装置20とボリューム(図12では不図示)の相対位置が変化しても画像は変化しない。しかし、画像は十字線90に対して動かされ得る。別の実施形態では、十字線90はディスプレイ20上の任意の場所に再配置され得る。第2位置120が満足されると、次に医師は追加コントロール60を再度タッチするが、第2位置120がマークされるだけでなく、アルゴリズムが処置侵入地点までの経路の全ての道を、本例では気管130を自動的に照らし出す。これと同様の経路計画が鉱山救出や消火など他のアプリケーションで使用することができることが理解される。
本発明の一態様は、光学式読取装置などのスキャン技術を使用して、無線データベース・アクセス機能と組み合わせて、所定の症例や患者のために、適切なボリューム画像を装置にアップロードする、ボリューム画像アクセスシステムを提供する。例えば、回診する医師は、単一の表示装置20を持ち運ぶ場合がある。患者の元に到着すると、医師は装置20を使用して患者のまたは患者の記録にある目印をスキャンし、患者体内の目的の領域のボリューム画像をアップロードすることができる。これにより、正確なボリューム画像を装置に読み込ませることができる。
医療用プローブで利用できる電磁気性位置および配向感知システムなど、特定のリアルタイム画像技術と共に使用可能な装置20がさらに想定される。装置20をボリューム10および/または電磁気性システム(不図示)と共に記録することにより、プローブのリアルタイム画像が、画像30に重ね合わせられ得る。
ボリューム10に対する画像30の面を正確に表示するために、レーザー表示システムを医療または他の設定で装置に組み込むことができることがさらに想定される。例えば、画像30がボリューム10に記録される場合でも、面がボリューム10に入り込む深さを判定するため推測を考慮する必要がある。これは、医療用アプリケーションのようなアプリケーションにおいて、ディスプレイ10をボリューム10に挿入することができないからである。しかし、レーザービームを取り付けた天井および/または壁は、画像30の面を正確に示す線を患者に照らし出すために使用することができる。
本発明に係る特定の目的の一アプリケーションは医療診断用アプリケーションであり、従って3D画像データが装置20に読み込まれる。本発明のアプリケーションを使用する医師は、次に装置20を使用して、未曾有のスピードで様々な角度から画像データを再調査し得る。当該アプリケーションは、対象物(患者)がいてもいなくても実施され得る。医師が患者不在時に画像を再調査している場合に、装置20と患者に記録する必要はない。
やがて、診断分析が行われたタイミングで、画像データについて、一つのスライドが再調査される。医師はメモリに頼って、スライドを目的の領域が三次元に見えるバージョンへ心理的に編集するために、二つ目以降のスライドにおける相違点を確かめる。この処理は、非常に時間を消費し、医師側に過度の集中が必要になる。本発明を使用することで、医師は様々な角度から装置を動かすことができ、前後に何千ものスライドを「繰る」だけでなく、ある角度で装置を動かすことにより、スライドとして以前には存在しなかった新たな図が装置により生成される。これにより、前例がない程の動的で流動的なCTスキャンの評価が成される。
本発明は、単に例示を使用して本明細書で説明してきた。しかしながら、本発明の可能性として実世界のアプリケーションはほぼ際限がなく、提供した説明は決して限定を意図しないことが理解されるべきである。本発明の範囲に対する唯一の限定は、以下で説明する請求の範囲から解釈されるべきである。

Claims (18)

  1. 配向感知可能な表示装置に画像を表示する方法であって、
    前記方法は、
    対象物に関する三次元ボリューム画像データを前記表示装置に提供することと、
    前記対象物に対する前記表示装置の位置および配向に対応する、前記三次元ボリューム画像データから生成された前記対象物の画像を前記表示装置に表示することと、
    前記対象物に対する前記表示装置の位置および配向の変化に基づいて、新たな画像を生成することと、
    前記対象物に対し、表示された画像の面を表示することと
    複数の目印で、前記画像の予め計画された経路の少なくとも一部に目印を付けることと
    を含む、方法。
  2. 前記表示装置が前記対象物の周りを移動するにつれて、前記対象物に対する前記表示装置の位置および配向に基づいて、ユーザが、三次元の前記対象物を複数の角度からリアルタイムで持続的に閲覧することを可能にすることをさらに含む、請求項1に記載の方法。
  3. 前記三次元ボリューム画像データ中の開始点から、ユーザによって識別された標的まで、前記予め計画された経路をマーキングすることをさらに含む、請求項に記載の方法。
  4. 前記複数の目印の配置に応答して、前記予め計画された経路を、自動的に照らし出すことをさらに含む、請求項に記載の方法。
  5. 前記対象物に対する前記表示装置の位置および配向を登録することをさらに含む、請求項1に記載の方法。
  6. 少なくとも1つの目印を前記対象物に配置することと、前記少なくとも1つの目印に関する前記表示装置の位置を追跡することとによって、前記対象物に対する前記表示装置の位置および配向を登録することをさらに含む、請求項に記載の方法。
  7. 光学追跡機構によって、前記少なくとも1つの目印に関する前記表示装置の位置を追跡することをさらに含む、請求項に記載の方法。
  8. 磁気測位システムによって、前記少なくとも1つの目印に関する前記表示装置の位置を追跡することをさらに含む、請求項に記載の方法。
  9. 前記表示装置がさらに動かされたときに、現在の画像が維持されるように、前記現在の画像を固定することをさらに含む、請求項1に記載の方法。
  10. フライスルー特徴をさらに含み、前記フライスルー特徴が選択されると、予め計画された経路のアニメ表現が前記予め計画された経路に沿った視点から表示される、請求項1に記載の方法。
  11. スライダ特徴をさらに備え、前記スライダ特徴が動かされると、前記表示装置に、前記表示装置の表示面に垂直な軸に沿った、仮説的な移動に対応する変化画像を生成させる、請求項1に記載の方法。
  12. 対象物の内部画像を提示するために使用するシステムであって、
    前記システムは、
    配向感知可能な表示装置と、
    前記表示装置がアクセス可能な前記対象物に関する三次元ボリューム画像データと、
    前記表示装置の方位センサによる入力を受信し、前記表示装置のディスプレイ上に、前記対象物に対する前記表示装置の位置および配向の変化に基づいて、前記対象物の内部画像を生成する、前記表示装置により実行可能なコンピュータプログラムと、
    前記対象物に対し、表示された画像の面を示すための表示機構と
    を備え
    表示された画像は、ユーザにより複数の目印で目印を付けられた、予め計画された経路の少なくとも一部を含む、システム。
  13. ユーザが、前記表示装置が前記対象物の周りを移動するにつれて、前記対象物に対する前記表示装置の位置および配向に基づいて、三次元の前記対象物を複数の角度からリアルタイムで持続的に閲覧する、請求項12に記載のシステム。
  14. 前記三次元ボリューム画像データ中の開始点から、ユーザによって識別された標的まで、前記予め計画された経路が目印を付けられる、請求項12に記載のシステム。
  15. 前記複数の目印の配置に応答して、前記予め計画された経路を、自動的に照らし出すことをさらに含む、請求項14に記載のシステム。
  16. 少なくとも1つの目印を前記対象物に配置することと、前記少なくとも1つの目印に関する前記表示装置の位置を追跡することとによって、前記表示装置の位置および配向が前記対象物に対して登録される、請求項12に記載のシステム。
  17. スライダ特徴をさらに備え、前記スライダ特徴は動かされると、前記表示装置に、前記表示装置の面に垂直な軸に沿った、仮説的な移動に対応する変化画像を生成させる、請求項12に記載のシステム。
  18. フライスルー特徴をさらに備え、前記フライスルー特徴が選択されると、予め計画された経路が前記予め計画された経路に沿った視点から表示されるアニメ表示を生成する、請求項12に記載のシステム。
JP2016059692A 2010-11-02 2016-03-24 画像表示アプリケーションおよび配向感知可能な表示装置のための方法 Expired - Fee Related JP6250086B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40949510P 2010-11-02 2010-11-02
US61/409,495 2010-11-02

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013537661A Division JP5908919B2 (ja) 2010-11-02 2011-03-14 画像表示アプリケーションおよび配向感知可能な表示装置のための方法

Publications (2)

Publication Number Publication Date
JP2016157450A JP2016157450A (ja) 2016-09-01
JP6250086B2 true JP6250086B2 (ja) 2017-12-20

Family

ID=45996181

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013537661A Active JP5908919B2 (ja) 2010-11-02 2011-03-14 画像表示アプリケーションおよび配向感知可能な表示装置のための方法
JP2016059692A Expired - Fee Related JP6250086B2 (ja) 2010-11-02 2016-03-24 画像表示アプリケーションおよび配向感知可能な表示装置のための方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013537661A Active JP5908919B2 (ja) 2010-11-02 2011-03-14 画像表示アプリケーションおよび配向感知可能な表示装置のための方法

Country Status (7)

Country Link
US (2) US9111386B2 (ja)
EP (1) EP2635182B1 (ja)
JP (2) JP5908919B2 (ja)
CN (1) CN103491867B (ja)
AU (1) AU2011324017A1 (ja)
CA (1) CA2816801C (ja)
WO (1) WO2012060897A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111386B2 (en) 2010-11-02 2015-08-18 Covidien Lp Image viewing application and method for orientationally sensitive display devices
US9639666B2 (en) * 2013-03-15 2017-05-02 Covidien Lp Pathway planning system and method
EP3474125A1 (en) * 2017-10-23 2019-04-24 Koninklijke Philips N.V. Medical image visualization
CN108211342A (zh) * 2018-01-19 2018-06-29 腾讯科技(深圳)有限公司 视角调整方法和装置、存储介质及电子装置
WO2019152846A1 (en) 2018-02-02 2019-08-08 Centerline Biomedical, Inc. Graphical user interface for marking anatomic structures

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4442533A (en) * 1981-08-20 1984-04-10 Charles Lescrenier Image plane indicator
JPH05266145A (ja) * 1992-03-16 1993-10-15 Daikin Ind Ltd 画像表示装置および表示方法
US5524188A (en) * 1993-03-01 1996-06-04 Halpern Software, Inc. Viewing three dimensional objects by rotational wobble about multiple axes
JPH09204162A (ja) * 1996-01-29 1997-08-05 Fujitsu Ltd 表示装置
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 3次元仮想物体表示装置および方法
JP3653196B2 (ja) 1998-06-30 2005-05-25 飛島建設株式会社 仮想現実感を利用した施工支援情報システム。
US7386339B2 (en) * 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
JP2001005522A (ja) * 1999-06-23 2001-01-12 Toshiba Corp データ表示装置
JP2001338037A (ja) 2000-05-29 2001-12-07 Wall:Kk 三次元コンピュータグラフィック画像生成用サーバ
JP2002230588A (ja) * 2001-02-02 2002-08-16 Sony Corp グラフィックス装置及び教育機器
US6987512B2 (en) * 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
WO2002100284A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system
US6709397B2 (en) * 2001-10-16 2004-03-23 Envisioneering, L.L.C. Scanning probe
WO2003100542A2 (en) * 2002-05-24 2003-12-04 Dynapix Intelligence Imaging Inc. A method and apparatus for integrative multiscale 3d image documentation and navigation
US7184025B2 (en) * 2002-05-31 2007-02-27 Microsoft Corporation Altering a display on a viewing device based upon a user controlled orientation of the viewing device
EP1531322A3 (en) * 2003-11-13 2007-09-05 Matsushita Electric Industrial Co., Ltd. Map display apparatus
JP4630672B2 (ja) * 2004-01-23 2011-02-09 キヤノン株式会社 アクセス制御装置及びアクセス制御方法及びアクセス制御プログラム
US20080269596A1 (en) 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
US20060173268A1 (en) * 2005-01-28 2006-08-03 General Electric Company Methods and systems for controlling acquisition of images
DE102006001884A1 (de) * 2006-01-13 2007-07-19 Siemens Ag Verfahren zur bildlichen Unterstützung einer Führung eines in einen Hohlraum eines Untersuchungsobjekts mindestens teilweise eingeführten medizinischen Instruments
GB0605817D0 (en) * 2006-03-23 2006-05-03 Imp Innovations Ltd Reconstruction of anterior cruciate ligaments
US8314815B2 (en) * 2006-04-12 2012-11-20 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20090221908A1 (en) 2008-03-01 2009-09-03 Neil David Glossop System and Method for Alignment of Instrumentation in Image-Guided Intervention
US8218846B2 (en) * 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
US8858436B2 (en) * 2008-11-12 2014-10-14 Sonosite, Inc. Systems and methods to identify interventional instruments
US8745536B1 (en) * 2008-11-25 2014-06-03 Perceptive Pixel Inc. Volumetric data exploration using multi-point input controls
US8441441B2 (en) 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
JP5266145B2 (ja) 2009-06-09 2013-08-21 株式会社ケーヒン エンジンの吸気制御装置
US8937592B2 (en) * 2010-05-20 2015-01-20 Samsung Electronics Co., Ltd. Rendition of 3D content on a handheld device
US9111386B2 (en) 2010-11-02 2015-08-18 Covidien Lp Image viewing application and method for orientationally sensitive display devices

Also Published As

Publication number Publication date
JP2014501000A (ja) 2014-01-16
US20120105436A1 (en) 2012-05-03
CA2816801A1 (en) 2012-05-10
EP2635182A4 (en) 2017-05-03
US9595131B2 (en) 2017-03-14
CA2816801C (en) 2016-08-09
JP2016157450A (ja) 2016-09-01
JP5908919B2 (ja) 2016-04-26
CN103491867B (zh) 2016-01-20
EP2635182A1 (en) 2013-09-11
WO2012060897A1 (en) 2012-05-10
US9111386B2 (en) 2015-08-18
CN103491867A (zh) 2014-01-01
AU2011324017A1 (en) 2013-05-30
EP2635182B1 (en) 2020-12-02
US20150228116A1 (en) 2015-08-13
CN105326567A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
JP6250086B2 (ja) 画像表示アプリケーションおよび配向感知可能な表示装置のための方法
US11432877B2 (en) Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP2642917B1 (en) System and method for interactive three dimensional operation guidance system for soft organs based on anatomic map
JP4642538B2 (ja) 画像処理方法および画像処理装置
US10506991B2 (en) Displaying position and optical axis of an endoscope in an anatomical image
CN109998678A (zh) 在医学规程期间使用增强现实辅助导航
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
US20190310819A1 (en) Augmented reality image display systems and methods
US20140094687A1 (en) Image annotation in image-guided medical procedures
FR2908628A1 (fr) Procede et systeme de pilotage d'un instrument medical
BRPI0901476A2 (pt) sistema de localização com tela de toque virtual
CN106659373A (zh) 用于在肺内部的工具导航的动态3d肺图谱视图
EP3785661A2 (en) Systems and methods for displaying medical video images and/or medical 3d models
EP2637593A1 (en) Visualization of anatomical data by augmented reality
US10302932B2 (en) Microscope system and microscopy method using digital markers
CN105592816B (zh) 具有用户可定义的感兴趣区域的图像引导系统
JP6493877B2 (ja) 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
CN105105846B (zh) 一种用来精确引导对一病患进行外科手术的系统
US20180249953A1 (en) Systems and methods for surgical tracking and visualization of hidden anatomical features
CN113257064A (zh) 用于模拟产品训练和/或体验的系统和方法
CN105326567B (zh) 用于取向灵敏的显示装置的像观察应用和方法
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
WO2022129646A1 (en) Virtual reality environment
Inácio et al. Augmented Reality in Surgery: A New Approach to Enhance the Surgeon's Experience
De Paolis et al. Visualization System to Improve Surgical Performance during a Laparoscopic Procedure

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171121

R150 Certificate of patent or registration of utility model

Ref document number: 6250086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees