JP6605212B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6605212B2 JP6605212B2 JP2015057973A JP2015057973A JP6605212B2 JP 6605212 B2 JP6605212 B2 JP 6605212B2 JP 2015057973 A JP2015057973 A JP 2015057973A JP 2015057973 A JP2015057973 A JP 2015057973A JP 6605212 B2 JP6605212 B2 JP 6605212B2
- Authority
- JP
- Japan
- Prior art keywords
- markers
- imaging
- image
- tomographic image
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title description 11
- 238000003384 imaging method Methods 0.000 claims description 125
- 238000001514 detection method Methods 0.000 claims description 75
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 24
- 239000003550 marker Substances 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000001678 irradiating effect Effects 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 claims 1
- 230000004048 modification Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 238000001356 surgical procedure Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000002445 nipple Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000002417 xiphoid bone Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明の実施形態に係る画像処理システムとして、断層画像撮像装置の撮像対象である物体が患者であり、断層画像撮像装置に得られる医療用の断層画像を患者の実際の部位と位置合わせする場合を一例として説明する。本発明の実施形態に係る画像処理システムは、図1に示すように、画像処理装置10と、断層画像撮像装置3とを備える。画像処理装置10は、中央演算処理装置(CPU)1、記憶装置2、検出装置4、表示装置5及び入力装置6を備える。CPU1と検出装置4及び表示装置5とは有線又は無線で信号を送受信可能である。
次に、図8及び図9のフローチャートを参照しながら、本発明の実施形態に係る画像処理方法の一例を説明する。なお、以下に示す画像処理方法はあくまでも一例であり、この手順に限定されるものではない。
本発明の実施形態に係る画像処理プログラムは、図8及び図9に示した画像処理の手順をCPU1に実行させる。即ち、本発明の実施形態に係る画像処理プログラムは、(a)複数の撮像用マーカM1〜M7が貼付された患者100を撮像することにより取得された撮像データを記憶装置2に記憶する手順と、(b)患者100に貼付された複数の検出用マーカm1〜m7を検出する手順と、(c)記憶装置2に記憶された撮像データに含まれる複数の撮像用マーカM1〜M7の画像上の位置を読み出して、当該複数の撮像用マーカM1〜M7の画像上の位置と、検出された複数の検出用マーカm1〜m7の実際の位置とを対応点として、画像上の位置と実際の位置とを対応付ける変換行列Tw→i及び変換行列Ti→wの少なくとも一方を算出する手順と、(d)算出された変換行列Tw→i及び変換行列Ti→wの少なくとも一方を用いて、患者100の指定された実際の部位に応じた断層画像を生成する手順と、(e)生成された断層画像を表示装置5に表示する手順等をCPU1等のコンピュータに実行させる。本発明の実施形態に係る画像処理プログラムは、図1に示した記憶装置2等の記憶手段に記憶される。
本発明の実施形態の第1の変形例として、図10に示すように、患者100の身体上の位置を指し示すポインティング装置(入力装置)7を更に備える場合を説明する。ポインティング装置7は例えばペン型端末であり、ペン本体71と、ペン本体71の先端に着脱可能なキャップ部72とを備える。キャップ部72は、ペン本体71のペン先(患者100の身体上の位置を指し示す側)とは逆側に装着されている。キャップ部72には、複数(4つ)の光学式マーカ(以下、「ペン用マーカ」という。)m21,m22,m23,m24が取り付けられている。ペン用マーカm21〜m24とペン本体71のペン先との位置関係は既知であり、記憶装置2に予め記憶される。なお、ペン用マーカm21〜m24の個数は、上述した検出用マーカm1〜m7及び端末用マーカm11〜m13の個数と同様に、3つ以上であればよく、適宜設定可能である。
本発明の実施形態の第2の変形例として、図1に示した表示装置5が、図12に示すように、画像生成部13により生成された断層画像を投影するプロジェクタである場合を説明する。表示装置5としてのプロジェクタは、例えば手術室の天井等に設置される。表示装置5の3次元位置は既知であり、図1に示した記憶装置2に記憶される。
本発明の実施形態の第3の変形例として、図1に示した表示装置5が、ハーフミラーデバイスである場合を説明する。表示装置5としてのハーフミラーデバイスは、図13に示すように、ハーフミラー5xと、ハーフミラー5xの表面に対して所定の角度θだけ傾けて配置された表示部5yとを備える。
上記のように、本発明は実施形態及び第1〜第3の変形例によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
2…記憶装置
3…断層画像撮像装置
4…検出装置
5…表示装置
5a,5y…表示部
5x…ハーフミラー
6…入力装置
7…ポインティング装置
10…画像処理装置
11…マーカ位置抽出部
12…変換行列算出部
13…画像生成部
14…表示制御部
21…撮像データ記憶部
22…マーカ位置記憶部
71…ペン本体
72…キャップ部
Claims (9)
- 複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶する記憶装置と、
前記物体に貼付された複数の検出用マーカを検出する検出装置と、
前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出する変換行列算出部と、
前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成する画像生成部と、
前記生成された断層画像を表示する表示装置と、
前記物体の表面の位置を指し示すポインティング装置
とを備え、
前記ポインティング装置は、複数のポインティング装置用マーカを備え、
前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの一部は、前記物体における相対的に変形しやすい変形部位に貼付され、前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの他の一部は、前記物体における相対的に変形しにくい非変形部位に貼付され、前記非変形部位よりも前記変形部位に、前記複数の撮像用マーカ及び前記複数の検出用マーカがより多く貼付され、
前記検出装置が、前記複数のポインティング装置用マーカの位置を検出し、
前記画像生成部が、前記変換行列を用いて、前記ポインティング装置用マーカの位置から前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置を算出し、
前記表示装置が、前記生成された断層画像を表示するとともに、前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置にマークを表示することを特徴とする画像処理装置。 - 前記複数の撮像用マーカが貼付された位置と同じ位置に前記複数の検出用マーカが貼付されることを特徴とする請求項1に記載の画像処理装置。
- 前記表示装置が、複数の端末用マーカが取り付けられたタブレット端末であり、
前記検出装置が、前記複数の端末用マーカの位置を検出することにより前記タブレット端末の位置及び姿勢を検出し、
前記画像生成部が、前記検出されたタブレット端末の位置及び姿勢に応じて前記断層画像を生成することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記物体の表面にレーザ光を照射するレーザ照射部を更に備え、
前記画像生成部が、前記レーザ光の照射位置を含み、前記レーザの照射方向に平行なスライス面の前記断層画像を生成することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記画像生成部が、前記ポインティング装置により指し示された位置に応じて前記断層画像を生成することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記表示装置が、前記生成された断層画像を前記物体の表面又は前記物体の周辺部に投影するプロジェクタであることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記表示装置が、前記物体の表面に、前記生成された断層画像を重畳して視認可能に表示するハーフミラーデバイスであることを特徴とする請求項1又は2に記載の画像処理装置。
- 複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶するステップと、
前記物体に貼付された複数の検出用マーカを検出するステップと、
前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出するステップと、
前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成するステップと、
前記生成された断層画像を表示装置に表示するステップ
とを含み、
前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの一部は、前記物体における相対的に変形しやすい変形部位に貼付され、前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの他の一部は、前記物体における相対的に変形しにくい非変形部位に貼付され、前記非変形部位よりも前記変形部位に、前記複数の撮像用マーカ及び前記複数の検出用マーカがより多く貼付され、
前記検出するステップでは、前記物体の表面の位置を指し示すポインティング装置に備えられた複数のポインティング装置用マーカの位置を検出し、
前記生成するステップでは、前記変換行列を用いて、前記ポインティング装置用マーカの位置から前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置を算出し、
前記表示するステップでは、前記生成された断層画像を表示するとともに、前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置にマークを表示することを特徴とする画像処理方法。 - 複数の撮像用マーカが貼付された物体を撮像することにより取得された撮像データを記憶装置に記憶する手順と、
前記物体に貼付された複数の検出用マーカを検出する手順と、
前記記憶装置に記憶された前記撮像データに含まれる前記複数の撮像用マーカの画像上の位置を読み出して、当該複数の撮像用マーカの画像上の位置と、前記検出された複数の検出用マーカの実際の位置とを対応点として、前記画像上の位置と前記実際の位置とを対応付ける変換行列を算出する手順と、
前記算出された変換行列を用いて、前記物体の指定された実際の部位に応じた断層画像を生成する手順と、
前記生成された断層画像を表示装置に表示する手順
とをコンピュータに実行させ、
前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの一部は、前記物体における相対的に変形しやすい変形部位に貼付され、前記複数の撮像用マーカ及び前記複数の検出用マーカのうちの他の一部は、前記物体における相対的に変形しにくい非変形部位に貼付され、前記非変形部位よりも前記変形部位に、前記複数の撮像用マーカ及び前記複数の検出用マーカがより多く貼付され、
前記検出する手順では、前記物体の表面の位置を指し示すポインティング装置に備えられた複数のポインティング装置用マーカの位置を検出し、
前記生成する手順では、前記変換行列を用いて、前記ポインティング装置用マーカの位置から前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置を算出し、
前記表示する手順では、前記生成された断層画像を表示するとともに、前記ポインティング装置により指し示された実際の位置に対応する前記断層画像中の位置にマークを表示することを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015057973A JP6605212B2 (ja) | 2015-03-20 | 2015-03-20 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015057973A JP6605212B2 (ja) | 2015-03-20 | 2015-03-20 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016174788A JP2016174788A (ja) | 2016-10-06 |
JP6605212B2 true JP6605212B2 (ja) | 2019-11-13 |
Family
ID=57069505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015057973A Expired - Fee Related JP6605212B2 (ja) | 2015-03-20 | 2015-03-20 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6605212B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6873755B2 (ja) * | 2017-03-10 | 2021-05-19 | 株式会社モリタ製作所 | X線画像表示装置、x線撮影装置、x線画像表示制御プログラム及びx線画像表示装置の作動方法 |
WO2019004042A1 (ja) * | 2017-06-27 | 2019-01-03 | 住友化学株式会社 | 光学フィルム |
JP2020099438A (ja) * | 2018-12-20 | 2020-07-02 | キヤノンメディカルシステムズ株式会社 | 干渉判定装置及びモデル生成装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09173352A (ja) * | 1995-12-25 | 1997-07-08 | Toshiba Medical Eng Co Ltd | 医用ナビゲーションシステム |
JPH10137236A (ja) * | 1996-11-15 | 1998-05-26 | Shimadzu Corp | 医用画像表示装置 |
US7559895B2 (en) * | 2000-07-07 | 2009-07-14 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Combining tomographic images in situ with direct vision using a holographic optical element |
DE10057027A1 (de) * | 2000-11-17 | 2002-06-06 | Siemens Ag | Verfahren und Vorrichtung zur Kennzeichnung einer Stelle an einem Untersuchungsobjekt |
US9248000B2 (en) * | 2008-08-15 | 2016-02-02 | Stryker European Holdings I, Llc | System for and method of visualizing an interior of body |
JP6061570B2 (ja) * | 2012-09-04 | 2017-01-18 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 医用画像表示装置及び医用画像診断システム |
WO2014073649A1 (ja) * | 2012-11-09 | 2014-05-15 | 株式会社東芝 | 穿刺支援装置 |
-
2015
- 2015-03-20 JP JP2015057973A patent/JP6605212B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016174788A (ja) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5476036B2 (ja) | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 | |
KR20210104715A (ko) | 광학 코드를 이용한 증강 현실 디스플레이 | |
BR102018077046A2 (pt) | Uso de realidade aumentada para ajudar na navegação durante procedimentos médicos | |
JP6475324B2 (ja) | オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法 | |
JP6643362B2 (ja) | ロボット手術中に更新された患者画像を供給するための方法および装置 | |
JP5569711B2 (ja) | 手術支援システム | |
JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
JP2010274044A (ja) | 手術支援装置、手術支援方法及び手術支援プログラム | |
JP7460355B2 (ja) | 医療ユーザインターフェース | |
JP6605212B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Ferguson et al. | Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration | |
CN108778135B (zh) | 多模态x射线成像中的光学相机选择 | |
CN106175931B (zh) | 荧光镜视场的标记 | |
JP5213201B2 (ja) | 体内挿入器具の種類を識別可能な手術支援システム | |
JP6548110B2 (ja) | 医用観察支援システム及び臓器の3次元模型 | |
JP4290398B2 (ja) | 身体部位に挿入された検査器具の3次元位置の検出装置および放射線画像作成装置 | |
JP4785127B2 (ja) | 内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラム | |
JP2007021193A (ja) | 画像処理装置及び画像処理プログラム | |
JP2014104328A (ja) | 手術支援システム、手術支援方法及び手術支援プログラム | |
US8750965B2 (en) | Tracking rigid body structures without detecting reference points | |
JP2012019964A (ja) | 医用情報提示装置 | |
TWI785645B (zh) | 基於擴增實境的手術輔助方法 | |
TWI501749B (zh) | 手術導引系統之器械導引方法 | |
JP7495216B2 (ja) | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム | |
JP7182127B2 (ja) | ロボット手術支援装置、情報出力方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190314 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6605212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |