JP6633383B2 - 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 - Google Patents
画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP6633383B2 JP6633383B2 JP2015246621A JP2015246621A JP6633383B2 JP 6633383 B2 JP6633383 B2 JP 6633383B2 JP 2015246621 A JP2015246621 A JP 2015246621A JP 2015246621 A JP2015246621 A JP 2015246621A JP 6633383 B2 JP6633383 B2 JP 6633383B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- capsule endoscope
- virtual
- large intestine
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims description 34
- 238000000034 method Methods 0.000 title claims description 25
- 239000002775 capsule Substances 0.000 claims description 110
- 210000002429 large intestine Anatomy 0.000 claims description 69
- 210000001072 colon Anatomy 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 32
- 238000005452 bending Methods 0.000 claims description 30
- 210000004185 liver Anatomy 0.000 claims description 26
- 210000000436 anus Anatomy 0.000 claims description 25
- 210000000952 spleen Anatomy 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims 2
- 238000002591 computed tomography Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 210000003384 transverse colon Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 208000037062 Polyps Diseases 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 230000000968 intestinal effect Effects 0.000 description 4
- 210000001815 ascending colon Anatomy 0.000 description 3
- 210000001731 descending colon Anatomy 0.000 description 3
- 210000000664 rectum Anatomy 0.000 description 3
- 210000000813 small intestine Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001599 sigmoid colon Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 241000167880 Hirundinidae Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000000112 colonic effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003767 ileocecal valve Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
Description
医用画像診断装置で得られた医用画像情報に含まれる3次元大腸モデルを利用し、仮想的な内視鏡による診断を行うための画像診断支援装置であって、
カプセル内視鏡で撮像された画像情報と当該撮像時の座標情報で構成されるカプセル内視鏡画像情報、並びに、前記3次元大腸モデルを含む医用画像情報を取得する取得手段と、
前記カプセル内視鏡画像情報から、カプセル内視鏡が撮像したキー画像を少なくとも1つを指定するための指定手段と、
ユーザが設定した仮想視点位置から見えることになる仮想画像を、前記医用画像情報から生成するとともに、前記仮想視点位置と前記キー画像の撮像位置との距離に応じた形態で、前記仮想画像を表示する表示制御手段とを有する。
実施形態における画像診断支援装置は、パーソナルコンピュータに代表される情報処理装置と、その上で動作するアプリケーションプログラムで実現する例を説明する。
図12は、カプセル内視鏡画像情報110の例を示している。この情報は、カプセル内視鏡装置で撮像した多数の画像ファイルと、各画像ファイルを管理する管理テーブルで構成されている。管理テーブルは、カプセル内視鏡によって撮像を開始してからの経過時間、撮像位置(カプセル内視鏡の体内の位置)、撮像方向(カプセル内視鏡のカメラの視線方向)、画像ファイル名のフィールドで構成される。一般にカプセル内視鏡の撮像間隔は1秒間に2、3枚程度であるが、説明を単純化するため、実施形態で採用するカプセル内視鏡では2枚/秒(撮像時間間隔が0.5秒)で撮像するものとする。経過時間のフィールドには、撮像を開始してから何枚目であるかを示す値が格納されるものとする。着目画像がN枚目であるとしたとき、その着目画像は、撮像を開始してからN/2秒経過後と表現できる。撮像位置、撮像方向は、ともに被験者の予め設定された位置を基準にした情報が格納される。そして、画像ファイル名は、文字通り、該当する画像のファイル名が格納される。画像ファイル名には、その画像に至るまでのパスも含めても構わない。この場合、管理テーブルのみがカプセル内視鏡画像情報110としてHDD104に格納され、実際の画像ファイルはネットワーク上に存在しても構わない。画像ファイルの符号化の種別は問わないが、実施形態ではJPEGであるものとする。なお、カプセル内視鏡の各座標位置と撮影向きの検出や、カプセル内視鏡からの画像を無線で受信する構成については周知であるので、ここでの詳述は省略する。また、図2に示すデータ構造はあくまで一例であって、このデータフォーマットに限定されるものではない。例えば、複数の撮像画像が動画として1つのファイルに格納されても良い。この場合、動画像を構成する個々の画像を単独で復号できるようにするため、各フレームはイントラフレームとして符号化されることが望ましい。
上記実施形態の通り、カプセル内視鏡画像情報の管理テーブルに対し、ランドマークフィールドを追加し、バウヒン弁、肝臓湾曲部、脾臓湾曲部、肛門の各位置を設定される。この結果、カプセル内視鏡の全画像ファイル(食道、胃、小腸も含まれる)のうち、大腸検査の対象範囲を狭めることができる。すなわち、ランドマーク“1”から“4”までの範囲の画像ファイルをチェックすればよいからである。また、ユーザ(医師)にとっては、大腸のみの撮像画像の閲覧に注視できるので、負担も少ない。
3次元大腸モデルが得られ、及び、その大腸芯線が算出されると、実際の大腸内視鏡を模した仮想内視鏡による診断、観察が可能となる。3次元大腸モデルにおける視線位置や方向に制限はないが、実際の大腸内視鏡を模した通常モードについて説明する。
D={(k2−m2)/(m3−m2)}×L(II)
上記を別な言い方をすれば、経過時間k2の画像を撮像したときのカプセル内視鏡は、横行結腸の長さL(II)を{k2−m2}:{m3−k2}で内分する位置にあると見なして良い、と言うことができる。
ユーザ(医師等)が、操作部107を操作して、画像診断アプリケーションの起動を指示すると、CPU101は、画像診断アプリケーションプログラムをHDD104からRAM103にロードし、実行する。図10は、この画像診断アプリケーションプログラムを実行した際のCPU101の処理手順を示している。
上記実施形態では、キー画像の撮像位置が、3次元大腸モデル内の芯線上の画像の位置と見なした。しかし、図7に示すように、大腸芯線上における、撮像画像の中心位置とカプセル内視鏡の位置との間には、ΔLだけの差が存在するので、上記距離の判定処理にてこのΔLを加味して判断しても良い。
Claims (10)
- 医用画像診断装置で得られた医用画像情報に含まれる3次元大腸モデルを利用し、仮想的な内視鏡による診断を行うための画像診断支援装置であって、
カプセル内視鏡で撮像された画像情報と当該撮像時の座標情報で構成されるカプセル内視鏡画像情報、並びに、前記3次元大腸モデルを含む医用画像情報を取得する取得手段と、
前記カプセル内視鏡画像情報から、カプセル内視鏡が撮像したキー画像を少なくとも1つを指定するための指定手段と、
ユーザが設定した仮想視点位置から見えることになる仮想画像を、前記医用画像情報から生成するとともに、前記仮想視点位置と前記キー画像の撮像位置との距離に応じた形態で、前記仮想画像を表示する表示制御手段と
を有することを特徴とする画像診断支援装置。 - 前記カプセル内視鏡画像情報に基づくカプセル内視鏡の移動軌跡を表す移動軌跡曲線を、前記3次元大腸モデルが表す大腸内を通る芯線曲線にマッピングするマッピング手段と、
前記指定手段で指定された前記キー画像の撮像位置に対応する前記芯線曲線上の位置を導出する導出手段を更に有し、
前記表示制御手段は、前記仮想視点位置と、前記導出手段で導出した前記芯線曲線上における前記キー画像の撮像位置との距離に応じた形態で、前記仮想画像を表示する
ことを特徴とする請求項1に記載の画像診断支援装置。 - 前記マッピング手段は、
前記カプセル内視鏡画像情報に基づくカプセル内視鏡の移動軌跡を示す曲線を表示し、ユーザからの指示に従い、当該表示した曲線上に、バウヒン弁、肝臓湾曲部、脾臓湾曲部、及び、肛門の各位置をランドマークとして設定する第1の設定手段と、
前記3次元大腸モデルを表示し、ユーザからの指示に従い、表示した前記3次元大腸モデル上に、バウヒン弁、肝臓湾曲部、脾臓湾曲部、及び、肛門の各位置を特定し、当該特定した前記芯線曲線上の位置にランドマークとして設定する第2の設定手段とを有し、
前記第2の設定手段により得られた前記芯線曲線の各ランドマークに、前記第1の設定手段で設定された各ランドマークを対応づけることで、前記芯線曲線を、バウヒン弁−肝臓湾曲部の区間を示す第1区間、肝臓湾曲部−脾臓湾曲部の区間を示す第2区間、脾臓湾曲部−肛門の区間を示す第3区間に区分し、それぞれの区間においては前記カプセル内視鏡が等速で移動したとしてみなす
ことを特徴とする請求項2に記載の画像診断支援装置。 - 前記表示制御手段は、
前記仮想視点位置と前記キー画像の撮像位置との距離が第1の閾値以下となった場合、前記キー画像の中心位置に対応する前記仮想画像内の位置に所定マークを合成することを特徴とする請求項1乃至3のいずれか1項に記載の画像診断支援装置。 - 前記表示制御手段は、
前記仮想視点位置と前記キー画像の撮像位置との距離が前記第1の閾値より小さい第2の閾値以下となった場合、前記キー画像を表示する
ことを特徴とする請求項4に記載の画像診断支援装置。 - 前記表示制御手段は、前記仮想視点位置と前記キー画像の撮像位置との距離に応じて前記所定マークの色またはサイズを変更することを特徴とする請求項4または5に記載の画像診断支援装置。
- 前記表示制御手段は、さらに、ユーザが設定した前記仮想視点の視線方向が、大腸の肛門からバウヒン弁に向かう順方向であるか、当該順方向に対する反対方向にあるのかに応じて、前記仮想画像の表示形態を変更することを特徴とする請求項1乃至6のいずれか1項に記載の画像診断支援装置。
- コンピュータが読み込み実行することで、前記コンピュータに、請求項1乃至7のいずれか1項に記載の画像診断支援装置が有する各手段として機能させるためのプログラム。
- 請求項8に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
- 医用画像診断装置で得られた医用画像情報に含まれる3次元大腸モデルを利用し、仮想的な内視鏡による診断を行うための画像診断支援装置の制御方法であって、
取得手段が、カプセル内視鏡で撮像された画像情報と当該撮像時の座標情報で構成されるカプセル内視鏡画像情報、並びに、前記3次元大腸モデルを含む医用画像情報を取得する取得工程と、
指定手段が、前記カプセル内視鏡画像情報から、カプセル内視鏡が撮像したキー画像を少なくとも1つを指定するための指定工程と、
表示制御手段が、ユーザが設定した仮想視点位置から見えることになる仮想画像を、前記医用画像情報から生成するとともに、前記仮想視点位置と前記キー画像の撮像位置との距離に応じた形態で表示する表示制御工程と
を有することを特徴とする画像診断支援装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246621A JP6633383B2 (ja) | 2015-12-17 | 2015-12-17 | 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015246621A JP6633383B2 (ja) | 2015-12-17 | 2015-12-17 | 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017108971A JP2017108971A (ja) | 2017-06-22 |
JP6633383B2 true JP6633383B2 (ja) | 2020-01-22 |
Family
ID=59079028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015246621A Active JP6633383B2 (ja) | 2015-12-17 | 2015-12-17 | 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6633383B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108961423B (zh) * | 2018-07-03 | 2023-04-18 | 百度在线网络技术(北京)有限公司 | 虚拟信息处理方法、装置、设备及存储介质 |
CN109498047A (zh) * | 2019-01-02 | 2019-03-22 | 深圳安科高技术股份有限公司 | 一种ct机扫描模拟方法及其系统 |
CN110037722B (zh) * | 2019-05-15 | 2023-07-04 | 东软医疗系统股份有限公司 | 一种显示方法、装置及眼镜固定设备 |
CN113052956B (zh) * | 2021-03-19 | 2023-03-10 | 安翰科技(武汉)股份有限公司 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4493386B2 (ja) * | 2003-04-25 | 2010-06-30 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
US9373166B2 (en) * | 2004-04-23 | 2016-06-21 | Siemens Medical Solutions Usa, Inc. | Registered video endoscopy and virtual endoscopy |
JP4914680B2 (ja) * | 2006-09-05 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
JP4923096B2 (ja) * | 2009-11-30 | 2012-04-25 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
JP2013009956A (ja) * | 2011-06-01 | 2013-01-17 | Toshiba Corp | 医用画像表示装置及び医用画像診断装置 |
JP5918548B2 (ja) * | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
JP6206869B2 (ja) * | 2013-05-28 | 2017-10-04 | 国立大学法人名古屋大学 | 内視鏡観察支援装置 |
-
2015
- 2015-12-17 JP JP2015246621A patent/JP6633383B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017108971A (ja) | 2017-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4820680B2 (ja) | 医用画像表示装置 | |
CN106572827B (zh) | 智能显示器 | |
KR101716421B1 (ko) | 정보 제공 방법 및 정보 제공을 위한 의료 진단 장치 | |
JP4676021B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
JP2021020075A (ja) | 医療用映像装置及びその制御方法 | |
JP6633383B2 (ja) | 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 | |
US10283088B2 (en) | Method and apparatus for providing medical information | |
US9655498B2 (en) | Medical image displaying apparatus and a medical image diagnostic apparatus | |
KR101716422B1 (ko) | 의료 정보 제공 방법 및 장치 | |
US11707255B2 (en) | Image-based probe positioning | |
JP6671747B2 (ja) | 医用画像処理装置、その制御方法、及びプログラム | |
WO2015045410A1 (ja) | 画像表示制御装置およびその作動方法並びに画像表示制御プログラム | |
JP2009022476A (ja) | 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム | |
JP5398791B2 (ja) | 医用画像表示装置 | |
KR101683176B1 (ko) | 정보 제공 방법 및 정보 제공을 위한 자기 공명 영상 장치 | |
JP2017113390A (ja) | 医用画像処理装置、その制御方法、及びプログラム | |
CN108231162B (zh) | 用于显示医学图像的方法和装置 | |
KR102462656B1 (ko) | 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법 | |
US20230145531A1 (en) | Systems and methods for registering visual representations of a surgical space | |
JP5523784B2 (ja) | 画像処理装置および医用画像診断装置 | |
JP6662580B2 (ja) | 医用画像処理装置 | |
KR20150113490A (ko) | 의료 영상 판독을 지원하기 위한 가상 사용자 인터페이스 장치 및 가상 사용자 인터페이스 제공 방법 | |
JP2021133170A (ja) | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム | |
JP2022149984A (ja) | 画像表示装置、制御プログラム及び画像表示システム | |
KR20210012492A (ko) | 의료 영상 분석 보조 시스템, 화면을 갖는 전자 장치에서 수행되는 방법, 화면을 갖는 전자 장치의 그래픽 사용자 인터페이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180719 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6633383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |