JP5945614B2 - 画像処理装置、内視鏡装置及び画像処理装置の作動方法 - Google Patents
画像処理装置、内視鏡装置及び画像処理装置の作動方法 Download PDFInfo
- Publication number
- JP5945614B2 JP5945614B2 JP2015049064A JP2015049064A JP5945614B2 JP 5945614 B2 JP5945614 B2 JP 5945614B2 JP 2015049064 A JP2015049064 A JP 2015049064A JP 2015049064 A JP2015049064 A JP 2015049064A JP 5945614 B2 JP5945614 B2 JP 5945614B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- extraction
- correction
- water supply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 63
- 238000000034 method Methods 0.000 title claims description 51
- 238000012937 correction Methods 0.000 claims description 212
- 238000000605 extraction Methods 0.000 claims description 202
- 238000001514 detection method Methods 0.000 claims description 116
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 76
- 238000003384 imaging method Methods 0.000 claims description 41
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 14
- 238000003780 insertion Methods 0.000 description 26
- 230000037431 insertion Effects 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 210000003238 esophagus Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 6
- 210000002784 stomach Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000003313 weakening effect Effects 0.000 description 5
- 210000000436 anus Anatomy 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 210000003384 transverse colon Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000001731 descending colon Anatomy 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
1.1 内視鏡装置の構成例
図1は、本実施形態にかかる画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、照明部12と、撮像部13と、処理部11と、を含む。なお、構成はこれに限定されず、これらの構成要素の一部を省略するなどの種々の変形実施が可能である。
次に、処理の流れについて説明する。まず、白色光光源S02から白色光が発光される。図3に示すように、回転フィルタS03には白色光透過フィルタS16と狭帯域透過フィルタS17がセットされている。白色光透過フィルタS16は例えば、図4のような分光特性であり、狭帯域透過フィルタS17は例えば、図5のような分光特性である。
以上の処理により、ブレ補正が行われた動画像をユーザに提示することが可能になるが、本実施形態においては、抽出部170による抽出処理(具体的には位置ずれの補正度合いの強弱の決定)を、状況検出部160からの操作状況情報により制御する点が特徴となる。抽出部170は、状況検出部160の停止近接検出部161、注目領域検出部162、部位検出部163、観察状態検出部164、倍率取得部165、操作量情報取得部166、送気送水検出部167の少なくとも1つからの情報を受け取り、位置ずれの補正度合いの強弱を制御する。
近づいているか、遠ざかっているか、或いは停止しているかの判断は、停止近接検出部161で行われ、具体的な手法としては例えば、画像に基づくマッチング処理等が考えられる。つまり、撮像画像内の被検体のエッジ形状等をエッジ抽出等で認識し、認識したエッジ形状の大きさが時間的に後のフレームの画像において、大きくなっているか小さくなっているかを判定することで、近づいているか否かの判定を行う。なお、近づいているか否かを判定する手法は画像処理に限定されるものではなく、例えば、赤外線アクティブセンサ等の測距センサを用いて被写体との距離の変化を見る手法等、種々の手法が考えられる。
注目領域検出部162は、公知の領域検出、例えば病変検出のような処理を行うことで注目領域に関する情報である注目領域情報を検出する。画像の中に注目領域(病変領域)を検出したときには当該注目領域をじっくりと観察したい場合が多いので、抽出部170は位置ずれの補正度合いを強くする制御を行う。一方、病変等が検出されていないときにはじっくりと観察する必要がない場合が多いので、位置ずれの補正を弱くする(例えばオフにする)制御を行う。
部位検出部163により、スコープが位置する部位を判定し、補正度合いを決定してもよい。スコープが生体内のどの部位(例えば、十二指腸、結腸等)にあるかの判定には、例えばテンプレートマッチングなどの既知の認識アルゴリズム等を用いる。また、既知のシーン変化認識アルゴリズムを用いて基準画像の画素の特徴量変化に基づいて、どの器官か判定することも可能である。
近年の内視鏡装置では、通常観察の他に、高倍率(例えば100倍以上)での観察である拡大観察を行うことができるものがある。拡大観察モードにおいては、高倍率での観察を行っているため、基準画像から抽出領域が外れてしまう可能性が非常に高くなる。そのため、拡大観察モードにおいては、位置ずれの補正度合いを弱くする処理を行う。
倍率取得部165は、撮像部13における撮像倍率を倍率情報として取得する。そして、倍率情報により表される撮像倍率が所与の閾値より小さい場合には、ユーザは拡大観察を用いて被写体を詳細に観察しようとしていると判断できるため、図6に示したように、抽出部170は、倍率が大きくなるほど、位置ずれの補正度合いの強度を強くする制御を行う。しかし、倍率情報により表される撮像倍率が所与の閾値より大きい場合には、ユーザは所定の部分を詳細に観察しようとしていると判断できるものの、高倍率のためブレの影響が大きく、基準画像から抽出領域が外れてしまう可能性が高まる。そのため、図6に示したように、倍率が大きくなるほど、位置ずれの補正度合いの強度を弱くする制御を行う。
操作部130は、ユーザの操作による情報である操作量情報を取得し、抽出部170へ送信する。そして、抽出部170ではそのユーザの操作による情報に応じて位置ずれの補正度合いが決定される。
送気送水検出部167は、内視鏡装置による送気処理、送水処理を検出する。具体的には送気量や送水量を検出する。送気とは空気を送ることで、例えば管状の部位を広げたりすることに用いられる。また、送水とは水を流すことで、例えば観察位置にある残渣を洗い流したりすることに用いられる。
まず、公知の技術である通常の電子式位置ずれ補正について図8を用いて説明する。図8の縦軸が時間軸であり、左側の画像が画像取得部120で取得されバッファ140に保持される画像(基準画像)である。また、右側の基準画像に比べて小さい領域を切り出した後の画像がユーザに対して提示される画像(抽出画像)である。そして、画像中の線で囲まれた領域が注目領域であるとする。
次に、実際の診断・観察処理を想定した、具体的な実施形態例について説明する。
まず、肛門から挿入し、大腸等を観察するために用いられる下部内視鏡の実施形態例について説明する。なお本例においては、下部内視鏡は、最初に挿入しきってしまい、引き抜きながら観察していくものとする。
次に口や鼻から挿入され、食道や胃等を観察するために用いられる上部内視鏡について説明する。
150 設定部、160 状況検出部、161 停止近接検出部、
162 注目領域検出部、163 部位検出部、164 観察状態検出部、
165 倍率取得部、166 操作量情報取得部、167 送気送水検出部、
170 抽出部、180 表示制御部、
S01 光源装置、S02 白色光源、S03 回転フィルタ、S04 集光レンズ、
S05 外装、S06 ライトガイドファイバ、S07 照明光学系、
S08 集光レンズ、S09 撮像素子、S11 挿入口、S12 誘導管、
S13 ズームレンズ、S14 送水タンク、S15 送水管
S16 白色光透過フィルタ、S17 狭帯域透過フィルタ
Claims (6)
- 内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する抽出部と、
を含み、
前記抽出部は、
前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出し、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を取得し、
前記抽出部は、
前記内視鏡装置が送気または送水しており、且つ、前記送気量または前記送水量が所与の閾値よりも大きい場合には、前記送気量または前記送水量が前記所与の閾値以下の場合に比べて、前記補正度合いを弱くすることを特徴とする画像処理装置。 - 内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得する画像取得部と、
前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第1抽出モードと、前記同一の被検体像の位置ずれを補正しない第2抽出モードとを設定する設定部と、
前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得する状況検出部と、
前記取得された操作状況情報に基づいて、前記第1抽出モードまたは前記第2抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出する抽出部と、
を含み、
前記状況検出部は、
前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、
前記抽出部は、
取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第2抽出モードを選択することを特徴とする画像処理装置。 - 請求項2において、
前記状況検出部は、
前記内視鏡装置の操作部において送気指示、または、送水指示が行われたか否かを検出することで、前記内視鏡装置の前記スコープ部が送気または送水に使用されているか否かを検出することを特徴とする画像処理装置。 - 請求項1乃至3のいずれかに記載の画像処理装置と、
内視鏡スコープと、
を含むことを特徴とする内視鏡装置。 - 画像取得部と、状況検出部と、抽出部とを有する画像処理装置の作動方法であって、
前記画像取得部が、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、
前記状況検出部が、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、
前記抽出部が、連続的に取得された前記基準画像から、前記被検体像を含む領域を抽出領域として抽出し、抽出画像を取得する際に、前記状況検出部において取得された前記操作状況情報に基づいて、前記被検体像の位置ずれの補正度合いの強弱を決定し、決定した補正度合いの強弱に対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出し、
前記操作状況情報の取得において、前記状況検出部は、前記操作状況情報として、前記内視鏡装置の送気時における送気量、または、送水時における送水量に関する情報を取得し、
前記補正度合いの強弱の決定において、前記抽出部は、前記内視鏡装置が送気または送水しており、且つ、前記送気量または前記送水量が所与の閾値よりも大きい場合には、前記送気量または前記送水量が前記所与の閾値以下の場合に比べて、前記補正度合いを弱くすることを特徴とする画像処理装置の作動方法。 - 画像取得部と、設定部と、状況検出部と、抽出部とを有する画像処理装置の作動方法であって、
前記画像取得部が、内視鏡装置の撮像部による連続的な撮像処理によって、被検体像を含む画像である基準画像を連続的に取得し、
前記設定部が、前記取得された各基準画像から、基準画像内の被検体像を含む画像を抽出画像としてそれぞれ抽出するにあたって、それぞれの前記抽出画像に含まれる同一の被検体像の位置ずれを補正する第1抽出モードと、前記同一の被検体像の位置ずれを補正しない第2抽出モードとを設定し、
前記状況検出部が、前記内視鏡装置の操作状況を検出し、その検出結果を示す操作状況情報を取得し、
前記抽出部が、前記取得された操作状況情報に基づいて、前記第1抽出モードまたは前記第2抽出モードのいずれかを選択し、選択した抽出モードに対応した抽出態様に従って、前記基準画像から前記抽出画像を抽出し、
前記操作状況情報の取得において、前記状況検出部は、前記操作状況情報として、前記内視鏡装置のスコープ部が送気または送水に使用されているか否かに関する情報を取得し、
前記抽出モードの選択において、前記抽出部は、取得された前記操作状況情報によって、前記内視鏡装置の前記スコープ部が送気または送水に使用されていると判断された場合には、前記第2抽出モードを選択することを特徴とする画像処理装置の作動方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015049064A JP5945614B2 (ja) | 2015-03-12 | 2015-03-12 | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015049064A JP5945614B2 (ja) | 2015-03-12 | 2015-03-12 | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010232931A Division JP5715372B2 (ja) | 2010-10-15 | 2010-10-15 | 画像処理装置、画像処理装置の作動方法及び内視鏡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015107422A JP2015107422A (ja) | 2015-06-11 |
JP5945614B2 true JP5945614B2 (ja) | 2016-07-05 |
Family
ID=53438239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015049064A Active JP5945614B2 (ja) | 2015-03-12 | 2015-03-12 | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5945614B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002184A1 (ja) * | 2015-06-29 | 2017-01-05 | オリンパス株式会社 | 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0549599A (ja) * | 1991-08-23 | 1993-03-02 | Olympus Optical Co Ltd | 電子内視鏡装置 |
JP3193415B2 (ja) * | 1991-10-02 | 2001-07-30 | オリンパス光学工業株式会社 | 色ずれ検出装置 |
JP3733828B2 (ja) * | 2000-03-29 | 2006-01-11 | コニカミノルタフォトイメージング株式会社 | 電子カメラ |
JP2007075316A (ja) * | 2005-09-14 | 2007-03-29 | Pentax Corp | 内視鏡用送気装置 |
JP4952891B2 (ja) * | 2006-05-08 | 2012-06-13 | カシオ計算機株式会社 | 動画撮影装置および動画撮影プログラム |
JP2012055498A (ja) * | 2010-09-09 | 2012-03-22 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法 |
-
2015
- 2015-03-12 JP JP2015049064A patent/JP5945614B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015107422A (ja) | 2015-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5715372B2 (ja) | 画像処理装置、画像処理装置の作動方法及び内視鏡装置 | |
JP5905130B2 (ja) | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 | |
JP5855358B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP5865606B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
US11004197B2 (en) | Medical image processing apparatus, medical image processing method, and program | |
JP5993515B2 (ja) | 内視鏡システム | |
JP2010063590A (ja) | 内視鏡システム、およびその駆動制御方法 | |
JP2010063589A (ja) | 内視鏡システム、およびその駆動制御方法 | |
JP6774552B2 (ja) | プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法 | |
WO2011070845A1 (ja) | 頭部装着型表示装置および頭部装着型表示システム | |
WO2018211885A1 (ja) | 画像取得システム、制御装置及び画像取得方法 | |
JP6150554B2 (ja) | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
JP2016064281A (ja) | 内視鏡装置 | |
JP6688243B2 (ja) | 内視鏡システム及びその作動方法 | |
US20220400931A1 (en) | Endoscope system, method of scanning lumen using endoscope system, and endoscope | |
CN113573624A (zh) | 内窥镜系统、非暂时性计算机可读介质及方法 | |
JP2004167010A (ja) | 内視鏡挿入方向検出装置 | |
JP5945614B2 (ja) | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 | |
JP2013043007A (ja) | 焦点位置制御装置、内視鏡装置及び焦点位置制御方法 | |
WO2020008920A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
WO2020009127A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
EP3605179A1 (en) | Image capturing device, focus control method and focus determination method | |
JP7480779B2 (ja) | 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム | |
KR101630364B1 (ko) | 내시경을 이용한 의료 영상 시스템 및 이의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5945614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |