JP4077716B2 - 内視鏡挿入方向検出装置 - Google Patents
内視鏡挿入方向検出装置 Download PDFInfo
- Publication number
- JP4077716B2 JP4077716B2 JP2002337001A JP2002337001A JP4077716B2 JP 4077716 B2 JP4077716 B2 JP 4077716B2 JP 2002337001 A JP2002337001 A JP 2002337001A JP 2002337001 A JP2002337001 A JP 2002337001A JP 4077716 B2 JP4077716 B2 JP 4077716B2
- Authority
- JP
- Japan
- Prior art keywords
- insertion direction
- endoscope
- pixel
- lumen
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S600/00—Surgery
- Y10S600/921—Manipulating image characteristics
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、構造が複雑で屈曲している体腔内に内視鏡挿入部を挿入する際に、それら体腔内の形状に応じた挿入方向を検出する内視鏡挿入方向検出装置に関する。
【0002】
【従来の技術】
従来、細長い可撓性を有する挿入部を体腔内に挿入して、体腔内を観察したり、あるいは、必要に応じて部位の採取や治療などを行う内視鏡装置が広く用いられている。
【0003】
これら内視鏡装置は、挿入部を体腔内に挿入する際には、観察される内視鏡画像から体腔内の形状と挿入方向を判断して挿入操作するために、操作者の習熟度が求められる。
【0004】
例えば、大腸の内視鏡検査において、大腸は形状が複雑で、管腔も狭く個人差があると共に、屈曲する部位(シグモド、肝湾曲、牌湾曲等)や腸壁及び襞(ひだ、fold)に接近すると挿入方向の判断が難しく、高度な挿入操作技術と習熟度が必要となる。
【0005】
このように従来の内視鏡は、高度な操作技術と習熟度が要求されることから、内視鏡挿入方向である管腔方向を表示できる内視鏡挿入方向検出装置が提案されている。
【0006】
例えば、内視鏡画像の特徴量の変化率の勾配を予め設定した基準値と比較し、その勾配の変化が所定以上あるところを不連続点として抽出した対象画像を生成し、この形成された対象画像を複数の領域に分割して、この分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出し、この抽出された線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行って最適な線セグメント候補を抽出し、更にこの最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとすることを繰り返して最多線セグメントを有する子ノードを順次選択し、その結果得られた小領域を線セグメントの開始セグメントとして連結し、この連結された線セグメントのパターン情報に基づいて奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定する内視鏡挿入方向検出方法が提案されている(例えば、特許文献1参照)。
【0007】
また、内視鏡画像のR画像上にM個のサンプリング画素を設定して、その各々のサンプリング画素の明暗勾配方向を得るための勾配ベクトル算出と、この勾配ベクトルから管腔方向算出とにより、その算出された管腔方向を内視鏡画像に重畳表示させた矢印で示す内視鏡挿入方向検出方法が本願出願人が出願した特願2001−292230号に提案されている。
【0008】
【特許文献1】
特許番号第2680111号公報。
【0009】
【発明が解決しようとする課題】
上記特許文献1に提案されている内視鏡挿入方向検出方法は、エッジを抽出した大腸内視鏡画像を複数の領域に分割し、修正ハフ変換により各領域の管腔方向を検出するのに有効なエッジを検出し、検出したエッジを連結することによりひだの形状を求めて管腔方向を推定する為、処理が複雑になりリアルタイムでの処理が難しくなる。
【0010】
また、特願2001−292230号の出願に提案されている内視鏡挿入方向検出方法は、大腸内視鏡画像のハレーションを抽出、細線化した形状をサンプリングし、そのサンプリングした2点から得られる線分の垂直2等分線を求め、得られた複数の垂直2等分線が集積する位置から管腔方向を推定する為、垂直2等分線が1点に集積しない場合が生じると管腔位置を求めることができない課題がある。
【0011】
本発明は、上記事情に鑑みてなされたもので、簡素な構成で、確実に管腔方向を検出可能とする内視鏡挿入方向検出装置を提供することを目的としている。
【0012】
【課題を解決するための手段】
本発明の内視鏡挿入方向検出装置は、体腔内に挿入された内視鏡より内視鏡画像を入力する画像入力手段と、前記画像入力手段により入力された前記内視鏡画像より、所定の濃度値の画素を抽出するまたは前記内視鏡画像を形成する画素のうち近隣の画素との濃度値の変化率の勾配が所定値である画素を抽出する画素抽出手段と、前記画素抽出手段により抽出された画素により構成される特定の領域の形状を求める領域形状推定手段と、前記領域形状推定手段により求められた特定の領域の形状から前記内視鏡の前記体腔内への挿入方向を決定する挿入方向決定手段と、を備えたことを特徴としている。
また、前記画素抽出手段は、前記濃度値が所定の閾値以上である画素を抽出するまたは前記内視鏡画像を形成する画素のうち近隣の画素との濃度値の変化率の勾配が所定の閾値以上である画素を抽出するものであり、前記領域形状推定手段は、前記体腔内における管腔位置候補領域を設定するとともに、前記管腔位置候補領域から前記内視鏡画像領域に対して半径の異なる複数の円を設定し、当該複数の円内における前記画素抽出手段で抽出した画素の分布から管腔領域を求めるものであることを特徴としている。
さらに、前記画素抽出手段は、前記所定の濃度値の画素として、前記体腔内で鏡面反射されて生成されるハレーションの部分の画素を抽出するものであることを特徴としている。
そして、前記画素抽出手段は、前記内視鏡画像を形成する画素のうち近隣の画素との濃度値の変化率の勾配が所定値である画素を抽出することにより、前記体腔内壁のひだのエッジ部分の画素を抽出することを特徴としている。
加えて、前記領域形状推定手段は、前記画素抽出手段で抽出した前記ひだのエッジ部分の勾配ベクトルを演算して、当該勾配ベクトルが実質的に同じ方向となるエッジ分布から前記特定の領域の形状を求めるものであることを特徴としている。
【0013】
本発明の内視鏡挿入方向検出装置により、内視鏡画像から体腔の挿入方向を確実に高精度に検出でき、その検出された挿入方向を内視鏡画像と共に表示させることで、内視鏡検査経験に左右されることなく速やかな内視鏡操作が可能となる。
【0014】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明に係る内視鏡挿入方向検出装置の第1の実施形態を図1乃至図12を用いて説明する。
【0015】
図1は本発明に係る内視鏡装置の全体構成を示すブロック図、図2は本発明に係る内視鏡装置の管腔内への挿入操作を説明する説明図、図3は本発明の第1の実施形態である内視鏡挿入方向検出装置の構成を示すブロック図、図4は本発明に係る内視鏡を管腔内の屈曲部へ挿入した状態を説明する説明図、図5は本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図、図6は本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図、図7は本発明の第1の実施形態の内視鏡挿入方向検出装置の動作を説明するフローチャート、図8は本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像を複数領域への分割例を説明する説明図、図9は本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像の周辺に設定する管腔の候補領域を説明する説明図、図10は本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔方向の設定動作を説明する説明図、図11は本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔の候補領域から挿入方向の決定動作を説明する説明図、図12は本発明の第1の実施形態の内視鏡挿入方向検出装置で検出された内視鏡挿入方向を内視鏡画像と併設表示例を説明する説明図である。
【0016】
最初に本発明に係る内視鏡装置の全体構成について図1を用いて説明する。内視鏡装置は、内視鏡1、制御装置6、観察モニタ9、アナログ/デジタル変換器(以下、A/Dと称する)11、及び内視鏡挿入方向検出装置(以下、挿入方向検出装置と称する)12からなっている。
【0017】
内視鏡1は、操作部2と、細長で可撓性の挿入部3とからなり、挿入部3の先端には、図示していないが固体撮像素子(以下、CCDと称する)と照明光を投射する照明用のライトガイドケーブル端が備えられ、このCCDの駆動制御用と、CCDで撮像生成された撮像信号用の信号ケーブル、及び照明用のライトガイドケーブルとが挿入部3から操作部2に内装配置され、それら信号ケーブルとライトガイドケーブルを内蔵したユニバーサルコード4を介して、制御装置6へコネクタ5によって接続されている。
【0018】
また、前記挿入部3の先端近傍には、図示していないが湾曲部が設けられ、上下左右に湾曲可能となっており、この湾曲部を湾曲操作するためのワイヤーが挿入部3から操作部2へと延在されており、そのワイヤーの基端は、前記操作部2に設けられている図示していない湾曲ノブに接続されている。
【0019】
つまり、操作部2の湾曲ノブを操作することで、挿入部3の湾曲部が湾曲するようになっている。
【0020】
前記制御装置6は、前記CCDを駆動制御する信号を生成出力すると共に、前記CCDで撮像生成した撮像信号から所定の映像信号処理を行い内視鏡画像信号であるRGB画像信号を生成する映像信号処理回路8と、前記ライトガイドケーブルに照明光を入射する光源7であるランプとそのランプ点灯制御回路などからなっている。
【0021】
前記制御装置6の映像信号処理回路8で生成されたRGB画像信号は、観察モニタ9に出力され、内視鏡画像が表示されると共に、A/D11でアナログRGB画像信号からデジタルRGB画像信号に変換され、そのデジタルRGB画像信号から挿入方向検出装置12で内視鏡1の挿入部3の挿入方向検出と、その検出した挿入方向を後述する表示装置に表示するようになっている。
【0022】
このような構成の内視鏡装置により、体腔内挿入操作、例えば大腸の内視鏡挿入操作を図2を用いて説明する。
【0023】
大腸13の内視鏡検査は、内視鏡1の挿入部3の先端に設けられているCCDで撮像生成し、映像信号処理回路8で映像信号処理生成されたRGB画像信号を基に、観察モニタ9に再生表示されている内視鏡画像を見ながら、前記操作部2の湾曲ノブを操作して、挿入部3の湾曲部を上下左右に湾曲させながら大腸13に挿入させて、回盲部(小腸と大腸の連結する部位)まで観察挿入を行う。
【0024】
前記映像信号処理回路8で生成されたRGB画像信号は、前記A/D11でアナログからデジタルのRGB画像信号に変換されて、前記挿入方向検出装置12へと出力される。
【0025】
この挿入方向検出装置12は、図3に示すように、前記映像信号処理回路8で生成され、前記A/D11でデジタル変換されたデジタルRGB画像信号を基に挿入方向検出に関わる一連の処理を実行するコンピュータ20と、このコンピュータ20で処理されて生成された挿入方向の結果を表示するための表示装置21とからなり、前記コンピュータ20は、内視鏡挿入方向検出するための各種メインプログラム26を記憶した記憶装置25と、この記憶装置25のメインプログラム26を用いて挿入方向検出処理を実行するための中央処理装置(以下、CPUと称する)23と、前記CPU23で処理実行された結果を記録するメインメモリ24と、前記A/D11、表示装置21、及び記憶装置25との各種入出力制御するための入力/出力制御回路(以下、I/O制御回路と称する)22とからなっている。
【0026】
なお、前記記憶装置25のメインプログラム26は、本発明に係る内視鏡の挿入方向検出に伴う一連の処理を実行するプログラムであると共に、I/O制御回路22に対するA/D11からのRGB画像信号の取得要求、表示装置21への挿入方向検出結果の表示要求などを行うようになっている。
【0027】
また、前記A/D11でアナログRGB画像信号からデジタルRGB画像信号への変換は、RGB各プレーンが0から255の値を取る8bitに量子化され、その画像サイズは水平及び垂直方向に対して各ISX及びISYであるものとする。また、以降の説明においては、内視鏡画像Iを構成する画素の位置について画像左上端点を(0、0)、右下端点を(ISX−1、ISY−1)とした座標系に基づいて表示する。
【0028】
このような構成の内視鏡装置による内視鏡検査において、内視鏡1の挿入部3の先端に正対した大腸の粘膜表面等は、挿入部3の先端から投射される照明光を強く鏡面反射させるために、CCDに入射される照明光は周辺に比べて非常に明るく、CCDで撮像生成される撮像信号の鏡面反射部分は飽和したり、あるいは周辺部分に比して輝度が大きくなる一般的にハレーションと称される現象が生ずる。このハレーションは、管腔形状を有する大腸において、円弧状又は円弧状に並んで生じる。
【0029】
つまり、内視鏡1の挿入部3を図4に示すように大腸13に挿入して、大腸の屈曲部位に挿入到達した際に、挿入部3の先端の照明窓から投射された照明光は、大腸13の屈曲部位の粘膜表面で鏡面反射して、CCDに入射されて、撮像信号が生成される。この時、CCDで撮像生成された撮像信号から制御装置6の映像信号処理回路8で映像信号処理して観察モニタ9に再生表示される内視鏡画像は、図5及び図6に示すように円弧状又は円弧状に並ぶハレーションが発生する。
【0030】
この円弧状のハレーションは、円弧の中心方向に管腔が存在する可能性が高いことから熟練した操作者は、ハレーションの形状や分布を挿入操作の補助情報として利用して内視鏡の挿入方向を判断決定している。例えば、図5と図6に示すようなハレーションが生じると画面右下方向に管腔が存在すると判定して、挿入部3の先端を図中右下方向に湾曲させて挿入を進行させる。
【0031】
このように、CCDで撮像生成した内視鏡画像から円弧状、あるいは円弧状に並んだハレーションを用いて、即ち、内視鏡画像の画素濃度からハレーションを検出し、ハレーションの形状から推定される管腔方向を内視鏡画像と共に表示させる挿入方向検出装置12の動作について、図7を用いて説明する。
【0032】
このCCDで撮像した撮像信号からの挿入方向検出は、前記挿入方向検出装置12のコンピュータ20の記憶装置25に事前記憶されているメインプログラム26の挿入方向検出処理で実行される。
【0033】
つまり、前記内視鏡1の挿入部3を大腸に挿入し、且つ、挿入部3の先端に設けたCCDを駆動して映像信号処理回路8で生成されたRGB画像信号をA/D11でデジタルRGB画像信号に変換して、挿入方向検出装置12に出力供給されると、この挿入方向検出装置12のコンピュータ20のCPU23は、I/O制御回路22を駆動制御して、前記デジタルRGB画像信号を取り込むと共に、前記記憶装置25に記憶されているメインプログラム26を読み出して内視鏡挿入方向検出処理を行う。
【0034】
また、前記A/D11で変換されCPU23の処理駆動の基で、I/O制御回路22から取り込んだデジタルRGB画像信号を基に表示装置21に前記観察モニタ9と同様に内視鏡画像とその内視鏡画像のハレーションも同じように表示される。
【0035】
この内視鏡挿入方向検出処理は、ステップS1でCPU23は、前記メインプログラム26の内視鏡挿入方向検出処理プログラムが読み出されて、その処理が開始される。ステップS2でCPU23は、前記I/O制御回路22を駆動制御して、前記A/D11からのデジタルRGB画像信号からR画像信号を取得する。
【0036】
なお、この第1の実施形態では、RGB画像信号からR画像信号を用いて内視鏡挿入方向検出の処理を説明するが、R画像信号以外にG画像信号、B画像信号あるいは輝度画像信号(0.3R+0.6G+0.1B)等を用いて処理を行うことも可能である。
【0037】
次に、ステップS3でCPU23は、前記ステップS2で取得したR画像信号を複数の領域に分割する。このステップS3の領域分割は、図8に点線で示すように、内視鏡画像Iを複数の領域Aij(0≦i<l,0≦j<m)に分割する。
【0038】
次に、ステップS4でCPU23は、前記ステップS3で分割された各領域Aij内のハレーションを検出する。この各領域Aij内のハレーション検出は、具体的には、内視鏡画像Iの座標(x,y)(0≦x<Isx,0≦y<Isy)における画素の値r(x,y)に基づき2値画像Hを作成する。2値画像Hにおける各面素h(x,y)の値は次の数式1により求める。
【0039】
【数1】
【数2】
ここで、閾値THLは、THL=255とする。画素の値として255に達しない場合においても視覚上ハレーションとして認識される場合がある為、閾値は適宜設定する。なお、1つの領域Aij内に存在するハレーションの画素数が少ない場合、対応する2値画像Hの領域のみ数式1のh(x,y)=1を数式2のh(x,y)=0に変更する。これにより点のようなハレーションを除去し、管腔方向の検出に有効なハレーションのみ検出する。
【0040】
つまり、各領域Aij内の画素濃度を閾値THLと比較してハレーションを検出する。
【0041】
次にステップS5でCPU23は、管腔候補位置の設定を行う。この管腔候補位置の設定は、図9に点線で示すよう、管腔の候補領域Bij(0≦i<O,0≦j<P)を内視鏡画像Iの周辺に設定する。
【0042】
このステップS5の管腔候補位置の設定が終了すると、ステップS6でCPU23は、図10に示すように管腔の各候補領域Bijの中心位置を中心とした半径の異なる2円r1q、r2qを設定し、この2円によって囲まれる範囲に存在する内視鏡画像Iのハレーションを有する領域Aijの数をステップS7で求める。
【0043】
このステップS7で求めた2円で囲まれた範囲のハレーションを有する領域Aijの数は、ステップS8で、最大の数であるか判定され、最大であると判定されると、ステップS9でハレーションを有する領域Aijの数と管腔の候補位置Bijとを記憶する。
【0044】
前記ステップS8で前記領域Aijの数は最大でないと判定されたり、あるいは、前記ステップS9のハレーションを有する領域Aijの数と管腔候補位置Bijの記憶が終了すると、CPU23はステップS10で、図10に示すように、前記ステップS6で設定した2円の半径をr1q+1、r2q+1に設定変更し、ステップS11でその変更した2円で囲まれる範囲が内視鏡画像Iの領域Aij外であるか否かを判別し、この変更された2円で囲まれた範囲が内視鏡画像Iの領域Aij内であると判定されるとステップS7に戻り、再度ステップS7からS11が繰り返され、変更された2円で囲まれた範囲が内視鏡画像Iの領域Aij外であると判定されると、ステップS12で、管腔の候補位置Bijを変更する。
【0045】
次に、CPU23はステップS13で、前記ステップS12で変更した管腔候補位置Bijが設定した管腔の候補位置が領域外であるかを判別し、管腔候補位置領域内であると判定されるとステップS6に戻りステップS6からS12が繰り返され、管腔候補位置領域外であると判定されると、ステップS14で、図11に示すように管腔の候補位置領域Bijを、例えば8領域Di(0≦i<8)に分割し、前記ステップS9で記憶された管腔の候補位置Bijが含まれる領域Diを求める。
【0046】
前記ステップS12で設定された管腔の候補位置Bijが図11に示すBopとすると、このBopは領域D4に存在する。つまり、挿入部3の管腔内の挿入方向は、領域D4方向で、図中の右下となり、ステップS15で表示装置21に表示されている内視鏡画像に挿入方向表示を行う。
【0047】
この挿入方向の表示は、図12に示すように、表示装置21に表示されている内視鏡画像Iの周辺部に挿入方向表示の矢印を表示させる方法や、図示していないが内視鏡画像Iに挿入方向を示す矢印を重畳表示させる方法が考えられる。
【0048】
この第1の実施形態で、前記2円によって囲まれる領域を狭めることにより、より円弧に近いハレーションを検出することが可能になり、また、管腔の候補位置領域Bijを細かく設定することにより管腔の位置を精度よく推定することができる。
【0049】
以上説明したように、この第1の実施形態において、ハレーションが複数存在した場合でも、個々のハレーションの形状によらず安定して管腔の位置を推定することができる。また、特定領域内のハレーションの画素数から管腔の位置を検出するのに有効な領域か否かを判断する為、ノイズのような小さなハレーションを除去することが可能となり安定した管腔位置の推定が可能となった。
【0050】
次に、本発明の第2の実施形態である内視鏡挿入方向検出装置を図13と図14を用いて説明する。なお、この第2の実施形態の内視鏡挿入方向検出装置の構成と、挿入方向である管腔位置の推定処理は、基本的に前記第1の実施形態と同じで、前記第1の実施形態との相違は、前記ステップS7における領域Aijの数を求める方法が異なる。
【0051】
前記第1の実施形態では、ステップS7で2円(r1q,r2q)に囲まれる範囲に存在するハレーションを有する領域Aijの数を数えているが、この第2の実施形態では、前記2円で囲まれる範囲に存在するハレーションを有する領域Aijが管腔方向を求めるために有効なハレーション形状であるか判断し、その管腔方向を求めるために有効であると判断されたハレーションを有する領域Aijのみの数を数えるようにしたものである。
【0052】
このハレーション形状の評価は、各領域Aijのハレーションの画素分布を調べる。具体的には、例えば、図13に示すように、領域A31のハレーションに対して、閾値処理によって求められたハレーションの座標位置からハレーションの重心の位置W31(Wx31,Wy31)を次の数式3と数式4の基で算出する。
【0053】
【数3】
【数4】
ただし、sは領域A31に存在するハレーションの画素数、Xk,Ykは領域A31に存在するハレーションのx,y座標の値である。
【0054】
また、領域A31で求められたハレーションの分布から回帰直線を次の数式5で算出する。
【0055】
【数5】
領域Aij内のハレーションのx,y座標値の平均値、Vxはx座標値の分散、Vxyはx,y座標値の共分散で、それぞれは数式6乃至数式9で求められる。
【0056】
【数6】
【数7】
【数8】
【数9】
回帰直線に直交するベクトルVrは、分散Vxと共分散Vxyより次の数式で表される。
【0057】
【数10】
また、図14に示す管腔の候補領域の中心位置Cop(Cx0p,Cyop)から重心(Wx31,Wy31)へ向かうベクトルVcは、次の数式11で求められる。
【0058】
【数11】
更に、ベクトルVrとベクトルVcとのなす角度θは、内積の式より次の数式12から求められる。
【0059】
【数12】
図14に示すように角度θが0に近づくほど、ハレーションの形状から得られる方向に管腔の候補領域が存在することになり、ハレーションの形状は管腔の位置を求めるのに有効な形状と考えることができる。適当な閾値θthlを設定し、閾値θthlよりも小さな角度θを有する領域Aijの総数を求める。
【0060】
このようにして、ハレーションの形状から管腔の位置を求めるための有効な形状を有しているかを判別することができ、精度よく管腔の方向を推定できる。
【0061】
次に本発明の第3の実施形態に係る内視鏡挿入方向検出装置を図15乃至図22を用いて説明する。
【0062】
図15は本発明の第3の実施形態に係る内視鏡挿入方向検出装置の撮像画像を説明する説明図、図16は本発明の第3の実施形態に係るに内視鏡挿入方向検出装置の動作を説明するフローチャート、図17は本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ検出を説明する説明図、図18は本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ方向の分類を説明する説明図、図19は本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から抽出されたエッジの分布を説明する説明図、図20は本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域を説明する説明図、図21は本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域の選定処理を説明する説明図、図22は本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔挿入方向の設定を説明する説明図である。
【0063】
なお、この第3の実施形態の内視鏡挿入方向検出装置の構成は、前述した第1の実施形態と同じであり、前記コンピュータ20による管腔方向検出の処理が異なる。
【0064】
この第3の実施形態は、大腸の腸壁には環状のひだ(folt)が存在し、このひだが内視鏡画像での見え方によって内視鏡の挿入方向を判断できる点に着目してなされている。
【0065】
前述したように、図4に示す内視鏡1の挿入部3の管腔内への挿入状態において、内視鏡画像は図15に示すように円弧状のひだが観察される。
【0066】
この円弧状のひだは、前述した第1の実施形態の円弧状のハレーションと同様に円弧の中心方向に管腔が存在する可能性が高いことから、内視鏡挿入方向の判断情報として使用するものである。
【0067】
この腸壁の環状のひだを撮像した内視鏡画像から管腔への挿入方向の検出動作について図16を用いて説明する。
【0068】
挿入方向検出装置12のCPU23は、ステップS21で大腸内の管壁のひだによる挿入方向検出のプログラムが読み出し実行され、ステップS22で前述の第1の実施形態と同様に入力される内視鏡画像のRGB画像信号のR画像信号を取得する。なお、前述の第1の実施形態と同様に、G画像信号、B画像信号、あるいは輝度画像信号等を用いて処理を行うことも可能である。
【0069】
前記ステップS22で取得したR画像信号から生成され、前記表示装置21に表示されるR画像からステップS23で、図8を用いて説明した前述の第1の実施形態と同様に内視鏡画像を複数の領域Aij(0≦i<l,0≦j<m)に分割する。
【0070】
次にステップS24でその複数の分割された各領域Aij内のひだのエッジの方向を示す勾配ベクトルと大きさを求める。具体的には、図17に示すようエッジを検出する画素位置を中心に大きさ3×3の近傍の画素を抽出し、その水平と垂直および対角方向に位置する画素の値をそれぞれA,B,C,D,E,F,G.Hとする。これらの画素の値より水平及び垂直方向の微分値dx、dyを次の数式13と数式14とから求める。
【0071】
【数13】
【数14】
この水平と垂直方向の画素の微分値dx,dyからエッジの方向を示す勾配ベクトルVを次の数式15で表すことができる。
【0072】
【数15】
この数式15で算出された勾配ベクトルVからエッジの大きさは数式16で算出できる。
【0073】
【数16】
次に、領域Aijにはひだ以外に血管やノイズ等のエッジも含まれるため、次に述べる方法によりひだのエッジを抽出する。
【0074】
ひだのエッジの大きさ|V|は、血管等のエッジに比べ大きくなる傾向があることから、適当な閾値|V|thlを設定し、閾値よりも大きなエッジを抽出する。
【0075】
また、図18に示すような8方向のベクトルVi(i=0,1,…,7)を設定し、閾値処理によって抽出されたエッジを8方向に分類する。抽出された勾配ベクトルVと8方向のベクトルViとのなす角度θiを次の数式17から算出し、角度θiが最小となる1方向のベクトル(8方向のうちの1方向のベクトル)を求めることによって抽出されたエッジを8方向に分類する。
【0076】
【数17】
領域Aij内の閾値処理されたエッジを8方向に分類し、最も多く分類されたエッジのみを抽出することにより、閾値処理で取り除くことができなかった血管等のエッジが削除される。
【0077】
さらに、小領域内に存在するひだのエッジは、直線的に分布すると考えられる為、第2の実施形態と同様な方法で前述した方法によって抽出されたエッジの分布を調べる。
【0078】
前述した方法によって血管等のエッジが取り除かれたエッジの座標位置を用いて重心位置と回帰直線、回帰直線に直交するベクトルを求める。
【0079】
回帰直線の方向に分布するエッジの分散σ1と回帰直線に直交する方向に分布するエッジの分散σ2を算出し、分散の比率γ=σ2/σ1が適当な閾値γthlよりも小さくなるかを判別することによりひだのエッジであるかを判別する。
【0080】
次に、CPU23はステップS25で、図20に点線で示すように、管腔の候補領域Bij(0≦i<O,0≦j<P)を内視鏡画像の周辺に設定し、ステップS26で図21に示すように管腔の各候補領域Bijの中心位置を中心とした半径の異なる2円r1q,r2qを設定する。
【0081】
このステップS26の2円の設定が終了すると、ステップS27で2円によって囲まれる範囲に存在するひだのエッジを有する領域Aijの数を求める。ただし、図22に示すように領域Aij内で求めた回帰直線に直交するベクトルと重心位置から管腔の候補領域の中心位置に向かうベクトルとのなす角度θを算出し、この角度θが適当な閾値θthlより小さい場合、有効なひだのエッジが存在する領域として判別し領域Aijの総数を求める。
【0082】
次に、CPU23はステップS28で、前記ステップS27で数えた領域Aijの数が最大か判断され、最大と判断されると、ステップS29で、領域Aijの数と管腔の候補位置Bijを記憶する。
【0083】
前記ステップS28で、数えた領域Aijの数が最大でないと判断されたり、又は前記ステップS29での領域Aijの数と管腔の候補位置Bijの記憶が終了すると、ステップS30で図21に示すように2円の半径をr1q+1,r2q+1に変更し、ステップS31でこのステップS30で変更した2円r1q+1,r2q+1が内視鏡画像の領域Aij内に存在するか否かを判別し、内視鏡画像の領域Aij内の場合はステップS27に戻り再度ステップS27からS30が繰り返す処理がなされ、内視鏡画像の領域Aij外の場合は、ステップS32で管腔の候補位置の変更を行う。
【0084】
次に、ステップS33で、前記ステップS32で変更した管腔の候補位置に対して、管腔候補領域Bij外であるか判別し、管腔候補領域Bij内であると前記ステップS26に戻り、ステップS26からS32の処理が繰り返され、管腔候補領域Bij外であると判定されると、ステップS34で、前述した第1の実施形態と同様に図11に示す管腔の候補領域を、例えば、8領域Di(0≦i<8)に分割し、前記ステップS32で変更された管腔の候補領域の位置が含まれる領域Diを求める。この求めた領域Diから管腔の方向を、ステップS35で図12に示すように、内視鏡画像の周辺部に隣接して表示する。
【0085】
この第3の実施形態の2円によって囲まれる領域を狭めることにより、より円弧に近いひだを検出することが可能になる。
【0086】
また、管腔の候補領域を細かく設定することにより管腔の位置を精度よく推定することができる。
【0087】
この第3の実施形態は、管腔の方向を検出するために有効な管壁のひだのエッジのみを検出し、このエッジから管腔の方向を容易、且つ正確に検出できる。
【0088】
[付記]
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。
【0089】
(付記1)
体腔内に挿入された内視鏡より内視鏡画像を入力する画像入力手段と、
前記画像入力手段により入力された前記内視鏡画像より所定の濃度値の画素を抽出する画素抽出手段と、
前記画素抽出手段により抽出された前記所定の濃度値の画素の分布の連続性に基づき特定の領域の形状を求める形状推定手段と、
前記領域形状推定手段により求められた形状から前記内視鏡の前記体腔内への挿入方向を決定する挿入方向決定手段と、
を備えたことを特徴とする内視鏡挿入方向検出装置。
【0090】
(付記2)
体腔内に挿入された内視鏡で撮像生成された内視鏡画像を複数の領域に分割する内視鏡画像領域分割手段と、
この内視鏡画像領域分割手段で分割した複数の領域毎の画素から得られる値を閾値と比較して、閾値以上の画素分布を抽出する画素抽出手段と、
管腔位置候補領域を設定する管腔位置候補領域設定手段と、
この管腔位置候補領域設定手段で設定した管腔位置候補領域から前記内視鏡画像領域に対して、半径の異なる複数の円を設定し、この複数の円内に配置される前記画素抽出手段で抽出した閾値以上の画素分布から管腔方向を推定する管腔方向推定手段と、
この管腔方向推定手段で推定した管腔方向から前記管腔位置候補領域に内視鏡挿入方向を決定する挿入方向決定手段と、
この挿入方向設定手段で設定された内視鏡挿入方向を基に内視鏡画像と共に挿入方向を表示させる挿入方向表示手段と、
を備えたことを特徴とする内視鏡挿入方向検出システム。
【0091】
(付記3)
前記画素抽出手段は、体腔内で鏡面反射されて生成されるハレーション部分、又は体腔内壁のひだのエッジ部分の画素であることを特徴とする付記1記載の内視鏡挿入方向検出装置、又は付記2記載の内視鏡挿入方向検出システム。
【0092】
(付記4)
前記管腔方向推定手段は、前記画素抽出手段で抽出した画素分布の重心位置と、前記管腔位置候補領域設定手段で設定した管腔位置候補領域の中心位置とを結ぶベクトルと、前記画素分布の回帰直線と直交するベクトルとの角度差から挿入方向決定に有用な管腔方向を推定することを特徴とした付記2に記載の内視鏡挿入方向検出システム。
【0093】
(付記5)
前記管腔方向推定手段は、前記画素抽出手段で抽出したひだのエッジの勾配ベクトル演算し、この勾配ベクトルが同じ方向のエッジ分布から管腔方向を推定することを特徴とした付記2に記載の内視鏡挿入方向検出システム。
【0094】
(付記6)
前記管腔位置候補設定手段で設定した管腔位置候補領域から内視鏡画像領域に対して設けた半径の異なる複数の円の中心位置は、管腔位置候補領域の同一領域内であることを特徴した付記2に記載の内視鏡挿入方向検出システム。
【0095】
(付記7)
前記管腔方向推定手段で半径の異なる複数の円の範囲に配置された閾値以上の画素分布から推定した管腔方向と、前記複数の円の中心位置の方向が一致していることを特徴とした付記2に記載の内視鏡挿入方向検出システム。
【0096】
(付記8)
内視鏡画像を入力する画像入力手段と、
前記画像入力手段から入力された内視鏡画像において、高い濃度値を有する画素を抽出する画素抽出手段と、
前記画素抽出手段で抽出した画素に対して、特定領域内に存在する画素を選択する画素選択手段と、
前記画素選択手段で選択された画素と、前記特定領域の形状に基づき内視鏡の挿入方向を決定する挿入方向決定手段と、
前記挿入方向決定手段で決定された挿入方向を表示する表示手段と、
を備えたことを特徴とする内視鏡挿入方向検出方法。
【0097】
(付記9)
大腸内視鏡画像を入力する画像入力手段と、
前記画像入力手段から入力された大腸内視鏡画像において、大腸のひだのエッジ部分の画素を抽出する画素抽出手段と、
前記画素抽出手段で抽出したエッジ部分の画素に対して、特定領域内に存在する画素を選択する画素選択手段と、
前記画素選択手段で選択されたエッジ部分の画素と、前記特定領域の形状に基づき内視鏡の挿入方向を決定する挿入方向決定手段と、
前記挿入方向決定手段で決定された挿入方向を表示する表示手段と、
を備えたことを特徴とする内視鏡挿入方向検出方法。
【0098】
(付記10)
前記画素選択手段の特定領域とは、複数の異なる円又は楕円によって囲まれる領域により設定されることを特徴とする付記8または付記9に記載の内視鏡挿入方向検出方法。
【0099】
(付記11)
前記複数の異なる円又は楕円の中心位置は、同一又は同一領域内に設定されることを特徴とする付記10に記載の内視鏡挿入方向検出方法。
【0100】
(付記12)
前記挿入方向決定手段で決定する挿入方向は、前記複数の円又は楕円の同一の中心位置、又は同一の領域内の方向を挿入方向とすることを特徴とした付記11に記載の内視鏡挿入方向検出方法。
【0101】
(付記13)
前記挿入方向決定手段は、前記画素選択手段で選択された画素の分布形状から推定される管腔方向と、特定領域の形状から推定される管腔方向の同一性に応じて、内視鏡の挿入方向を決定することを特徴とした付記8又は付記9に記載の内視鏡挿入方向検出方法。
【0102】
(付記14)
前記挿入方向決定手段は、前記画素選択手段で選択されたエッジ部分の画素うち、ほぼ同一方向を向くエッジ部分の分布形状と前記特定領域の形状に基づき内視鏡の挿入方向を決定することを特徴とした付記8又は付記9に記載の内視鏡挿入方向検出方法。
【0103】
(付記15)
前記挿入方向決定手段は、前記画素選択手段で選択されたエッジ部分の画素のうち、ほぼ同一方向を向くエッジ部分の分布形状から推定される管腔の方向と、前記特定領域の形状から推定される管腔方向の同一性に基づき内視鏡の挿入方向を決定することを特徴とした付記8又は付記9に記載の内視鏡挿入方向検出方法。
【0104】
【発明の効果】
本発明の内視鏡挿入方向検出装置は、内視鏡画像から管腔位置及び内視鏡挿入方向が確実に検出でき、その挿入方向を内視鏡画像と共に表示装置に表示させることで、内視鏡挿入操作が可能となり、被検体に対して不快感を与えることなく内視鏡挿入操作が可能となる。
【図面の簡単な説明】
【図1】本発明に係る内視鏡装置の全体構成を示すブロック図。
【図2】本発明に係る内視鏡装置の管腔内への挿入操作を説明する説明図。
【図3】本発明の第1の実施形態である内視鏡挿入方向検出装置の構成を示すブロック図。
【図4】本発明に係る内視鏡を管腔内の屈曲部へ挿入した状態を説明する説明図。
【図5】本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図。
【図6】本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図。
【図7】本発明の第1の実施形態の内視鏡挿入方向検出装置の動作を説明するフローチャート。
【図8】本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像を複数領域への分割例を説明する説明図。
【図9】本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像の周辺に設定する管腔の候補領域を説明する説明図。
【図10】本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔方向の設定動作を説明する説明図。
【図11】本発明の第1の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔の候補領域から挿入方向の決定動作を説明する説明図。
【図12】本発明の第1の実施形態の内視鏡挿入方向検出装置で検出された内視鏡挿入方向を内視鏡画像と併設表示例を説明する説明図。
【図13】本発明の第2の実施形態の内視鏡挿入方向検出装置による内視鏡画像からハレーション位置検出を説明する説明図。
【図14】本発明の第2の実施形態の内視鏡挿入方向検出装置による内視鏡挿入方向検出を説明する説明図。
【図15】本発明の第3の実施形態に係る内視鏡挿入方向検出装置の撮像画像を説明する説明図。
【図16】本発明の第3の実施形態に係るに内視鏡挿入方向検出装置の動作を説明するフローチャート。
【図17】本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ検出を説明する説明図。
【図18】本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ方向の分類を説明する説明図。
【図19】本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から抽出されたエッジの分布を説明する説明図。
【図20】本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域を説明する説明図。
【図21】本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域の選定処理を説明する説明図。
【図22】本発明の第3の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔挿入方向の設定を説明する説明図。
【符号の説明】
1…内視鏡
2…操作部
3…挿入部
4…制御装置
8…映像信号処理回路
9…観察モニタ
11…アナログ/デジタル変換器(A/D)
12…挿入方向検出装置
20…コンピュータ
21…表示装置
22…入力/出力制御回路
23…中央処理装置(CPU)
24…メインメモリ
25…記憶装置
26…メインプログラム
Claims (5)
- 体腔内に挿入された内視鏡より内視鏡画像を入力する画像入力手段と、
前記画像入力手段により入力された前記内視鏡画像より、所定の濃度値の画素を抽出するまたは前記内視鏡画像を形成する画素のうち近隣の画素との濃度値の変化率の勾配が所定値である画素を抽出する画素抽出手段と、
前記画素抽出手段により抽出された画素により構成される特定の領域の形状を求める領域形状推定手段と、
前記領域形状推定手段により求められた特定の領域の形状から前記内視鏡の前記体腔内への挿入方向を決定する挿入方向決定手段と、
を備えたことを特徴とする内視鏡挿入方向検出装置。 - 前記画素抽出手段は、前記濃度値が所定の閾値以上である画素を抽出するまたは前記内視鏡画像を形成する画素のうち近隣の画素との濃度値の変化率の勾配が所定の閾値以上である画素を抽出するものであり、
前記領域形状推定手段は、前記体腔内における管腔位置候補領域を設定するとともに、前記管腔位置候補領域から前記内視鏡画像領域に対して半径の異なる複数の円を設定し、当該複数の円内における前記画素抽出手段で抽出した画素の分布から管腔領域を求めるものであることを特徴とする請求項1に記載の内視鏡挿入方向検出装置。 - 前記画素抽出手段は、前記所定の濃度値の画素として、前記体腔内で鏡面反射されて生成されるハレーションの部分の画素を抽出するものであることを特徴とする請求項1に記載の内視鏡挿入方向検出装置。
- 前記画素抽出手段は、前記内視鏡画像を形成する画素のうち近隣の画素との濃度値の変化率の勾配が所定値である画素を抽出することにより、前記体腔内壁のひだのエッジ部分の画素を抽出することを特徴とする請求項1に記載の内視鏡挿入方向検出装置。
- 前記領域形状推定手段は、前記画素抽出手段で抽出した前記ひだのエッジ部分の勾配ベクトルを演算して、当該勾配ベクトルが実質的に同じ方向となるエッジ分布から前記特定の領域の形状を求めるものであることを特徴とする請求項4に記載の内視鏡挿入方向検出装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002337001A JP4077716B2 (ja) | 2002-11-20 | 2002-11-20 | 内視鏡挿入方向検出装置 |
AU2003284568A AU2003284568A1 (en) | 2002-11-20 | 2003-11-19 | Endoscope insertion direction detecting device, endoscope insertion direction detecting system, and endoscope insertion direction detecting method |
CNB2003801038114A CN100411576C (zh) | 2002-11-20 | 2003-11-19 | 内窥镜插入方向检测装置、内窥镜插入方向检测系统及内窥镜插入方向检测方法 |
PCT/JP2003/014711 WO2004045397A1 (ja) | 2002-11-20 | 2003-11-19 | 内視鏡挿入方向検出装置、内視鏡挿入方向検出システム及び内視鏡挿入方向検出方法 |
EP03774048.7A EP1566140B1 (en) | 2002-11-20 | 2003-11-19 | Endoscope insertion direction detecting device |
US10/531,496 US7559888B2 (en) | 2002-11-20 | 2003-11-19 | Endoscope insertion direction detecting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002337001A JP4077716B2 (ja) | 2002-11-20 | 2002-11-20 | 内視鏡挿入方向検出装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004167010A JP2004167010A (ja) | 2004-06-17 |
JP2004167010A5 JP2004167010A5 (ja) | 2005-11-24 |
JP4077716B2 true JP4077716B2 (ja) | 2008-04-23 |
Family
ID=32321827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002337001A Expired - Fee Related JP4077716B2 (ja) | 2002-11-20 | 2002-11-20 | 内視鏡挿入方向検出装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7559888B2 (ja) |
EP (1) | EP1566140B1 (ja) |
JP (1) | JP4077716B2 (ja) |
CN (1) | CN100411576C (ja) |
AU (1) | AU2003284568A1 (ja) |
WO (1) | WO2004045397A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4885388B2 (ja) * | 2001-09-25 | 2012-02-29 | オリンパス株式会社 | 内視鏡挿入方向検出方法 |
US8016749B2 (en) | 2006-03-21 | 2011-09-13 | Boston Scientific Scimed, Inc. | Vision catheter having electromechanical navigation |
JP5094036B2 (ja) * | 2006-04-17 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入方向検出装置 |
WO2009069394A1 (ja) * | 2007-11-29 | 2009-06-04 | Olympus Medical Systems Corp. | 内視鏡システム |
JP5267239B2 (ja) * | 2008-12-26 | 2013-08-21 | 株式会社リコー | 画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体 |
CN102123650B (zh) * | 2009-01-29 | 2014-04-16 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
TWI432168B (zh) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | 內視鏡導航方法以及內視鏡導航系統 |
JP5948203B2 (ja) * | 2011-10-12 | 2016-07-06 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP6128796B2 (ja) * | 2012-10-25 | 2017-05-17 | オリンパス株式会社 | 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム |
CN106793992B (zh) * | 2014-05-14 | 2020-06-12 | Sync-Rx有限公司 | 对象识别 |
WO2016194200A1 (ja) * | 2015-06-04 | 2016-12-08 | オリンパス株式会社 | 可撓管挿入装置 |
WO2018069992A1 (ja) * | 2016-10-12 | 2018-04-19 | オリンパス株式会社 | 挿入システム |
WO2018138828A1 (ja) * | 2017-01-26 | 2018-08-02 | オリンパス株式会社 | 画像処理装置、動作方法およびプログラム |
US10481385B2 (en) * | 2017-05-11 | 2019-11-19 | Kaiser Optical Systems Inc. | Endoscopic immersion probe end optics for laser spectroscopy |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2225188B (en) * | 1988-11-16 | 1993-05-12 | Olympus Optical Co | Methods of detecting endoscope insertion direction |
GB8830465D0 (en) * | 1988-12-31 | 1989-03-01 | Olympus Optical Co | Methods of detecting endoscope insertion direction |
US5018509A (en) * | 1989-02-21 | 1991-05-28 | Olympus Optical Co., Ltd. | Endoscope insertion controlling apparatus |
US5347987A (en) * | 1991-04-08 | 1994-09-20 | Feldstein David A | Self-centering endoscope system |
JP3289936B2 (ja) * | 1991-12-10 | 2002-06-10 | オリンパス光学工業株式会社 | 電動湾曲式内視鏡装置 |
US5658238A (en) * | 1992-02-25 | 1997-08-19 | Olympus Optical Co., Ltd. | Endoscope apparatus capable of being switched to a mode in which a curvature operating lever is returned and to a mode in which the curvature operating lever is not returned |
JP4885388B2 (ja) * | 2001-09-25 | 2012-02-29 | オリンパス株式会社 | 内視鏡挿入方向検出方法 |
-
2002
- 2002-11-20 JP JP2002337001A patent/JP4077716B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-19 CN CNB2003801038114A patent/CN100411576C/zh not_active Expired - Fee Related
- 2003-11-19 WO PCT/JP2003/014711 patent/WO2004045397A1/ja active Application Filing
- 2003-11-19 US US10/531,496 patent/US7559888B2/en active Active
- 2003-11-19 EP EP03774048.7A patent/EP1566140B1/en not_active Expired - Lifetime
- 2003-11-19 AU AU2003284568A patent/AU2003284568A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP1566140A1 (en) | 2005-08-24 |
WO2004045397A1 (ja) | 2004-06-03 |
CN1713848A (zh) | 2005-12-28 |
US7559888B2 (en) | 2009-07-14 |
JP2004167010A (ja) | 2004-06-17 |
US20060015011A1 (en) | 2006-01-19 |
CN100411576C (zh) | 2008-08-20 |
EP1566140A4 (en) | 2008-03-19 |
EP1566140B1 (en) | 2016-01-13 |
AU2003284568A1 (en) | 2004-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11145053B2 (en) | Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope | |
JP5276225B2 (ja) | 医用画像処理装置及び医用画像処理装置の作動方法 | |
JP6150583B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
EP1994878B9 (en) | Medical image processing device and medical image processing method | |
JP5683888B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP4077716B2 (ja) | 内視鏡挿入方向検出装置 | |
US8837821B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
JP5424584B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 | |
JP5597049B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2003093328A (ja) | 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置 | |
US20090041320A1 (en) | Endoscope insertion direction detecting device and endoscope insertion direction detecting method | |
JP4902735B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP5526044B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US10178941B2 (en) | Image processing apparatus, image processing method, and computer-readable recording device | |
JP5856999B2 (ja) | 医用画像処理装置 | |
WO2012153568A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
JPWO2020008651A1 (ja) | 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム | |
US20220400931A1 (en) | Endoscope system, method of scanning lumen using endoscope system, and endoscope | |
KR20160118037A (ko) | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 | |
JP2009028248A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP4855673B2 (ja) | 医用画像処理装置 | |
JP2006068373A (ja) | 乳頭検出装置およびそのプログラム | |
JP4856275B2 (ja) | 医用画像処理装置 | |
JP2008093287A (ja) | 医療用画像処理装置及び医療用画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050929 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080201 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4077716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |