JP4274854B2 - 内視鏡挿入形状解析装置 - Google Patents
内視鏡挿入形状解析装置 Download PDFInfo
- Publication number
- JP4274854B2 JP4274854B2 JP2003162844A JP2003162844A JP4274854B2 JP 4274854 B2 JP4274854 B2 JP 4274854B2 JP 2003162844 A JP2003162844 A JP 2003162844A JP 2003162844 A JP2003162844 A JP 2003162844A JP 4274854 B2 JP4274854 B2 JP 4274854B2
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- shape
- insertion portion
- loop
- endoscope insertion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
【発明の属する技術分野】
本発明は、内視鏡挿入部の体腔内での挿入形状を解析して、この挿入形状データを用いて内視鏡の挿入操作性を向上させる内視鏡挿入形状解析装置に関する。
【0002】
【従来の技術】
一般に電子内視鏡は、先端に電子撮像素子を設けた細長で可撓性を有する挿入部を有し、この挿入部を被検体である体腔内の管腔に外部から挿入し、挿入部先端の電子撮像素子で撮像生成した画像信号を基にモニタ画面に再生される画像から管腔内を観察したり、及び挿入部に設けられた鉗子チャンネルから挿入された処置用鉗子で生体組織の採取や治療処置を行うようになっている。
【0003】
ところで、体腔内の管腔は、例えば、大腸や小腸等のように曲がった管腔内に内視鏡を挿入観察する際に、内視鏡挿入部が管腔のどの位置まで挿入されているか、あるいは内視鏡挿入部がどのような形状になっているか判明すると、内視鏡による観察処置の操作性が向上する。
【0004】
このため内視鏡の挿入部が管腔内に挿入された位置や、挿入形状等を被検体である人体に無害で、いかなる管腔でも使用できる内視鏡の形状検出装置が提案されている。
【0005】
例えば、複数の第1のコイルからなるソースコイルと、このソースコイルの複数の第1のコイルからの磁界を検出する複数の第2のコイルからなるセンスコイルと、前記ソースコイルまたはセンスコイルのいずれか一方を体腔内に挿入される内視鏡の挿入部に配置し、前記センスコイルで検出したソースコイルの磁界に基づいて、内視鏡挿入部の形状を推定する形状推定手段とを有する内視鏡形状検出装置において、前記形状推定手段で推定した挿入部形状からループ形状を検出し、そのループ形状が検出されると警告を発生する内視鏡形状検出装置がある (例えば、特許文献1参照)。
【0006】
【特許文献1】
特開2000−175861号公報(カラム0011乃至カラム0049、図1乃至図10)。
【0007】
【発明が解決しようとする課題】
従来、内視鏡による被検体の検査における術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中し、必要に応じて内視鏡挿入部の形状検出装置で生成表示される挿入部形状画像を見るというスタイルが一般的である。
【0008】
この内視鏡検査において、挿入部の形状がループを形成した際に、そのループが形成されたことを検出して警告を発して術者に注意を促す内視鏡挿入支援機能を有する内視鏡形状検出装置が上記特許文献1に提案されている。
【0009】
更に、挿入性を向上すべく、実際に挿入される内視鏡挿入部の動きに応じた情報提供を行ったり、内視鏡の挿入方法や操作指示等を示す情報提供を行うことが望まれている。
【0010】
本発明は、これらの事情に鑑みてなされたもので、内視鏡挿入部の挿入形状を解析し、内視鏡の挿入性の向上につながる、大腸内での内視鏡挿入操作による大腸伸展の有無の情報、内視鏡挿入操作を行っている際内視鏡先端に一定以上の角度を与えた状態であるか否かの情報、内視鏡挿入部にループが形成された際にこのループを解除するループ解除方法に関する情報の何れかの情報の提供を行うことができる内視鏡挿入形状解析装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
前記目的を達成するため本発明の一態様による内視鏡挿入形状解析装置は、体腔内に挿入された内視鏡挿入部の特定の位置を複数検出する位置検出手段と、
前記位置検出手段により検出した位置を時系列的に記憶する位置記憶手段と、
前記位置記憶手段に記憶された位置を基に、内視鏡挿入部の特定の位置の時間的な変動を解析すると共に、内視鏡挿入部の形状を解析する形状解析手段と、
前記解析手段による解析の結果に応じて、大腸内での内視鏡挿入操作による大腸伸展の有無の情報、内視鏡挿入操作を行っている際内視鏡先端に一定以上の角度を与えた状態であるか否かの情報、内視鏡挿入部にループが形成された際にこのループを解除するループ解除方法に関する情報の何れかを提供する情報提供手段と、
を備え、
前記内視鏡挿入部のループ解除方法の情報は、前記内視鏡挿入部の挿入操作時にループが形成された際に、そのループ状態を認識表示すると共に、このループ状態を解除して内視鏡挿入部の直線化を行うための直線化操作方法の情報である
ことを特徴とする。
【0016】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明に係る内視鏡挿入形状解析装置の第1の実施形態について図1乃至図6を用いて説明する。
【0017】
図1は本発明に係る内視鏡挿入形状解析を行う画像処理装置を用いた電子内視鏡システムの全体構成を示すブロック図、図2は本発明に係る電子内視鏡システムの画像処理装置における挿入位置座標系を説明する説明図、図3は本発明に係る電子内視鏡システムの内視鏡挿入形状観測装置で生成される挿入位置検出データのデータ構造を説明する説明図、図4は本発明に係る電子内視鏡システムの画像処理装置の第1の実施形態である内視鏡画像や挿入形状データ等の処理作用を説明するフローチャート、図5は本発明に係る電子内視鏡システムの画像処理装置の第1の実施形態である被検体の伸展検出作用を説明するフローチャート、図6は本発明に係る電子内規鏡システムの画像処理装置において、内視鏡検査時にディスプレイに表示される表示画面を説明する説明図である。
【0018】
最初に本発明の第1の実施形態に係る内視鏡挿入形状を解析する画像処理装置を用いた電子内視鏡システム1を図1を用いて説明する。
【0019】
電子内視鏡システム1は、内視鏡装置2と、内視鏡挿入形状観測装置3、及び画像処理装置4から構成されている。
【0020】
内視鏡装置2は、電子内視鏡12、ビデオプロセッサ10、光源装置11、及び観察モニタ14からなっている。
【0021】
電子内視鏡12は、図示していないが、被検体である体腔の管腔内に挿入される細長の挿入部先端に電子撮像素子が設けられ、その電子撮像素子を駆動制御して管腔内の観察部位の撮像映像信号を生成出力させると共に、挿入部内に設けたライトガイドにより管腔内の観察部位を照明する観察光が照射されるようになっている。
【0022】
更に、電子内視鏡12の挿入部の先端部分には、湾曲部が設けられ、挿入部基端に設けられた操作部から湾曲操作可能になっている。
【0023】
更にまた、電子内視鏡12の操作部には、レリーズスイツチ12aが設けられ、かつ、ビデオプロセッサ10との間で電子撮像素子を駆動制御したり、撮像生成された撮像映像信号を送受信するケーブルと、光源装置11からの観察光をライトガイドに導くライトガイドケーブル等が設けられている。
【0024】
また、電子内視鏡12は、図示していないが、管腔での挿入部の挿入位置や形状を検出するための検出機能が設けられている。この挿入の位置や形状検出機能は、図示していない、内視鏡の挿入部に所定の間隔で設けられた複数のソースコイルと、内視鏡挿入形状観測装置3に設けられた複数のセンスコイルを有するセンスコイルユニット19からなっている。
【0025】
ビデオプロセッサ10は、前記電子内視鏡12の電子撮像素子を駆動制御すると共に、電子撮像素子で光電変換して撮像生成された動画の映像信号を所定の信号処理を行い、輝度信号や色信号からなるY/C信号、またはRGB信号等を生成する。
【0026】
このビデオプロセッサ10で生成された輝度信号と色信号からなるY/C信号またはRGB信号は、観察モニタ14と、画像処理装置15へと直接出力されるようになっている。
【0027】
また、前記レリーズスイッチ12aが操作されると、撮像画像の静止画像の出力指示が可能となっている。
【0028】
なお、ビデオプロセッサ10には、図示していないが、内視鏡検査に関する検査情報を入力する機能を有している。
【0029】
光源装置11は、照明光源であるランプと、そのランプの点灯回路等からなり、ランプ点灯時に投射された照明光を前記電子内視鏡12のライトガイドヘと供給し、挿入部先端から管腔の観察部位へと投射される。
【0030】
観察モニタ14は、前記ビデオプロセッサ10で生成されたY/C信号またはRGB信号等を基に内視鏡画像を表示するものである。
【0031】
内視鏡挿入形状観測装置3は、内視鏡装置2の周辺装置であり、電子内視鏡12に設けられたソースコイルからの磁界を検出するセンスコイルユニット19と、このセンスコイルユニット19によって検出された磁界に基づいて内視鏡挿入部の形状を推定する形状処理装置13と、この形状処理装置13によって推定された内視鏡挿入部の形状を表示するモニタ(ディスプレイ)13bからなっている。
【0032】
形状処理装置13は、ソースコイルを駆動する駆動信号を電子内視鏡12に出力してソースコイルに磁界を発生させ、この磁界を検出するセンスコイルユニット19からの検出信号に基づいて、各ソースコイルの位置座標データの算出や、その算出された位置座標データから内視鏡挿入部の形状を推定している。また、推定した内視鏡挿入部の形状をモニタ13bに表示するための挿入部形状画像信号を生成すると共に、画像処理装置4に出力する内視鏡挿入部の形状を示す3次元座標情報、及び形状表示属性等の挿入形状データを生成するように構成されている。
【0033】
なお、この内視鏡挿入形状観測装置3は、形状処理装置13で処理生成されてモニタ13bに表示される挿入部形状画像の回転角、拡大縮小率等の形状表示属性を、図示していない操作パネルからの指示入力により、変更可能となっている。
【0034】
前記形状処理装置13で生成された挿入形状データは、画像処理装置4へ出力可能となっている。
【0035】
なお、この内視鏡挿入形状観測装置3は、内視鏡検査中、挿入形状データを連続的に画像処理装置4へ出力すると共に、前記電子内視鏡12に設けられているレリーズスイツチ12aの操作時の挿入形状データのみを出力させることもできる。
【0036】
画像処理装置4は、パーソナルコンピュータ(以下、単にPCと称する)15と、このPC15に各種指示入力するためのマウス16とキーボード17と、及びPC15で処理された各種情報データや画像情報を再生表示するディスプレイ18からなっている。
【0037】
更に、PC15には、前記内視鏡挿入形状観測装置3の形状処理装置13の通信ポート13aから出力される挿入形状データを取り込む通信ポート15a、前記内視鏡装置2のビデオプロセッサ10の通信ポート10aから出力される内視鏡検査情報を取り込む通信ポート15bと、及び前記内視鏡2のビデオプロセッサ10で生成された動画映像信号を所定の圧縮画像データに変換する動画像入力ボード15cを有している。
【0038】
つまり、画像処理装置4の動画像入力ボード15cには、前記ビデオプロセッサ10で生成された動画像の映像信号が入力されて、その動画像の映像信号を所定の圧縮動画映像信号データ、例えば、MJPEG形式の圧縮画像データに変換して、PC15の図示していない記録装置に保存される。
【0039】
なお、一般的には、内視鏡検査開始前には、ビデオプロセッサ10から、内視鏡検査に関連する検査情報が入力され、その入力された検査情報データを基に観察モニタ14に文字や数字の形式で表示されると共に、その検査情報データは、通信ポート10aから通信ポート15bを介して、画像処理装置4に送信記録することも可能である。
【0040】
なお、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コード、及び検査日時などである。
【0041】
つまり、画像処理装置4は、必要に応じてビデオプロセッサ10と接続して、ビデオプロセッサ10からの各種情報データを受信保存するようになっている。
【0042】
このような構成の電子内視鏡システム1における内視鏡挿入形状観測装置3における挿入形状データの生成について図2と図3を用いて説明する。
【0043】
内視鏡挿入形状観測装置3は、前記電子内視鏡12の電子撮像素子で撮像生成される撮像映像信号の1フレーム毎に電子内視鏡12の挿入部に内蔵されたM個のソースコイルの3次元座標を含む挿入形状データを生成する。この挿入形状データを基に挿入部形状画像を生成して、ディスプレイ13bに表示すると共に、挿入形状データは画像処理装置4に出力供給する。
【0044】
この内視鏡挿入形状観測装置3で検出するソースコイルの座標系は、図2に示すように、電子内視鏡12の挿入部に挿入形状推定のためのM個のソースコイルが内蔵されており、第jフレームの挿入部先端から数えてi番目(ただし、i=0、1、…、M−1)のソースコイルの3次元座標(Xj i,Yj i,Zj i)を表すようになっている。
【0045】
この内視鏡挿入形状観測装置3で検出したソースコイルの座標系を示す挿入形状データの構造は、図3に示すように、1つのフレームに関係するデータが1つのパケットとして送信される。1つのパケット内には、挿入形状データの取得作成時刻、表示属性情報、付属情報、ソースコイル座標等のデータからなっている。このソースコイル座標データは、電子内視鏡12の挿入部に内蔵されているソースコイルの3次元座標が挿入部先端から挿入部の基端に設けられている操作部側に向かって順に並んで配置されるようになっている。尚、内視鏡挿入形状観測装置3の検出範囲外のソースコイルの座標は、所定の定数が設定されるようになっているものとする。
【0046】
次に、前記画像処理装置4における前記内視鏡装置2のビデオプロセッサ10からの検査情報と内視鏡画像、及び前記内視鏡挿入形状観測装置3の形状処理装置13からの挿入形状データの取得記録処理作用、並びに被検体である大腸の伸展検出について、図4乃至図6を用いて説明する。
【0047】
この処理動作は、画像処理装置4に設けられた検査用アプリケーションをPC15に展開駆動させることで実現する。
【0048】
内視鏡検査を始めるにあたり、ビデオプロセッサ10では検査情報を入力し、画像処理装置4のPC15では検査用アプリケーションが起動される。この検査用アプリケーションを起動されるとディスプレイ18には、図6に示す検査ウィンドウ100と内視鏡画像ウィンドウ105が表示されるようになっている。
【0049】
この画像処理装置4のPC15に検査用アプリケーションが展開駆動し、前記ディスプレィ18に検査ウィンドウ100が表示されると、PC15はステップS1で、ビデオプロセッサ10からの検査情報及び内視鏡画像データ、内視鏡挿入形状観測装置3の形状処理装置13からの挿入形状データを受信保存するモードに設定される。
【0050】
次に、PC15はステップS2で、術者がマウス16またはキーボード17を操作して、前記検査ウィンドウ100に表示された検査開始ボタン(図中Start Exam.と表記)101がオン操作されたかどうか判断する。検査開始ボタン101がオン操作されるまで待機し、オン操作されるとステップS3以降が実行される。
【0051】
PC15はステップS3で、通信ポート15aを開き、内視鏡挿入形状観測装置3の形状処理装置13との通信を開始し、ステップS4で、通信ポート15bを開き、ビデオプロセッサ10との通信を開始する。
【0052】
PC15はステップS5で、ビデオプロセッサ10に対して、検査情報の取得コマンドを通信ポート15bからビデオプロセッサ10の通信ポート10aに送信し、この検査情報取得コマンドを受信したビデオプロセッサ10は、検査情報をPC15へと送信する。
【0053】
このステップS5でビデオプロセッサ10から送信され検査情報をPC15は、ステップS6で図示していない記録装置に記録保存する。
【0054】
次に、PC15はステップS7で、通信ポート15aから形状処理装置13の通信ポート13aに対して挿入形状データの取得コマンドを送信し、その挿入形状データ取得コマンドを受信した形状処理装置13は、挿入形状データの送信出力を開始する。この送信は、PC15と形状処理装置13の間の通信が終了し、通信ポート15aが閉じられるまで続けられる。
【0055】
PC15はステップS8で、前記ステップS7で形状処理装置13から送信出力された挿入形状データを受信し、前記ステップS6で記録保存した検査情報と関連づけて、PC15に設けられている図示していないハードディスクにファイル記録保存する(以下、挿入形状ファイルと称する)。
【0056】
次に、PC15はステップS9で、動画像入力ボード15cに前記ビデオプロセッサ10から入力された動画映像信号をMJPEG形式の圧縮画像データに変換して、前記ステップS6で記録保存した検査情報と関連付けて、PC15の図示していないハードディスクにファイル記録保存する(以下、画像ファイルと称する)と共に、前記動画像入力ボード15cに入力されている動画像を図6に示す内視鏡画像ウィンドウ105の内視鏡画像領域106に表示させる。
【0057】
次に、PC15はステップS10で、図5に示すステップS21以降の警告処理が実行されて、この警告処理が終了すると、PC15はステップS11で、検査ウィンドウ100の検査終了ボタン(図中End Exam.と表記)102が操作されたか判断し、検査終了ボタン102が操作されていないと判定されると前記ステップS8に戻り、検査終了ボタン102が操作されたと判定されると、ステップS12で、通信ポート15a、15bを閉じて形状処理装置13とビデオプロセッサ10との情報データの通信を終了させる。
【0058】
前記ステップS10の警告処理について、図5を用いて説明する。このステップS10の警告処理は、被検体である大腸の伸展検出処理である。前記電子内視鏡12の挿入部先端がほぼ停止した状態で、内視鏡挿入部の大腸内での挿人長が伸びていれば大腸が伸展していると考えられるために、内視鏡挿入部の挿人長検出により大腸伸展を検出するものである。
【0059】
前記PC15はステップS21で、前記ステップS8で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップS11以降の処理に移行する。
【0060】
前記ステップS21で、前フレームの挿入形状データが取得されていると判定されると、PC15はステップS22で、前フレームと現時点フレームの挿入形状データから、電子内視鏡12の挿入部先端の移動量difを数式1から算出する。
【0061】
【数1】
この数式1により算出される移動量difは、挿入部の先端からm個のデータのみを使用している。この移動量difの算出は、数式1に限定されるものではなく、たとえばユークリッド距離を用いてもよい。
【0062】
前記ステップS22において数式1で算出した移動量difである挿入部先端の移動距離は、ステップS23で所定の閾値と比較され、移動量difである移動距離が所定の閾値より大きいと挿入部先端は挿入移動中と判定してステップS11以降の処理に移行し、閾値よりも小さいと挿入部先端は停止状態と判定されて、ステップS24以降が実行される。
【0063】
PC15はステップS24で、挿入形状観測装置3の形状処理装置13で検知している現時点のフレームの電子内視鏡12の挿入部の長さを求める。この電子内視鏡12の挿入部の長さは、例えば、形状処理装置13で生成する挿入形状データの有効なソースコイル座標データ数を基に内視鏡挿入部の長さを算出する。
【0064】
次に、PC15はステップS25で、前記ステップS24で算出した現時点のフレームの挿入部の長さと、この現時点のフレームの前のフレームの内視鏡挿入部の長さとを比較する。このステップS25の比較の結果、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも長いと挿入部は挿入移動中と判定してステップS11以降の処理に移行し、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも短いと挿入部は停止もしくは引き抜き状態と判定されて、ステップS26以降が実行される。
【0065】
PC15は前記ステップS25で前フレーム時の挿入部の長さよりも現フレームの挿入部の長さが短いことは、大腸の伸展が生じていないと判定し、ステップS26において、内視鏡の挿入部先端が停止し、かつ、現フレームの内視鏡挿入部の長さが前フレーム時の長さの方が長いことが所定のフレーム数続いたかどうか判定する。
【0066】
このステップS26で、前記電子内視鏡の挿入部先端が停止状態で、前フレームの挿入部の長さの増加状態が所定のフレーム数続いていないと大腸伸展は生じていないと判定されて、前記ステップS11以降の処理が実行され、前記電子内視鏡の挿入部先端が停止状態で、挿入部の長さの増加状態が所定のフレーム数継続すると大腸伸展が生じたと判定されて、ステップS27が実行される。
【0067】
PC15はステップS27で、大腸の伸展が生じたことを警告するための警告信号を生成して、内視鏡挿入部の形状に関する情報の提供として、警告音を発生したり、図6の検査ウィンドウ100の警告表示部110に警告メッセージを表示させる。尚、警告表示は文字だけでなく、警告図形表示部111へのアイコン等の図形表示や、あるいは警告表示を点滅表示させる。
【0068】
以上説明したように、本発明の画像処理装置は、現フレームと前フレームの複数の挿入形状データにより、実際に挿入されている内視鏡挿入部の動きに応じて内視鏡挿入部の形状に関する情報を提供することができ、観察部位である大腸等の伸展も素早く容易に検出判定して術者に対して速やかに警告認知させることができる。
【0069】
なお、この画像処理装置4では、挿入形状観測装置3からの挿入形状データを基に、大腸の伸展を検出警告についてのみ説明したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して大腸の伸展を検出することも可能である。
【0070】
次に、電子内視鏡システム1の原|像処理装置4の第2の実施形態を図7乃至図8を用いて説明する。
【0071】
この第2の実施形態の電子内視鏡システム1の構成は、前述した第1の実施形態と同様で、かつ、画像処理装置4における内視鏡装置2と内視鏡挿入形状観測装置3からの内視鏡画像や挿入形状データの処理方法は、基本的に同じである。
【0072】
この第2の実施形態で前述した第1の実施形態との相違は、画像処理装置4によるステップS10の警告処理の処理方法が異なり、このステップS10における第2の実施形態の警告処理は、図7に示すステップS41以降の処理が実行される。
【0073】
前記PC15はステップS41で、前記ステップS8で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップS11以降の処理に移行する。
【0074】
前記ステップS41で、前フレームの挿入形状データが取得されていると判定されると、PC15はステップS42で、前フレームと現時点フレームの挿入形状データから、電子内視鏡12の挿入部先端の移動量dif1を数式2から算出する。
【0075】
【数2】
この数式2により算出される移動量dif1は、挿入部の先端からm1個のデータのみを使用している。この移動量dif1の算出は、数式2に限定されるものではなく、たとえばユークリッド距離を用いてもよい。
【0076】
前記ステップS42で数式2で算出した移動量dif1である挿入部先端の移動距離は、ステップS43で所定の閾値と比較され、移動量dif1である移動距離が所定の閾値より大きいと挿入部先端は挿入移動中と判定してステップS11以降の処理に移行し、閾値よりも小さいと挿入部先端は停止状態と判定されて、ステップS44以降が実行される。
【0077】
PC15はステップS44で、前記ステップS42と同様に、前フレームと現時点フレームの挿入形状データから、電子内視鏡12の挿入部の操作部側からの移動量dif2を数式3から算出する。
【0078】
【数3】
このステップS44で数式3で算出した移動量dif2である挿入部の操作部側の移動距離は、ステップS45で所定の閾値と比較され、移動量dif2である移動距離が所定の閾値より小さいと挿入部の操作部側は停止中と判定してステップS11以降の処理に移行し、閾値よりも大きいと挿入部の操作部側は移動中と判定されて、ステップS46以降が実行される。
【0079】
次に、PC15はステップS46で、数式4により図8に示すように、現フレームである第jフレームと前フレームである第j−1フレームの第i番目のコイル座標を使って挿入部先端の移動の向きと、前フレームである第j−1フレームの第i番目と第i十1番目のコイル座標により挿入部の向きの成す角度Angj 1を求める。
【0080】
【数4】
すなわち、図8において(Xj−1 i,Yj−1 i,Zj−1 i)と(Xj−1 i−1,Yj−1 i−1,Zj−1 i−1)が成すベクトルVec2の向きが挿入部の向き、(Xj−1 i,Yj−1 i,Zj−1 i)と(Xj i,Yj i,Zj i)が成すベクトルVec1の向きが挿入部先端の移動の向きを表す。ここで、iはあらかじめ与えているコイル番号を用いる。
【0081】
次に、PC15はステップS47で、前記ステップS46で求めた角度Angj 1を所定の閾値と比較して電子内視鏡12の挿入部が挿入部の向きに挿入されているかを判断する。この挿入部の先端の移動方向と、挿入部先端の方向との成す角Angj 1が、所定の閾値より小さい場合は、術者が電子内視鏡12の挿入操作を行っている判断して、ステップS48以降が実行され、所定の閾値よりも大きい場合は、電子内視鏡12の挿入操作が行われていないと判断して前記ステップS11以降の処理に移行する。
【0082】
前記ステップS47で電子内視鏡12の挿入操作が行われていると判断されると、PC15はステップS48で、電子内視鏡12の挿入操作を行っている状態が所定のフレーム数続いているかどうかを判断し、所定フレーム数続いていないと判断されると、前記ステップS11以降の処理の移行し、所定フレーム数続いていると判断されると大腸の伸展が起きていると判定されて、ステップS49で、内視鏡挿入部の形状に関する情報の提供として警告を発生させる。警告方法は、たとえば、PC15により警告音を発生させたり、図6に示す検査ウィンドウの警告表示部110に警告メッセージを表示させるなどが考えられる。また、警告表示は、文字だけでなく、アイコンなどの図形でもよく、かつ、それら文字図形を点滅表示させてもよい。
【0083】
これにより、被検体である患者の違和感の原因となる可能性がある大腸の伸展の検出が容易となる。
【0084】
なお、画像処理装置4で、挿入形状観測装置3からの挿入形状データを受信する際に、大腸の伸展を検出警告についてのみ説明したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して大腸の伸展を検出することも可能である。
【0085】
次に、本発明に係る電子内視鏡システムの画像処理装置の第3の実施形態を図9乃至図10を用いて説明する。
【0086】
この第3の実施形態の電子内視鏡システム1の構成は、前述した第1の実施形態と同様で、かつ、画像処理装置4における内視鏡装置2と内視鏡挿入形状観測装置3からの内視鏡画像や挿入形状データの処理方法は、基本的に同じである。
【0087】
この第3の実施形態の前述した第1の実施形態との相違は、電子内視鏡12の挿入部先端にある角度(アングル)を与えた状態で挿入操作を行った場合の検出処理である。内視鏡挿入部先端にアングルを与えた状態で内視鏡挿入部の挿入方向を観察せずに内視鏡の挿入操作されると、被検体の患者に不快感を与えることになる。この内視鏡挿入先端にアングルを与えた状態での挿入操作を警告するものである。
【0088】
この内視鏡挿入部先端にアングルを与えた状態での挿入操作の検出は、前述の第1の実施形態と同様に画像処理装置4で設けられる検査アプリケーションとして実現される。この検査アプリケーションがPC15に起動されると、ディスプレイ18には図6に示す検査ウィンドウ100が表示されるが、この検査アプリケーションの動作は、前記ステップS1〜S12の動作と同じである。ただし、ステップS10で実行する警告処理が図9に示すステップS61以降の処理となる。
【0089】
前記PC15はステップS61で、前記ステップS8で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップS11以降の処理に移行する。
【0090】
前記ステップS61で、前フレームの挿入形状データが取得されていると判定されると、PC15はステップS62で、前フレームと現時点フレームの挿入形状データから、電子内視鏡12の挿入部先端の角度Angj 1を求める。この角度Angj 1は、数式5により図10に示すように、内視鏡挿入部先端からm個のソースコイルの座標のうち連続した3点を順に選択して角度Angj 1を求める。なお、Vec3とVec4の始点をそろえて考えた角度が大きい方が挿入部先端の屈曲が大きい。
【0091】
【数5】
次に、PC15はステップS63で、前記ステップS62で複数求めた角度Angj 1を所定の閾値と比較して、その角度Angj 1のうち所定の閾値よりも大きい値のものがあれば、内視鏡挿入部先端にアングルが与えられていると判断されて、ステップS64以降が実行され、所定閾値よりも大きい角度Angj 1の値を示すものがないと判断されると前記ステップS11以降の処理に移行する。
【0092】
前記ステップS63で所定の閾値よりも大きい値を示す角度Angj 1が存在し、内視鏡挿入部先端にアングルが与えられていると判断されると、PC15はステップS64で、挿入形状観測装置3の形状処理装置13で検知している現時点のフレームの電子内視鏡12の挿入部の長さを求める。この電子内視鏡12の挿入部の長さは、例えば、形状処理装置13で生成する挿入形状データの有効なソースコイル座標データ数を基に内視鏡挿入部の長さを算出する。
【0093】
次に、PC15はステップS65で、前記ステップS64で算出した現時点のフレームの挿入部の長さと、この現時点のフレームの前のフレームの内視鏡挿入部の長さとを比較する。このステップS65の比較の結果、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも長いと挿入部は器官の奥へ挿入移動中と判定してステップS66以降の処理に移行し、現フレームの内視鏡挿入部の長さが前フレームの内視鏡挿入部の長さよりも短いと挿入部は停止もしくは挿入部引き抜き状態と判定されて、ステップS11以降が実行される。
【0094】
PC15は前記ステップS66で、内視鏡挿入部の長さ増加が所定のフレーム数続いたかどうか判定する。
【0095】
このステップS66で、挿入部の長さの増加状態が所定のフレーム数続いていないと判定されると、前記ステップS11以降の処理に移行し、所定フレーム続いていると判定されると、ステップS67で、内視鏡挿入部先端にアングルを与えた状態で挿入していることを警告するための警告信号を生成して、内視鏡挿入部の形状に関する情報の提供をして警告音を発生したり、図6の検査ウィンドウ100の警告表示部110に警告メッセージを表示させる。尚、警告表示は文字だけでなく、アイコン等の図形表示や、あるいは点滅表示させる。
【0096】
これにより、現フレームと前フレームの複数の挿入形状データにより、実際に挿入されている内視鏡挿入部の動きに応じて内視鏡挿入部の形状に関する情報を提供することができ、患者の不快感の要因となる内視鏡挿入部先端にアングルを与えた状態での挿入操作を検出警告することが可能となる。また、アングルを与えた状態の挿入操作警告は、画像と形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して同様の警告することも可能である。
【0097】
次に、本発明に係る内視鏡挿入形状解析装置の第4の実施形態を図11乃至図12を用いて説明する。
【0098】
この第4の実施形態の電子内視鏡システム1の構成は、前述した第1の実施形態と同様で、かつ、画像処理装置4における内視鏡装置2と内視鏡挿入形状観測装置3からの内視鏡画像や挿入形状データの処理方法も基本的に同じである。
【0099】
この第4の実施形態は、前述した第3の実施形態とは、異なる電子内視鏡12の挿入部先端に異なるアングルを与えた状態で挿入操作を行った場合の検出処理である。
【0100】
この内視鏡挿入部先端にアングルを与えた状態での挿入操作の検出は、前述の第3の実施形態と同様に画像処理装置4で設けられる検査アプリケーションとして実現される。この検査アプリケーションがPC15に起動されると、ディスプレイ18には図6に示す検査ウィンドウ100が表示されるが、この検査アプリケーションの動作は、前記ステップS1〜S12の動作は同じである。ただし、ステップS10で実行する処理が図11に示すステップS81以降の処理となる。
【0101】
前記PC15はステップS81で、前記ステップS8で取得記録した現時点のフレームの挿入形状データの前のフレームにおける挿入形状データが取得されているか判定し、前フレームの挿入形状データが取得されてないと判定されると、ステップS11以降の処理に移行する。
【0102】
前記ステップS81で、前フレームの挿入形状データが取得されていると判定されると、PC15はステップS82で、前フレームと現時点フレームの挿入形状データから、電子内視鏡12の挿入部先端の角度Angj 1を数式5により図10に示すように内視鏡挿入部先端からm個のソースコイルの座標のうち連続した3点を順に選択して角度Angj 1を求める。
【0103】
次に、PC15はステップS83で、前記ステップS82で複数求めた角度Angj 1を所定の閾値と比較して、その角度Angj 1のうち所定の閾値よりも大きい値のものがあれば、内視鏡挿入部先端にアングルが与えられていると判断されて、ステップS84以降が実行され、所定閾値よりも大きい角度Angj 1の値を示すものがないと判断されると前記ステップS11以降の処理に移行する。
【0104】
前記ステップS83で所定の閾値よりも大きい値を示す角度Angj 1が存在し、内視鏡挿入部先端にアングルが与えられていると判断されると、PC15はステップS84で、前フレームと現時点フレームの挿入形状データから、電子内視鏡12の挿入部の操作部の移動の向きと、挿入部操作部側の向きの成す角度を数式4により図8に示すように、現フレームである第jフレームと前フレームである第j−1フレームの第i番目のコイル座標を使って挿入部操作部の移動の向きと、前フレームである第j−1フレームの第i番目と第i十1番目のコイル座標により挿入部操作部の向きの成す角度Angj 1を求める。
【0105】
すなわち、図8において(Xj−1 i,Yj−1 i,Zj−1 i)と(Xj−1 i−1,Yj−1 i−1,Zj−1 i−1)が成すベクトルVec2の向きが挿入部の向き、(Xj−1 i,Yj−1 i,Zj−1 i)と(Xj i,Yj i,Zj i)が成すベクトルVec1の向きが挿入部先端の移動の向きを表す。ここで、iはあらかじめ与えているコイル番号を用いる。
【0106】
次に、PC15はステップS85で、前記ステップS84で求めた角度Angj 1から電子内視鏡12の挿入部の操作部が挿入されているか所定の閾値と比較して判断する。この挿入部操作部の移動方向と、挿入部操作部の移動方向との成す角Angj 1が、所定の閾値より小さい場合は、術者が電子内視鏡12の挿入部の操作部を挿入操作を行っている判断して、ステップS86以降が実行され、所定の閾値よりも大きい場合は、電子内視鏡12の挿入部操作部の挿入操作が行われていないと判断して前記ステップS11以降の処理に移行する。
【0107】
前記ステップS85で、電子内視鏡12の挿入部操作部が挿入操作されていると判断されると、PC15はステップS86で、数式4により図8に示すように現フレームである第jフレームと前フレームである第j−1フレームの第i番目のコイル座標を使って挿入部先端の移動の向きを、前フレームである第j−1フレームの第1番目と第i十1番目のコイル座標により挿入部の向きの成す角度Angj 1を求める。
【0108】
すなわち、図8において(Xj−1 i,Yj−1 i,Zj−1 i)と(Xj−1 i−1,Yj−1 i−1,Zj−1 i−1)が成すベクトルVec2の向きが挿入部の向き、(Xj−1 i,Yj−1 i,Zj−1 i)と(Xj i,Yj i,Zj i)が成すベクトルVec1の向きが挿入部先端の移動の向きを表す。ここで、iはあらかじめ与えているコイル番号を用いる。
【0109】
次に、PC15はステップS87で、前記ステップS86で求めた角度Angj 1から電子内視鏡12の挿入部先端が観察方向と異なる別の方向へ挿入されているかを判断する。この挿入部先端の移動方向の判断は、挿入部先端の方向との成す角Angj 1が、所定の閾値より大きい場合は、内視鏡の挿入部先端が観察方向と異なる方向に挿入されていると判断する。このステップS87で、内視鏡の挿入部先端が観察方向と異なる方向に挿入されていると判断されるとステップS88以降が実行され、内視鏡の挿入先端が観察方向に挿入されていると判断されると前記ステップS11以降の処理に移行する。
【0110】
前記ステップS87で内視鏡の挿入部先端が観察方向と異なる方向に挿入されていると判断されると、PC15はステップS88で、観察方向と異なる別の方向への挿入操作が所定のフレーム数続いているどうかを判断し、所定フレーム数続いていないと判断されると、前記ステップS11以降の処理に移行し、所定フレーム数続いていると判断されると内視鏡の操作部が挿入操作され挿入部先端にアングルを与えた状態で挿入操作していると判定されて、ステップS89で、警告を発生させる。警告方法は、たとえば、PC15により警告音を発生させたり、図6に示す検査ウィンドウ100の警告表示部110に警告メッセージを表示させるなどが考えられる。また、警告表示は、文字だけでなく、アイコンなどの図形でもよく、かつ、それら文字図形を点滅表示させてもよい。
【0111】
これにより、被検体である患者の違和感の原因となるアングルを与えた状態での挿入の検出が容易となる。
【0112】
なお、画像処理装置4で、挿入形状観測装置3からの挿入形状データを受信する際に、挿入部先端にアングルを与えた状態の挿入を検出警告についてのみ説明したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して同様な警告をすることも可能である。
【0113】
次に、本発明に係る内視鏡挿入形状解析装置の第5の実施形態を図12乃至図18を用いて説明する。
【0114】
この第5の実施形態の電子内視鏡システム1の構成は、前述した第1の実施形態と同様で、かつ、画像処理装置4における内視鏡装置2と内視鏡挿入形状観測装置3からの内視鏡画像や挿入形状データの処理方法は、基本的と同じである。
【0115】
この第5の実施形態は、例えば、大腸内視鏡において、内視鏡の挿入部を大腸に挿入していく過程でループを形成することがある。このループは、その形状によりαループ、Nループ、γループ等と称せられている。
【0116】
このようなループにより被検体である患者に与える違和感を軽減したり、挿入部の挿人性を向上する目的のため、内視鏡挿入部のループを解除して直線化させる操作が行われる。
【0117】
このような内視鏡挿入部の挿入操作時にループが形成された際に、そのループ状態を認識表示すると共に、内視鏡挿入部の直線化操作方法を表示することにより、内視鏡挿入部の挿入性の向上と内視鏡検査の時間の短縮化、及び患者の不快感軽減を図るものである。
【0118】
この内視鏡挿入部先端に形成されたループの検出は、前述の第1の実施形態と同様に画像処理装置4で設けられる検査アプリケーションとして実現される。この検査アプリケーションがPC15に起動されると、ディスプレイ18には図6に示す検査ウィンドウ100が表示されるが、この検査アプリケーションの動作は、前記ステップS1〜S12の動作は同じである。ただし、ステップS10で実行する処理が図12に示すステップS101以降の処理となる。
【0119】
ここで、この第5の実施形態で内視鏡挿入部のループ状態を認識し、直線化させるための内視鏡操作を行う例として、(1)ループが時計、または反時計まわりであるか。ループの回転の向きは、内視鏡挿入部の先端から操作部側に沿った向きと考える。(2)内視鏡挿入部のループ形成部分の先端側と操作部側のどちらが視点側にあるか。の2つを用いる。
【0120】
尚、内視鏡挿入形状は、曲線と考えることができるため、ループの認識、回転の向きの判定には、曲線の特徴抽出技術が使用できる。
【0121】
そのために、この実施形態の説明においては、簡単のため挿入形状をX,Y軸に投影した2次元曲線で考え、例えば、P形フーリエ記述子を使用する。P形フーリエ記述子は、電子情報通信学会論文誌Vol.j67−A No.3に詳述されている。
【0122】
この手法は、まず曲線をVn個(Vnは分割数で正数)の線分で分割し、その線分の端点を複素表示して、各点での全曲率関数を定義し、全曲率関数をフーリエ変換して得られたパワースペクトルを曲線の特徴としている。
【0123】
また、時計回り及び反時計回りの円状のループ形状のP形フーリエ記述子による特徴をあらかじめ記憶しておき、それぞれの形状のパワースペクトルをCq(k)、(k=0、…、Vn−1)とする。q=0は時計回り、q=1は反時計回りとする。
【0124】
PC15はステップS101で、ループ形成候補を決定する。円状のループを形成している場合は、ソースコイルとソースコイルが接近しているため、2つのソースコイルの距離が所定の閾値より小さい部分をループ形成候補とする。
【0125】
次に、PC15はステップS102で、ループ形成候補の曲線をVn個の線分に分割し、P形フーリエ記述子によりパワースペクトルC(k)、(k=0、…、Vn−1)を求める。Vn個の線分の端点を挿入部先端側から(Px0,Py0,Pz0)、…、(PxVn,PyVn,PzVn)とする。P形フーリエ記述子では、xy成分のみを用いる。
【0126】
次に、PC15はステップS103で、パワースペクトルCq(k)とパワースペクトルC(k)のユークリッド距離を求める。このステップS103で求められたユークリッド距離は、ステップS104で、所定の閾値と比較され、求められたユークリッド距離が閾値よりも小さい場合は、ループを形成していると判断される。このループ判断において、C0(k)とC1(k)の両方が閾値より小さければ、小さい方への回転方向と判断する。ループがない場合は、前記ステップS11以降の処理に移行する。
【0127】
前記ステップS104でループがあると判断されると、PC15はステップS105において、(PxVn,PyVn,PzVn)、(PxVn−1,PyVn−1,PzVn−1)、(PxVn−2,PyVn−2,PzVn−2)を用いてループが形成されている平面Sを決定する。次に、ステップS106で、前記平面Sの法線ベクトルを求め、内視鏡挿入部を観察する向きを示す視線ベクトルと成す角θを求める。次に、ステップS107で、挿入部先端側の(Px0、Py0、Pz0)の座標を平面Sの式に代入して、平面Sに対して視点側にあるのか、または視点と反対側にあるのか決定する。
【0128】
この平面Sの視点側にあるのか、または視点と反対側にあるのかの判断方法は、(1)角θが90度より大きく、代入結果が正であれば視点側(図13参照)、(2)角θが90度より大きく、代入結果が負であれば視点と反対側(図13参照)、(3)角θが90度以下であり、代入結果が正であれば視点と反対側(図14参照)、(4)角θが90度以下であり、代入結果が負であれば視点側(図14参照)となる。
【0129】
前記ステップS107のループの方向と挿入部先端と平面Sとの関係からステップS108で、内視鏡の操作方法、つまりループ解除方法を決定する。このループ解除方法の判断基準の例は、次の通りである。
【0130】
(1)反時計回りで先端部が視点と反対側の場合、時計回りに内視鏡を回転操作する(図15参照)、(2)時計回りで先端部が視点側の場合、時計回りに内視鏡を回転操作する(図16参照)、(3)時計回りで先端部が視点と反対側の場合、反時計回りに内視鏡を回転操作する(図17参照)、(4)反時計回りで先端部が視点側の場合、反時計回りに内視鏡を回転操作する(図18参照)。
【0131】
次に、PC15はステップS109で、前記ステップS108で設定されたループ解除方法を内視鏡操作の情報(操作を促す情報)の提供として前記検査ウィンドウ100の操作方法表示部111に表示させる。
【0132】
なお、この操作方法表示部111の表示は、図6に示すように、矢印などで時計回りや反時計回りに内視鏡回転操作を示す図形やアイコン、または操作説明言葉で表示したり、あるいは、音声による指示を用いることもできる。
【0133】
また、画像処理装置4で、挿入形状観測装置3からの挿入形状データを受信する際の解除操作表示を示したが、内視鏡画像と挿入形状データの閲覧を可能とするビューアを用意し、指定した挿入形状データに対して同様な表示を行うことも可能である。
【0134】
このように、挿入形状を認識し、ループの状態を認識表示し、その挿入操作の提示により、内視鏡の挿人性向上と内視鏡検査の時間の短縮化、及び患者に与える苦痛軽減となる。
【0135】
なお、前記した第1乃至第5の実施形態を実現させる画像処理装置4は、電子内視鏡システム1を構成する1つの機能としたり、もしくは内視鏡挿入形状観測装置3に搭載しても良い。または、前記挿入形状観測装置3、および電子内視鏡システム1を構成する統合した機能とすることもできる。
【0136】
さらに、前述の第1と乃至第5の実施形態では、内視鏡挿入部の形状を推定する機構としては、磁気を発生するソースコイル群と磁気を検出するセンスコイル群のうち、いずれか一方を内視鏡挿入部に搭載し、センスコイル群により検出した磁気により形状を推定する例を用いて説明したが、例えば、曲げることにより伝送損失が生じる光ファイバを利用し、この光ファイバを内視鏡挿入部に設けて、光ファイバを透過する光量の変化に応じて挿入部の曲げを検出する方法や、フレキシブル基板に特殊インクを塗布し、基板の曲げに比例して抵抗値が変化する特性を利用する等のその他の検出方法を用いても良い。
【0137】
[付記]
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。
【0138】
(付記1) 体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記形状検出手段で検出した内視鏡挿入部の形状を複数記憶する形状記憶手段と、
前記形状記憶手段に記憶された複数の内視鏡挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析手段と、
前記形状解析手段による解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供手段と、
を備えたことを特徴とする内視鏡挿入形状解析装置。
【0139】
(付記2) 体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記形状検出手段で検出された内視鏡挿入部の形状を解析する形状解析手段と、
前記形状解析手段による解析の結果に応じて、内視鏡操作の情報を提供する情報提供手段と、
を備えたことを特徴とする内視鏡挿入形状解析装置。
【0140】
(付記3) 体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップで検出され,た内視鏡挿入部の形状を複数記憶する形状記憶ステップと、
前記形状記憶ステップで記憶され,た複数の内視鏡の挿入部の形状を基に、内視鏡挿入部の形状を解析する形状解析ステップと、
前記形状解析ステップによる解析の結果に応じて、内視鏡挿入部の形状に関する情報を提供する情報提供ステップと、
を備えたことを特徴とする内視鏡挿入形状解析方法。
【0141】
(付記4) 体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップで検出された内視鏡挿入部の形状を解析する形状解析ステップと、
前記形状解析ステップによる解析の結果に応じて、内視鏡操作の情報を提供する情報提供ステップと、
を備えたことを特徴とする内視鏡挿入形状解析方法。
【0142】
(付記5) 前記形状検出手段は磁界を発生する複数の磁界発生手段と、前記磁界発生手段の磁界を検出する複数の磁界検出手段と、前記磁界発生手段又は磁界検出手段を挿入部に配置し、
前記磁界検出手段の検出結果に基づいて、挿入部の形状を推定する形状推定手段と、からなることを特徴とする付記1又は付記2のいずれかに記載の内視鏡挿入形状解析装置。
【0143】
(付記6) 前記形状検出手段は、挿入部の特定部分の物理量を検出する手段を複数配置し、前記検出された物理量の結果と配置位置に基づいて挿入部の形状を推定する形状推定手段と、からなることを特徴とする付記1又は付記2のいずれかに内視鏡挿入形状解析装置。
【0144】
(付記7) 前記挿入部の特定部分の物理量を検出する手段は、複数の歪みを検出するセンサからなることを特徴とする付記6の内視鏡挿入形状解析装置。
【0145】
(付記8) 前記挿入部の特定部分の物理量を検出する手段は、複数の圧力を検出するセンサからなることを特徴とする付記6の内視鏡挿入形状解析装置。
【0146】
(付記9) 前記挿入部の特定部分の物理量を検出する手段は、複数の変位を検出するセンサからなることを特徴とする付記項6の内視鏡挿入形状解析装置。
【0147】
(付記10) 前記形状解析手段は、前記挿入部の特定部分の移動量を算出する手段と、前記挿入部の特定部分の移動量から挿入部の状態を推定する手段と、からなることを特徴とする付記1の内視鏡挿入形状解析装置。
【0148】
(付記11) 前記形状解析手段は、挿入部のループ形状を検出する手段からなることを特徴とする付記2の内視鏡挿入形状解析装置。
【0149】
(付記12) 前記情報提供手段は、前記解析手段の結果の情報を表示装置に表示することを特徴とする付記1に記載の内視鏡挿入形状解析装置。
【0150】
(付記13) 前記情報提供手段は、前記解析手段の結果の情報を音又は音声によって提示することを特徴とする付記1又は付記12のいずれかに記載の内視鏡挿入形状解析装置。
【0151】
(付記14) 前記操作情報提供手段は、前記解析手段の結果に応じてループ解除の方法の情報を提供することを特徴とする付記2の内視鏡挿入形状解析装置。
【0152】
(付記15) 前記操作情報提供手段は、前記解析手段の結果に応じて内視鏡操作の情報を表示装置に表示することを特徴とする付記2又は付記項14の内視鏡挿入形状解析装置。
【0153】
(付記16) 前記操作情報提供手段は、前記解析手段の結果に応じて内視鏡操作の情報を音又は音声によって提示することを特徴とする付記2、付記14又は付記15のいずれかに記載の内視鏡挿入形状解析装置。
【0154】
(付記17) 前記表示装置に表示する情報が文字及び/又は図形であることを特徴とする付記12又は付記15のいずれかに記載の内視鏡挿入形状解析装置。
【0155】
【発明の効果】
以上説明したように本発明によれば、内視鏡挿入部の挿入形状を解析し、内視鏡の挿入性の向上につながる、大腸内での内視鏡挿入操作による大腸伸展の有無の情報、内視鏡挿入操作を行っている際内視鏡先端に一定以上の角度を与えた状態であるか否かの情報、内視鏡挿入部にループが形成された際にこのループを解除するループ解除方法に関する情報の何れかの情報の提供を行うことができる効果を有する。
【図面の簡単な説明】
【図1】本発明に係る内視鏡挿入形状解析を行う画像処理装置を用いた電子内視鏡システムの全体構成を示すブロック図。
【図2】本発明に係る電子内視鏡システムの画像処理装置における挿入位置座標系を説明する説明図。
【図3】本発明に係る電子内視鏡システムの内視鏡挿入形状観測装置で生成される挿入位置検出データのデータ構造を説明する説明図。
【図4】本発明に係る電子内視鏡システムの画像処理装置の第1の実施形態である内視鏡画像や挿入形状データ等の処理作用を説明するフローチャート。
【図5】本発明に係る電子内視鏡システムの画像処理装置の第1の実施形態である被検体の伸展検出作用を説明するフローチャート。
【図6】本発明に係る電子内視鏡システムの画像処理装置において、内視鏡検査時にディスプレイに表示される表示画面を説明する説明図。
【図7】本発明に係る電子内視鏡システムの画像処理装置の第2の実施形態における内視鏡先端部のアングル検出作用を説明するフローチャート。
【図8】本発明に係る電子内視鏡システムの画像処理装置の第2の実施形態における内視鏡挿入部の向きと挿入部移動向きのなす角を説明する説明図。
【図9】本発明に係る電子内視鏡システムの画像処理装置の第3の実施形態における内視鏡先端部のアングル検出及び警告作用を説明するフローチャート。
【図10】本発明に係る電子内視鏡システムの画像処理装置の第3の実施形態における内視鏡先端部のアングル検出を説明する説明図。
【図11】本発明に係る電子内視鏡システムの画像処理装置の第4の実施形態における内視鏡先端部のアングル検出及び警告作用を説明するフローチャート。
【図12】本発明に係る電子内視鏡システムの画像処理装置の第5の実施形態における内視鏡挿入部のループ検出及びループ解除方法表示作用を説明するフローチャート。
【図13】本発明に係る電子内視鏡システムの画像処理装置の第5の実施形態における内視鏡挿入部のループの状態を説明する説明図。
【図14】本発明に係る電子内視鏡システムの画像処理装置の第5の実施形態における内視鏡挿入部のループの状態を説明する説明図。
【図15】本発明に係る電子内視鏡システムの画像処理装置の第5の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【図16】本発明に係る電子内視鏡システムの画像処理装置の第5の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【図17】本発明に係る電子内視鏡システムの画像処理装置の第5の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【図18】本発明に係る電子内視鏡システムの画像処理装置の第5の実施形態における内視鏡挿入部のループ解除方法を説明する説明図。
【符号の説明】
1…電子内視鏡システム
2…内視鏡装置
3…内視鏡挿入形状観測装置
4…画像処理装置
10…ビデオプロセッサ
11…光源装置
12…電子内視鏡
13…形状処理装置
14…観察モニタ
15…パーソナルコンピュータ(PC)
16…マウス
17…キーボード
18…ディスプレイ
Claims (3)
- 体腔内に挿入された内視鏡挿入部の特定の位置を複数検出する位置検出手段と、
前記位置検出手段により検出した位置を時系列的に記憶する位置記憶手段と、
前記位置記憶手段に記憶された位置を基に、内視鏡挿入部の特定の位置の時間的な変動を解析すると共に、内視鏡挿入部の形状を解析する形状解析手段と、
前記解析手段による解析の結果に応じて、大腸内での内視鏡挿入操作による大腸伸展の有無の情報、内視鏡挿入操作を行っている際内視鏡先端に一定以上の角度を与えた状態であるか否かの情報、内視鏡挿入部にループが形成された際にこのループを解除するループ解除方法に関する情報の何れかを提供する情報提供手段と、
を備え、
前記内視鏡挿入部のループ解除方法の情報は、前記内視鏡挿入部の挿入操作時にループが形成された際に、そのループ状態を認識表示すると共に、このループ状態を解除して内視鏡挿入部の直線化を行うための直線化操作方法の情報である
ことを特徴とする内視鏡挿入形状解析装置。 - 前記形状解析手段は、前記内視鏡挿入部の挿入操作時にループが形成された際に、そのループが形成されたループ形成部の回転の方向と大きさを算出してこのループ形成部のループを検出すると共に、この検出したループ形成部のループが形成される平面の方向を算出しこの算出結果を用いて前記内視鏡挿入部の先端部が前記平面に対して視点側にあるのか又はこの視点側とは反対側にあるのかを判定し、
前記情報提供手段は、前記形状解析手段による前記ループ形成部のループ検出結果と、前記先端部が前記平面に対して視点側にあるのか又はこの視点側とは反対側にあるのかの判定結果を用いて、前記内視鏡挿入部のループ状態を解除して内視鏡挿入部の直線化を行うための直線化操作方法を決定することを特徴とする請求項1に記載の内視鏡挿入形状解析装置。 - 前記情報提供手段は、反時計回りで前記先端部が視点と反対側にある場合には時計回りに内視鏡を回転操作し、時計回りで前記先端部が視点側にある場合には時計回りに内視鏡を回転操作し、時計回りで前記先端部が視点と反対側にある場合には反時計回りに内視鏡を回転操作し、反時計回りで前記先端部が視点側にある場合には反時計回りに内視鏡を回転操作するといった内視鏡挿入部の直線化操作方法の内のいずれか1つの決定した直線化操作方法を表示装置に文字又は文字及び図形で表示し、又は音又は音声によって提示することを特徴とする請求項2に記載の内視鏡挿入形状解析装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003162844A JP4274854B2 (ja) | 2003-06-06 | 2003-06-06 | 内視鏡挿入形状解析装置 |
PCT/JP2003/013829 WO2004039249A1 (ja) | 2002-10-29 | 2003-10-29 | 内視鏡情報の処理装置および処理方法 |
EP03809860A EP1504712B1 (en) | 2002-10-29 | 2003-10-29 | Endoscope information processor and processing method |
US10/515,668 US8211010B2 (en) | 2002-10-29 | 2003-10-29 | Endoscope information processor and processing method |
DE60330335T DE60330335D1 (de) | 2002-10-29 | 2003-10-29 | Endoskopinformationsprozessor und verarbeitungsmethode |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003162844A JP4274854B2 (ja) | 2003-06-06 | 2003-06-06 | 内視鏡挿入形状解析装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004358095A JP2004358095A (ja) | 2004-12-24 |
JP2004358095A5 JP2004358095A5 (ja) | 2007-08-09 |
JP4274854B2 true JP4274854B2 (ja) | 2009-06-10 |
Family
ID=34054869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003162844A Expired - Fee Related JP4274854B2 (ja) | 2002-10-29 | 2003-06-06 | 内視鏡挿入形状解析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4274854B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016098255A1 (ja) * | 2014-12-19 | 2016-06-23 | オリンパス株式会社 | 挿抜支援装置及び挿抜支援方法 |
WO2016098254A1 (ja) * | 2014-12-19 | 2016-06-23 | オリンパス株式会社 | 挿抜支援装置及び挿抜支援方法 |
WO2018116446A1 (ja) * | 2016-12-22 | 2018-06-28 | オリンパス株式会社 | 可撓管挿入装置 |
WO2018131134A1 (ja) * | 2017-01-13 | 2018-07-19 | オリンパス株式会社 | 可撓管挿入装置 |
WO2018220797A1 (ja) * | 2017-06-01 | 2018-12-06 | オリンパス株式会社 | 可撓管挿入支援装置と可撓管挿入装置 |
US11602263B2 (en) * | 2016-10-12 | 2023-03-14 | Olympus Corporation | Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4656988B2 (ja) * | 2005-04-11 | 2011-03-23 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 |
JP4914574B2 (ja) * | 2005-04-18 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | 内視鏡形状検出装置 |
JP4794992B2 (ja) * | 2005-11-16 | 2011-10-19 | オリンパスメディカルシステムズ株式会社 | 挿入モニタリング装置 |
US20090149703A1 (en) | 2005-08-25 | 2009-06-11 | Olympus Medical Systems Corp. | Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system |
JP4789545B2 (ja) * | 2005-08-25 | 2011-10-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入形状解析装置 |
JP2008067780A (ja) * | 2006-09-12 | 2008-03-27 | Olympus Medical Systems Corp | 内視鏡装置 |
KR100871035B1 (ko) * | 2006-11-07 | 2008-11-27 | 엔이씨 도낀 가부시끼가이샤 | 리드 프레임, 리드 프레임을 이용한 페이스 다운 단자형고체 전해 커패시터를 제조하는 방법, 및 그 방법에 의해제조된 페이스 다운 단자형 고체 전해 커패시터 |
JP4855902B2 (ja) * | 2006-11-13 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 生体観測システム |
JP4855912B2 (ja) * | 2006-11-30 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入形状解析システム |
JP4855901B2 (ja) * | 2006-11-13 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入形状解析システム |
EP2082678B1 (en) | 2006-11-13 | 2018-12-19 | Olympus Corporation | Endoscope insertion shape analysis system |
KR101422558B1 (ko) * | 2007-01-29 | 2014-07-24 | 인튜어티브 서지컬 인코포레이티드 | 형상 센서를 이용하여 기계를 제어하는 시스템 |
JP5011057B2 (ja) * | 2007-10-11 | 2012-08-29 | オリンパスメディカルシステムズ株式会社 | 内視鏡形状解析装置 |
JP5014941B2 (ja) * | 2007-10-02 | 2012-08-29 | オリンパスメディカルシステムズ株式会社 | 内視鏡形状解析装置 |
WO2009044580A1 (ja) | 2007-10-02 | 2009-04-09 | Olympus Medical Systems Corp. | 内視鏡形状解析装置 |
WO2014110118A1 (en) * | 2013-01-10 | 2014-07-17 | Ohio University | Method and device for evaluating a colonoscopy procedure |
JP6626836B2 (ja) * | 2014-12-19 | 2019-12-25 | オリンパス株式会社 | 挿抜支援装置 |
WO2016098253A1 (ja) * | 2014-12-19 | 2016-06-23 | オリンパス株式会社 | 挿抜支援装置及び挿抜支援方法 |
JP6465452B2 (ja) | 2016-12-22 | 2019-02-06 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
JP6957645B2 (ja) * | 2017-12-25 | 2021-11-02 | オリンパス株式会社 | 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法 |
WO2019155617A1 (ja) * | 2018-02-09 | 2019-08-15 | オリンパス株式会社 | 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体 |
EP3841952A4 (en) | 2018-08-24 | 2022-01-05 | FUJIFILM Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING PROGRAM |
-
2003
- 2003-06-06 JP JP2003162844A patent/JP4274854B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016098255A1 (ja) * | 2014-12-19 | 2016-06-23 | オリンパス株式会社 | 挿抜支援装置及び挿抜支援方法 |
WO2016098254A1 (ja) * | 2014-12-19 | 2016-06-23 | オリンパス株式会社 | 挿抜支援装置及び挿抜支援方法 |
US11602263B2 (en) * | 2016-10-12 | 2023-03-14 | Olympus Corporation | Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times |
WO2018116446A1 (ja) * | 2016-12-22 | 2018-06-28 | オリンパス株式会社 | 可撓管挿入装置 |
US11291354B2 (en) | 2016-12-22 | 2022-04-05 | Olympus Corporation | Flexible tube insertion apparatus and flexible tube insertion method |
WO2018131134A1 (ja) * | 2017-01-13 | 2018-07-19 | オリンパス株式会社 | 可撓管挿入装置 |
US11503981B2 (en) | 2017-01-13 | 2022-11-22 | Olympus Corporation | Flexible tube insertion apparatus and flexible tube insertion method |
WO2018220797A1 (ja) * | 2017-06-01 | 2018-12-06 | オリンパス株式会社 | 可撓管挿入支援装置と可撓管挿入装置 |
US11857157B2 (en) | 2017-06-01 | 2024-01-02 | Olympus Corporation | Flexible tube insertion support apparatus, flexible tube insertion apparatus, and flexible tube insertion method |
Also Published As
Publication number | Publication date |
---|---|
JP2004358095A (ja) | 2004-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4274854B2 (ja) | 内視鏡挿入形状解析装置 | |
JP4025621B2 (ja) | 画像処理装置及び内視鏡画像処理装置 | |
WO2004039249A1 (ja) | 内視鏡情報の処理装置および処理方法 | |
JP4153963B2 (ja) | 内視鏡挿入形状検出装置 | |
CN110769737B (zh) | 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置 | |
JP5368668B2 (ja) | 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法 | |
US8251890B2 (en) | Endoscope insertion shape analysis system and biological observation system | |
JP4959445B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4789545B2 (ja) | 内視鏡挿入形状解析装置 | |
JP2008301968A (ja) | 内視鏡画像処理装置 | |
EP3994702B1 (en) | Surgery support system, surgery support method, information processing apparatus, and information processing program | |
JP4855901B2 (ja) | 内視鏡挿入形状解析システム | |
US20220361733A1 (en) | Endoscopic examination supporting apparatus, endoscopic examination supporting method, and non-transitory recording medium recording program | |
JP5451718B2 (ja) | 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法 | |
JPWO2020165978A1 (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
JP2023014288A (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
JP2000175861A (ja) | 内視鏡形状検出装置 | |
US20220218180A1 (en) | Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded | |
JP2005157227A (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
JP2024051041A (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
JP4855902B2 (ja) | 生体観測システム | |
JP4855912B2 (ja) | 内視鏡挿入形状解析システム | |
JP4794992B2 (ja) | 挿入モニタリング装置 | |
WO2023126999A1 (ja) | 画像処理装置、画像処理方法、及び、記憶媒体 | |
JP2019005038A (ja) | 内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090210 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4274854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |