JP6270026B2 - 内視鏡観察支援装置 - Google Patents
内視鏡観察支援装置 Download PDFInfo
- Publication number
- JP6270026B2 JP6270026B2 JP2013252454A JP2013252454A JP6270026B2 JP 6270026 B2 JP6270026 B2 JP 6270026B2 JP 2013252454 A JP2013252454 A JP 2013252454A JP 2013252454 A JP2013252454 A JP 2013252454A JP 6270026 B2 JP6270026 B2 JP 6270026B2
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- image
- ultrasonic probe
- observation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000523 sample Substances 0.000 claims description 206
- 210000000056 organ Anatomy 0.000 claims description 125
- 238000001514 detection method Methods 0.000 claims description 52
- 238000003780 insertion Methods 0.000 claims description 50
- 230000037431 insertion Effects 0.000 claims description 50
- 238000002604 ultrasonography Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 210000000621 bronchi Anatomy 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 29
- 238000002591 computed tomography Methods 0.000 description 25
- 230000009466 transformation Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000003902 lesion Effects 0.000 description 14
- 238000001574 biopsy Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 238000007499 fusion processing Methods 0.000 description 9
- 210000004072 lung Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 210000003437 trachea Anatomy 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013276 bronchoscopy Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 210000000013 bile duct Anatomy 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 210000001165 lymph node Anatomy 0.000 description 2
- 230000001926 lymphatic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 210000000277 pancreatic duct Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Description
本発明は、管腔臓器内に挿入された内視鏡による観察を支援する内視鏡観察支援装置に関し、特に、内視鏡に備えられた超音波プローブによる観察を効果的に支援するための改良に関する。
現在、被検体の管腔臓器の検査として、その管腔臓器内に内視鏡を挿入して内部の画像を取得する内視鏡検査が行われている。例えば、気管支内腔の検査として、被検体の口又は鼻から内視鏡（気管支鏡）を挿入する気管支鏡検査が行われる。この気管支鏡検査では、内視鏡によって気管支内腔の表面性状の観察を行うことができる。しかし、内視鏡による観察では、気管支内腔よりも外側（気管支壁の向こう側）における組織の観察は困難である。このため、肺癌等の病変が疑われる部位に対しては、病変がどの程度まで浸潤しているか等の調査を行うために、例えば内視鏡の鉗子口から超音波プローブが挿入される。そして、前記超音波プローブにより取得される超音波画像に基づいて、目的となる部位の観察延いては診断が行われる。
前記のような内視鏡検査に関して、前記内視鏡による観察を支援（ナビゲーション）する技術が提案されている。例えば、特許文献１及び非特許文献１に記載された技術がその一例である。特許文献１に記載された技術は、内視鏡を挿入する場合にどの枝に挿入すればよいかを示すことで、内視鏡を目的となる部位まで誘導するものである。非特許文献１に記載された技術は、内視鏡挿入長センサによって得られる情報と内視鏡カメラから得られる画像、そして、内視鏡検査前に予め撮影されるＣＴ画像から生成される仮想化内視鏡像を利用して、現在の内視鏡の位置を推定するものである。
Xiongbiao Luo, Takayuki Kitasaka, Kensaku Mori, "Externally Navigated bronchoscopy using 2-D motion sensors: Dynamic phantom validation," IEEE Transactions on Medical Imaging, DOI(identifier) 10.1109/TMI.2013.2263152(2013/05/08)
ところで、基端部からの突出量を変更できる超音波プローブを備えた内視鏡においては、前記超音波プローブの突出量の変更によりその超音波プローブによる観察位置と前記内視鏡による観察位置との対応関係が変化し、更には前記超音波プローブの観察位置と前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像との対応関係も変化する。このため、前記従来の技術では、内視鏡に備えられた超音波プローブによる観察を必ずしも効率的に支援することができなかった。このような課題は、超音波プローブを備えた内視鏡の性能向上を意図して本発明者等が鋭意研究を継続する過程において新たに見出したものである。
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、超音波プローブによる観察を効果的に支援する内視鏡観察支援装置を提供することにある。
斯かる目的を達成するために、本第１発明の要旨とするところは、予め得られた管腔臓器の３次元画像データに基づいて、その管腔臓器内に挿入された内視鏡による観察を支援する内視鏡観察支援装置であって、基端部からの突出量を変更できる超音波プローブと、前記内視鏡の先端位置及び前記超音波プローブの先端位置を検出する先端位置検出部と、その先端位置検出部による検出結果に基づいて、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像における、前記内視鏡による観察位置及び前記超音波プローブによる観察位置の対応付けを行う観察位置対応付部と、前記超音波プローブにおける前記基端部からの突出量を変化させつつ前記超音波プローブによる観察位置の超音波画像を連続的に複数取得する超音波画像取得部と、その超音波画像取得部により取得された複数の超音波画像に基づいて、前記超音波プローブによる観察位置の３次元画像を再構築する３次元画像再構築部と、前記超音波画像取得部により取得された複数の超音波画像に基づいて、前記超音波プローブによる観察位置における特定部位の３次元画像を抽出する特定部位画像抽出部と、前記観察位置対応付部による対応付けの結果に基づいて、前記特定部位画像抽出部により抽出された前記特定部位の３次元画像を、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像に合成表示させる特定部位画像合成表示部とを、備えたことを特徴とするものである。
このように、前記第１発明によれば、基端部からの突出量を変更できる超音波プローブと、前記内視鏡の先端位置及び前記超音波プローブの先端位置を検出する先端位置検出部と、その先端位置検出部による検出結果に基づいて、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像における、前記内視鏡による観察位置及び前記超音波プローブによる観察位置の対応付けを行う観察位置対応付部と、前記超音波プローブにおける前記基端部からの突出量を変化させつつ前記超音波プローブによる観察位置の超音波画像を連続的に複数取得する超音波画像取得部と、その超音波画像取得部により取得された複数の超音波画像に基づいて、前記超音波プローブによる観察位置の３次元画像を再構築する３次元画像再構築部と、前記超音波画像取得部により取得された複数の超音波画像に基づいて、前記超音波プローブによる観察位置における特定部位の３次元画像を抽出する特定部位画像抽出部と、前記観察位置対応付部による対応付けの結果に基づいて、前記特定部位画像抽出部により抽出された前記特定部位の３次元画像を、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像に合成表示させる特定部位画像合成表示部とを、備えたものであることから、前記超音波プローブによる観察位置と前記内視鏡による観察位置との対応関係が変化し、更には前記超音波プローブの観察位置と前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像との対応関係が変化した場合においても、前記超音波プローブによる観察位置と前記内視鏡による観察位置、更には前記管腔臓器の３次元画像との対応関係を好適に把握し、目的となる部位の３次元画像を再構築できる。すなわち、超音波プローブによる観察を効果的に支援する内視鏡観察支援装置を提供することができる。また、前記超音波プローブにより取得される超音波画像に基づいて、観察対象となる管腔臓器の３次元画像上に、病変部をはじめとする特定部位の３次元画像を好適に合成表示できる。
前記第１発明に従属する本第２発明の要旨とするところは、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像と、前記内視鏡により取得される内視鏡画像と、前記超音波プローブにより取得される超音波画像とを、同期して表示させる画像表示制御部を備えたものである。このようにすれば、観察対象である管腔臓器の３次元画像、内視鏡画像、及び超音波画像を表示させる実用的なナビゲーションを実現できる。
前記第１発明又は第２発明に従属する本第３発明の要旨とするところは、前記観察位置対応付部による対応付けの結果に基づいて、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像上に、前記超音波プローブによる観察位置を表示させる観察位置表示制御部を備えたものである。このようにすれば、超音波プローブによる観察位置を、観察対象である管腔臓器の３次元画像上に表示させる実用的なナビゲーションを実現できる。
前記第１発明から第３発明の何れかに従属する本第４発明の要旨とするところは、前記先端位置検出部は、前記内視鏡の先端部及び前記超音波プローブの先端部にそれぞれ設けられた磁気式位置センサの検出結果に基づいて、前記内視鏡の先端位置及び前記超音波プローブの先端位置を検出するものである。このようにすれば、実用的な態様で前記内視鏡及び前記超音波プローブの先端位置を検出できる。
前記第１発明から第３発明の何れかに従属する本第５発明の要旨とするところは、前記先端位置検出部は、前記内視鏡の先端部に設けられた磁気式位置センサの検出結果に基づいて前記内視鏡の先端位置を検出し、その内視鏡の先端位置及び前記超音波プローブの挿入長を検出する超音波プローブ挿入長センサの検出結果に基づいて前記超音波プローブの先端位置を検出するものである。このようにすれば、実用的な態様で前記内視鏡及び前記超音波プローブの先端位置を検出できる。
前記第１発明から第３発明の何れかに従属する本第６発明の要旨とするところは、前記先端位置検出部は、前記内視鏡の挿入長を検出する内視鏡挿入長センサの検出結果と、前記超音波プローブの挿入長を検出する超音波プローブ挿入長センサの検出結果とに基づいて、前記内視鏡の先端位置及び前記超音波プローブの先端位置を検出するものである。このようにすれば、実用的な態様で前記内視鏡及び前記超音波プローブの先端位置を検出できる。
以下、本発明の好適な実施例について、図面を参照しつつ詳細に説明する。
図１は、本発明の一実施例である内視鏡観察支援装置１０（以下、単に支援装置１０という）の構成を例示する図である。この図１に示すように、本実施例の支援装置１０は、制御装置１２と、映像表示装置１４と、内視鏡装置１６と、センサ装置１８と、内視鏡本体２０とを、備えて構成されている。前記制御装置１２は、例えば、ＣＰＵによりＲＡＭの一時記憶機能を利用しつつＲＯＭに予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂コンピュータである。前記映像表示装置１４は、好適には、ＴＦＴ（Thin Film Transistor Liquid Crystal）等の公知の表示装置（ディスプレイ）であり、出力インターフェイスを介して前記制御装置１２等に接続されている。
図２は、前記内視鏡本体２０の構成を概略的に説明する図である。この図２に示すように、前記内視鏡本体２０は、長手管状に形成された可曲性（可撓性）の管状部２２と、その管状部２２における一方の端部に設けられた操作部２４とを、備えて構成されている。前記管状部２２は、前記操作部２４に設けられた図示しないアングル（つまみ）等による操作に応じて、前記管状部２２の先端部すなわち前記操作部２４とは逆側の端部２２ａの指向する方向を自在に変化させられるように構成されている。前記管状部２２には、好適には、生検鉗子をはじめとする処置具の出し入れを行うための構成である鉗子口（器具挿入チャンネル）や、空気や水を送出或いは吸引するためのパイプ等が組み込まれている。斯かる構成については、図３等を用いて後述する。
前記管状部２２には、内視鏡２６が設けられている。この内視鏡２６は、管腔臓器の観察に用いられる公知の電子スコープ或いはファイバスコープ等であり、好適には、主に気管や気管支の観察に用いられる気管支鏡（bronchoscope）である。前記内視鏡２６は、前記管状部２２における前記操作部２４とは逆側の端部（先端部）２２ａに設けられた観察部２８と、その観察部２８に接続されると共に前記管状部２２内に設けられたケーブル部３０とを、備えて構成されている。前記内視鏡２６は、前記ケーブル部３０を介して前記内視鏡装置１６に接続される。すなわち、前記観察部２８により取得された内視鏡画像が、前記ケーブル部３０を介して前記内視鏡装置１６延いては前記制御装置１２へ供給されるように構成されている。
前記観察部２８は、前記内視鏡２６における画像（被検体の像）の取得部に対応し、前記管状部２２の先端に相当する端部２２ａに設けられている。前記内視鏡２６が電子スコープである場合において、前記観察部２８は、ＣＣＤ（Charge Coupled Device）等の撮像素子に相当する。前記内視鏡２６がファイバスコープである場合において、前記観察部２８は、前記管状部２２内に設けられたガラス繊維（光ファイバ）に前記画像を取り入れるためのレンズ部に相当する。前記管状部２２における前記観察部２８の付近には、管腔臓器内における前記観察部２８による観察部位を照らすための光源２２ｂ（図３を参照）が設けられている。前記内視鏡２６がファイバスコープである場合においては、照明用の光を管腔臓器内に導くための別の光ファイバが前記管状部２２内に組み込まれている。
前記内視鏡本体２０には、超音波プローブ３２が設けられている。この超音波プローブ３２は、観察対象となる部位に対して超音波を放出させると共に、その超音波の反射波を受信することで、前記観察対象となる部位の超音波画像を取得する公知の装置である。前記超音波プローブ３２は、前記管状部２２における前記操作部２４とは逆側の端部（先端部）２２ａに設けられた送受信部３４と、その送受信部３４と前記内視鏡装置１６とを接続するケーブル部３６とを、備えて構成されている。前記送受信部３４は、前記観察対象となる部位に対して超音波を放出させると共に、その超音波の反射波を受信する装置であり、前記超音波プローブ３２の本体に相当する。前記送受信部３４は、前記ケーブル部３６を介して前記内視鏡装置１６に接続される。すなわち、前記送受信部３４により取得された超音波画像が、前記ケーブル部３６を介して前記内視鏡装置１６延いては前記制御装置１２へ供給されるように構成されている。
前記超音波プローブ３２は、好適には、前記管状部２２に備えられた鉗子口に相当するチャンネル２２ｃ（図３を参照）に挿通されて設けられている。すなわち、前記ケーブル部３６が、前記管状部２２に備えられた前記チャンネル２２ｃに挿通されて設けられており、前記送受信部３４が、前記管状部２２の端部２２ａから突出して設けられている。前記送受信部３４は、前記管状部２２における前記端部２２ａからの突出量を変更できるように構成されている。すなわち、本実施例において、前記管状部２２における端部（操作部２４とは反対側の端部）２２ａが基端部に相当する。図３に示すように、前記送受信部３４は、好適には、前記端部２２ａからの突出方向に長手状に構成されている。更に好適には、前記端部２２ａからの突出方向に軸心を有する円柱状に構成されている。前記超音波プローブ３２は、好適には、前記送受信部３４の、前記端部２２ａからの突出量を制御するアクチュエータを備えている。このアクチュエータは、前記制御装置１２等からの指令に応じて前記送受信部３４の突出量を自動で変更するものであってもよいし、前記操作部２４に備えられたつまみ等の操作に応じて前記送受信部３４の突出量を変更するものであってもよい。前記アクチュエータは、好適には、前記送受信部３４を連続的に回転させつつ前記端部２２ａからの突出量を制御する。或いは、前記超音波プローブ３２は、前記管状部２２に対する挿入長を手動（手繰り）で変更することで、前記送受信部３４の、前記端部２２ａからの突出量を、手動で変更できるように構成されたものであってもよい。
図３は、前記管状部２２の端部２２ａの構成を概略的に示す図である。この図２に示すように、前記内視鏡本体２０は、好適には、前記内視鏡２６の先端部及び前記超音波プローブ３２の先端部にそれぞれ磁気式位置センサ３８、４０を備えている。すなわち、前記内視鏡２６の先端部における前記観察部２８の近傍に前記磁気式位置センサ３８が、前記超音波プローブ３２の先端部における前記送受信部３４の近傍に前記磁気式位置センサ４０が、それぞれ設けられている。図３においては、前記内視鏡２６の先端部に対応して設けられた磁気式位置センサ３８が前記管状部２２の側面に固定（外付け）された態様を示しているが、前記磁気式位置センサ３８は、前記管状部２２のチャンネル内等に内蔵されたものであってもよい。前記超音波プローブ３２の先端部に対応して設けられた磁気式位置センサの位置も、その超音波プローブ３２の先端部を好適に検出し得る位置であれば、図３に示す態様には限定されない。
前記磁気式位置センサ３８、４０は、好適には、磁場発生装置により発生させられる磁場（磁気信号）を検出することで各センサの位置を検出する公知の磁気式位置センサであり、前記センサ装置１８に接続されている。前記センサ装置１８は、図示しない磁場発生装置を備えている。前記センサ装置１８においては、例えば、前記磁場発生装置から発信される磁気信号を各磁気式位置センサ３８、４０が受信することにより、各磁気式位置センサ３８、４０から例えば５次元の情報すなわち３次元の位置情報及び２次元の方向情報が取得され、前記センサ装置１８を介して前記制御装置１２等に供給されるようになっている。このように、前記センサ装置１８は、好適には、前記内視鏡２６の先端部及び前記超音波プローブ３２の先端部にそれぞれ設けられた磁気式位置センサ３８、４０の検出結果に基づいて、前記内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を検出するものである。すなわち、本実施例において、前記センサ装置１８は、前記内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を検出する先端位置検出部に相当する。前記センサ装置１８は、前記磁気式位置センサ３８、４０により前記内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を直接検出するものであってもよいし、それら磁気式位置センサ３８、４０の検出結果に基づいて前記内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を算出（推定）するものであってもよい。
前記支援装置１０は、前記超音波プローブ３２に対応する前記磁気式位置センサ４０の代替として、前記管状部２２に対する前記超音波プローブ３２の挿入長を検出する超音波プローブ挿入長センサ９０を備えたものであってもよい。図４は、前記超音波プローブ挿入長センサ９０を用いて前記超音波プローブ３２の先端位置検出を行う態様における前記内視鏡本体２０の構成を模式的に示す図である。前記超音波プローブ挿入長センサ９０は、例えば、光学式の移動距離センサやロータリエンコーダ等の公知の非接触式挿入長センサである。前記超音波プローブ挿入長センサ９０は、好適には、図４に示すように、前記管状部２２に設けられた鉗子口等のチャンネル２２ｃにおける前記操作部２４側の開口部に設けられており、その開口部から前記管状部２２に対する前記超音波プローブ３２の挿入長（挿入長さ寸法）を検出する。
図４に示す態様において、前記センサ装置１８は、好適には、前記磁気式位置センサ３８の検出結果に基づいて前記内視鏡２６の先端位置を検出し、その内視鏡２６の先端位置及び前記超音波プローブ挿入長センサ９０の検出結果に基づいて前記超音波プローブ３２の先端位置を検出する。前記管状部２２に設けられたチャンネル２２ｃの長さ寸法及び前記超音波プローブ３２の長さ寸法は予め求められるため、基端部に対応する前記端部２２ａからの前記超音波プローブ３２の突出量は、前記管状部２２に対する前記超音波プローブ３２の挿入長に対応する。本実施例において、前記内視鏡２６の先端位置は、前記管状部２２の端部２２ａに対応する。従って、前記内視鏡２６の先端位置及び前記端部２２ａからの前記超音波プローブ３２の突出量に基づいて、前記内視鏡２６の先端位置に対する相対位置としての前記超音波プローブ３２の先端位置を検出することができる。
図４に破線で示すように、前記支援装置１０は、更に、前記内視鏡２６に対応する前記磁気式位置センサ３８の代替として、被検体（観察対象となる管腔臓器）に対する前記内視鏡２６（管状部２２）の挿入長を検出する内視鏡挿入長センサ９２を備えたものであってもよい。前記内視鏡挿入長センサ９２は、例えば、内視鏡検査に際して被検体が口唇にくわえる内視鏡挿入補助具（マウスピース）９４に装着された公知の気管支鏡挿入長センサである。掛かる態様において、前記センサ装置１８は、前記内視鏡挿入長センサ９２の検出結果と、前記超音波プローブ挿入長センサ９０の検出結果とに基づいて、前記内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を検出する。
更に別の態様として、前記センサ装置１８は、基端部に対応する前記端部２２ａからの前記超音波プローブ３２の突出量そのものを検出するものであってもよい。例えば、前記送受信部３４の長手方向（端部２２ａからの突出方向）に、例えば二次元コード等のパターンが所定間隔でマーキングされており、そのパターンを検出することで前記端部２２ａからの前記超音波プローブ３２（送受信部３４）の突出量を検出するものであってもよい。或いは、前記内視鏡２６により取得される内視鏡画像に含まれる、前記端部２２ａから突出する前記超音波プローブ３２（送受信部３４）の像を解析することにより、前記端部２２ａからの前記超音波プローブ３２の突出量を算出（推定）する等の態様も考えられる。
図１に示すように、前記制御装置１２は、記憶部４２を備えている。この記憶部４２は、好適には、情報を記憶可能なハードディスクドライブ等の公知の記憶装置（記憶媒体）である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。前記記憶部４２には、画像データベース４４及び臓器データベース４６等の各種データベースが設けられている。前記画像データベース４４には、公知のＸ線ＣＴ（Computed Tomography）装置や磁気共鳴（MRI;Magnetic Resonance Imaging）装置等によって予め得られた被検体の３次元画像データが記憶される。この３次元画像データは、Ｘ線ＣＴにより得られたものにおいては、被検体に対して多方向からＸ線を照射し、被検体を透過してきたＸ線を検出器で検出して、透過Ｘ線量の情報をコンピュータで処理して３次元画像として再構成したものである。前記画像データベース４４には、例えば、Ｘ線ＣＴや磁気共鳴装置等により得られた被検体の３次元濃淡画像、換言すれば被検体の単位体積であるボクセル毎の画素値（濃度値）が記憶される。前記画像データベース４４には、Ｘ線ＣＴや磁気共鳴装置等により得られた管腔臓器の３次元画像データが記憶される。好適には、Ｘ線ＣＴや磁気共鳴装置等により得られた気管支の３次元画像データが記憶される。
前記臓器データベース４６は、観察対象である被検体の前記管腔臓器に関する各種情報を格納する。好適には、木構造をなす臓器の一例として、被検体の気管支に関する各種情報を格納する。例えば、前記臓器データベース４６は、被検体の気管支に関する情報として、気管支においてそれぞれ所定の解剖学的名称で識別される複数の部位それぞれに対応して、各部位の解剖学的名称情報、各部位の走行方向、長さ、断面積等の特徴情報を格納する。
本実施例の支援装置１０は、被検体の管腔臓器に関して予めＸ線ＣＴや磁気共鳴装置等により得られた前記３次元画像データに基づいて、その管腔臓器内に挿入された前記内視鏡２６及び超音波プローブ３２による観察を支援する制御を行う。好適には、気管支等の木構造をなす臓器に対応する前記３次元仮想画像を生成すると共に、その３次元仮想画像の観察を支援する。好適には、気管支の３次元画像データに基づいて、その気管支内に挿入された前記内視鏡２６及び超音波プローブ３２による観察を支援する制御を行う。すなわち、前記内視鏡２６及び超音波プローブ３２による所定の気管支の観察に際して、その気管支に対応して予め得られて前記画像データベース４４に記憶された３次元画像データを読み出し、その３次元画像データに基づいて後述する制御を行うことにより、その気管支内に挿入された前記内視鏡２６及び超音波プローブ３２による観察を支援する。或いは、大腸、小腸、十二指腸、胃、胆管、膵管、リンパ管等の管腔臓器（中空臓器）に対応する３次元仮想画像の観察及び支援を行うものであってもよい。
図１に示すように、前記支援装置１０は、超音波画像取得部４８、ＣＴ画像データ取込部５０、情報処理部５２、情報抽出部６０、情報融合処理部６２、解剖学的名称情報表示部８０、及び情報可視化部８２等の制御部を備えている。これらの制御部は、好適には、何れも前記制御装置１２に機能的に備えられたものであるが、各制御部が個別に複数の制御装置やコンピュータに設けられると共に相互に通信が可能に構成されたものであってもよい。前記各制御部のうち一部が前記支援装置１０とは別の制御装置に備えられたものであってもよい。例えば、前記情報融合処理部６２、情報可視化部８２等が前記支援装置１０とは別の装置（例えば、表示専用の装置）に備えられたものであってもよい。
前記超音波画像取得部４８は、前記超音波プローブ３２による観察位置の超音波画像を取得する。すなわち、前記超音波プローブ３２の送受信部３４から前記観察対象となる部位に対して超音波を放出させると共に、その超音波の反射波を受信することで、前記観察位置の超音波画像を取得する。
前記超音波画像取得部４８は、前記超音波プローブ３２における前記管状部２２の前記端部２２ａからの突出量を変化させつつ前記超音波プローブ３２による観察位置の超音波画像を連続的に複数取得する。好適には、前記超音波プローブ３２に備えられたアクチュエータにより、前記送受信部３４を連続的に回転させると共に前記端部２２ａからの前記送受信部３４の突出量を変化させつつ、その送受信部３４により超音波画像を連続的に複数取得する。換言すれば、被検体における観察対象部位に対して、前記送受信部３４を連続的に回転させると共に微小に出し入れしつつ、当該部位の超音波画像を連続的に複数取得する。すなわち、被検体における観察対象部位に関して、その３次元領域について連続スキャンを行う。
前記ＣＴ画像データ取込部５０は、観察対象となる前記管腔臓器に対応して予め得られて前記画像データベース４４に記憶された３次元画像データを、その画像データベース４４から取り込む。すなわち、前記３次元画像データを読み込んで、前記制御装置１２におけるＲＡＭ等に展開する。
前記情報処理部５２は、前記内視鏡装置１６及びセンサ装置１８から供給される情報を処理する。すなわち、前記内視鏡装置１６及びセンサ装置１８による被検体の観察に係る各種情報の処理を行う。このため、前記情報処理部５２は、カメラ／センサ／プローブ校正部５４、カメラ／超音波画像観察位置推定部５６、及び管腔臓器画像作成部５８を備えている。以下、各制御部の処理について説明する。
前記カメラ／センサ／プローブ校正部５４は、所定のアルゴリズムに基づいて、前記内視鏡装置１６及びセンサ装置１８から供給される情報の校正（補正）を行う。例えば、前記内視鏡２６により取得される内視鏡画像における歪みの校正等を行う。前記超音波プローブ３２により取得される超音波画像における歪みの校正等を行う。前記磁気式位置センサ３８、４０により検出される位置ぶれの校正、磁場歪みの校正等を行う。
前記管腔臓器画像作成部５８は、前記ＣＴ画像データ取込部５０により取り込まれた３次元画像データに基づいて、観察対象となる前記管腔臓器の図像を作成する。例えば、前記ＣＴ画像データ取込部５０により取り込まれた３次元画像データに基づいて、前記管腔臓器の３次元仮想画像を生成する。前記画像データベース４４に記憶された３次元画像データは、例えば、ＣＴ装置等を用いて、Ｘ線照射器・検出器を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について連続スキャンを行った３次元画像データである。前記管腔臓器画像作成部５８は、斯かる３次元画像データを読み出し、３次元領域の連続するスライスの断層像を積み重ねることによって臓器の３次元仮想画像を作成する。本実施例においては、観察対象となる臓器の仮想的な外形（例えば、正面側から視た外観を表す像）を示す３次元仮想画像の表示制御について説明するが、例えば管腔臓器の内部（内腔）に内視鏡を挿入して撮影を行った際の映像に対応する３次元仮想内視鏡画像を、前記３次元画像データに基づいて表示させる表示制御にも、本発明は好適に適用される。
前記情報抽出部６０は、前記管腔臓器画像作成部５８により作成される前記３次元仮想画像に関して、観察対象である管腔臓器に係る各種情報を抽出する。前記情報抽出部６０は、例えば、それぞれ所定の解剖学的名称で識別される複数の臓器（臓器の部位）に関して、前記管腔臓器画像作成部５８により生成される前記３次元仮想画像における各部が、どの臓器（臓器の部位）に対応するか識別する。好適には、前記管腔臓器画像作成部５８により生成される前記３次元仮想画像における各部の走行方向、長さ、断面積等の特徴を抽出し、前記臓器データベース４６に記憶された特徴情報を参照することで、対象となる部位がどの臓器に対応するか識別する。例えば、前記臓器データベース４６に記憶された特徴情報に関して、走行方向、長さ、断面積等の特徴が最も近い臓器を、対象となる部位に対応する臓器として識別する。前記情報抽出部６０は、前記管腔臓器画像作成部５８により生成される前記臓器の３次元仮想画像を、体積領域であるＶＯＩ（Volume Of Interest：注目体積領域＝以下、単にＶＯＩと記す）により分割し、ＶＯＩ内の臓器の領域情報及び構造情報を抽出すること等により、観察対象である臓器を識別するものであってもよい。
図５は、前記情報抽出部６０による、被検体の肺に係る各種情報の抽出について説明する図である。この図５に示すように、前記情報抽出部６０は、前記管腔臓器画像作成部５８により生成される前記臓器の３次元仮想画像において、気管及び気管支に対応する部分、肺のリンパ節に対応する部分、肺の血管（動脈、静脈）に対応する部分、肺野及び肺葉に対応する部分の区分（セグメンテーション）を行う。そして、区分された気管及び気管支に対応する部分、リンパ節に対応する部分、血管に対応する部分、肺野及び肺葉に対応する部分それぞれに含まれる、解剖学的名称で識別される複数の臓器の区分を行う。以上のようにして、前記管腔臓器画像作成部５８により生成される前記３次元仮想画像における各部と、被検体における肺の構造との対応付けを行う。
前記カメラ／超音波画像観察位置推定部５６は、前記センサ装置１８による検出結果に基づいて、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置を推定する。前記内視鏡２６による観察位置は、例えば、前記観察部２８のレンズ位置に対応する。前記超音波プローブ３２による観察位置は、例えば、前記送受信部３４における超音波の送信及び反射波の受信を行う部位（例えば、送受信部３４の先端部）に対応する。前記カメラ／超音波画像観察位置推定部５６は、前記管腔臓器画像作成部５８により作成される３次元仮想画像における相対位置としての、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置を推定する。すなわち、本実施例においては、前記カメラ／超音波画像観察位置推定部５６が、前記センサ装置１６による検出結果に基づいて、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像における、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置の対応付けを行う観察位置対応付部に相当する。
前記カメラ／超音波画像観察位置推定部５６は、例えば、（１）前記内視鏡２６に対応する座標系、（２）前記超音波プローブ３２に対応する座標系、（３）前記磁気式位置センサ３８、４０に対応する座標系、（４）前記３次元仮想画像に対応する座標系等、複数の座標系（例えば、それぞれ３次元の座標系）を考え、各座標系相互の変換行列を導出することで、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置の対応付けを行う。例えば、（ａ）前記内視鏡２６に対応する座標系と前記磁気式位置センサ３８に対応する座標系との変換行列、（ｂ）前記超音波プローブ３２に対応する座標系と前記磁気式位置センサ４０に対応する座標系との変換行列、及び（ｃ）前記３次元仮想画像に対応する座標系と前記磁気式位置センサ３８、４０に対応する座標系との変換行列を導出することで、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置の対応付けを行う。好適には、前記内視鏡２６により取得される内視鏡画像の解析により得られるその内視鏡画像の特徴、前記超音波プローブ３２により取得される超音波画像の解析により得られるその超音波画像の特徴、及び前記３次元仮想画像の解析により得られるその３次元仮想画像（例えば、気管支の芯線）等に基づいて、前記座標系の対応付けが行われる。この座標系の対応付けについては、「久郷 達也, 北坂 孝幸, 羅 雄彪, 森 健策, “画像情報統合に基づく超音波気管支鏡ナビゲーションシステム,”電子情報通信学会技術研究報告, Vol.111, No.47(IE2011 9-39), Page.7-12(2011.05.12)」に詳しい。
前記情報融合処理部６２は、前記情報処理部５２により処理された情報に関して、各種情報を融合（合成）させ、情報可視化部８２を介して前記映像表示装置１４に表示させる制御を行う。好適には、以下に詳述するように、前記管腔臓器画像作成部５８により作成される前記管腔臓器の３次元仮想画像と、前記内視鏡２６により取得される内視鏡画像と、前記超音波プローブ３２により取得される超音波画像とを、前記映像表示装置１４に同期して表示させる。すなわち、本実施例においては、前記情報融合処理部６２が画像表示制御部として機能する。このため、前記情報融合処理部６２は、挿入経路生成部６４、カメラ／プローブ位置提示部６６、ＣＴ像／超音波画像融合部６８、経路名称表示部７０、超音波画像３次元再構築部７２、特定部位検出部７４、特定部位画像抽出部７６、及び生検目的部位表示部７８を備えている。以下、各制御部の処理について説明する。
前記挿入経路生成部６４は、前記管腔臓器画像作成部５８により作成される前記３次元仮想画像において、前記内視鏡本体２０（管状部２２）が挿入される経路に対応する経路情報を生成する。例えば、前記カメラ／超音波画像観察位置推定部５６による対応付けの結果に基づいて、前記３次元仮想画像において、前記内視鏡本体２０が挿入される始点から、前記内視鏡２６による観察位置（或いは、超音波プローブ３２による観察位置）までの経路に対応する経路情報を生成する。例えば、気管支に対応する前記３次元仮想画像において、前記内視鏡本体２０が挿入される始点に相当する気管の咽喉側端部から、前記内視鏡２６による観察位置（或いは、超音波プローブ３２による観察位置）までの経路に対応する経路情報を生成する。前記挿入経路生成部６４は、好適には、後述する特定部位検出部７４により検出された特定部位までの経路に対応する経路情報を生成する。例えば、前記内視鏡本体２０が挿入される始点から、前記特定部位検出部７４により検出された特定部位までの経路に対応する経路情報を生成する。
前記経路名称表示部７０は、前記挿入経路生成部６４により生成された経路情報に関する名称情報を表示させる。例えば、前記カメラ／超音波画像観察位置推定部５６による対応付けの結果に基づいて、前記情報抽出部６０により抽出される、前記経路情報に対応する経路上における臓器の解剖学的名称を表示させる。例えば、気管支に対応する経路情報に関して、その経路情報に対応する経路上における「Left Main Bronchus」、「Right Main Bronchus」等の気管支名称を、前記挿入経路生成部６４により生成される経路情報における各臓器の対応する位置に表示させる。
前記解剖学的名称情報表示部８０は、観察対象である臓器の解剖学的名称情報を生成して表示させる。例えば、観察対象である臓器の解剖学的名称に対応するテキストデータ（文字画像データ）を生成して表示させる。好適には、前記管腔臓器画像作成部５８により作成される前記管腔臓器の３次元仮想画像に対して、生成されたテキストデータを合成表示させる。好適には、前記管腔臓器画像作成部５８により作成される前記管腔臓器の３次元仮想画像において、前記情報抽出部６０により抽出（識別）される観察対象である臓器に対応する部位に、その臓器の解剖学的名称に対応するテキストデータを合成表示させる。
前記カメラ／プローブ位置提示部６６は、前記管腔臓器画像作成部５８により作成される前記３次元仮想画像上に、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置を提示する。好適には、前記カメラ／超音波画像観察位置推定部５６による推定結果、すなわち前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置の対応付けの結果に基づいて、前記管腔臓器画像作成部５８により作成される前記３次元仮想画像上に、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置を表示させる。すなわち、本実施例においては、前記カメラ／プローブ位置提示部６６が観察位置表示制御部に相当する。
前記ＣＴ像／超音波画像融合部６８は、前記管腔臓器画像作成部５８により作成される前記３次元仮想画像と、前記超音波プローブ３２により取得された超音波画像とを、合成表示させる。好適には、前記カメラ／超音波画像観察位置推定部５６による推定結果、すなわち前記超音波プローブ３２による観察位置の対応付けの結果に基づいて、前記管腔臓器画像作成部５８により作成される前記３次元仮想画像上における、前記超音波プローブ３２による観察位置に、前記超音波プローブ３２により取得された超音波画像を合成表示させる。
前記超音波画像３次元再構築部７２は、前記超音波画像取得部４８により前記超音波プローブ３２の突出量を変化させつつ取得された複数の超音波画像に基づいて、前記超音波プローブ３２による観察位置の３次元画像を再構築する。例えば、前記超音波画像取得部４８により取得された複数の超音波画像に基づいて、３次元領域の連続するスライスの断層像を積み重ねることによって前記観察部位の３次元仮想画像を作成する。すなわち、本実施例においては、前記超音波画像３次元再構築部７２が３次元画像再構築部に相当する。
前記特定部位検出部７４は、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像における特定部位を検出する。好適には、前記特定部位として、前記管腔臓器の３次元画像における病変部すなわち病変の存在が疑われる部位を検出する。好適には、前記３次元画像データに基づいて、例えば所定のＣＴ値のボクセルの具合である等、予め定められた条件に合致すること等により前記管腔臓器における病変部の存在を検出する。例えば、被検体の気管支内腔よりも外側（気管支壁の向こう側）における肺癌をはじめとする病変部の存在を検出する。
前記特定部位画像抽出部７６は、前記特定部位検出部７４により検出された特定部位に関して、前記超音波画像取得部４８により取得された複数の超音波画像に基づいて、前記超音波プローブ３２による観察位置における前記特定部位の３次元画像を抽出する。例えば、前記超音波画像３次元再構築部７２により再構築された前記超音波プローブ３２による観察部位の３次元仮想画像から、前記特定部位検出部７４により検出された前記特定部位に対応する３次元仮想画像を抽出する。以下、図６〜図９を参照して特定部位（病変部）の検出及びその特定部位に対応する３次元仮想画像の抽出について説明する。
図６は、前記支援装置１０により生成される気管支の図像の一例を模式的に示す図である。この図６に示す図像１００は、前記ＣＴ画像データ取込部５０により取り込まれた３次元画像データに基づいて、前記管腔臓器画像作成部５８により作成された前記内視鏡２６による観察対象である管腔臓器の３次元仮想画像（外形像）に相当する。図６に示す例では、前記気管支の図像１００上に、前記挿入経路生成部６４により生成された経路情報に基づいて、前記気管支内に挿入される前記内視鏡２６の経路１０２が合成されている。更に、前記内視鏡２６により取得された内視鏡画像１０４が、前記気管支の図像１００上における前記内視鏡２６の観察位置に合成表示されると共に、前記挿入経路生成部６４により生成された経路情報における、対応する臓器の情報が、前記経路名称表示部７０により表示される様子を示している。
図７は、前記気管支の図像１００に対応して検出される病変部について説明する図である。図７に示す例では、前記管腔臓器画像作成部５８により作成された３次元仮想画像である前記気管支の図像１００において、前記特定部位検出部７４により、前記特定部位としての病変部１０６が検出される様子を示している。このようにして病変部１０６が検出された場合、前記挿入経路生成部６４により、前記内視鏡本体２０が挿入される始点から、前記病変部１０６までの経路に対応する経路情報が生成される。図７に示す例では、前記気管支の図像１００上に、前記挿入経路生成部６４により生成された経路情報に基づいて、前記内視鏡本体２０が挿入される始点から前記病変部１０６までの経路１０８が合成されている。
図８及び図９は、前記超音波プローブ３２により前記病変部１０６の超音波画像が取得される様子を説明する図である。前記気管支の図像１００に合成された前記経路１０８に従って、前記気管支内に前記内視鏡２６を挿通（進行）させることで、図８に示すように、前記内視鏡２６の観察部２８（超音波プローブ３２の送受信部３４）を前記病変部１０６まで簡便に誘導できる。ここで、前記内視鏡２６では、気管支内腔よりも外側（気管支壁の向こう側）における組織の観察はできない。そこで、前記病変部１０６に対して、前記超音波プローブ３２により超音波画像の取得が行われる。図８においては、前記超音波プローブ３２により取得された超音波画像１０８が、前記気管支の図像１００上における前記超音波プローブ３２の観察位置に合成表示される様子を示している。図８に示すように、前記超音波画像１０８は、例えば、前記超音波プローブ３２における前記送受信部３４の長手方向に垂直な平面に対応する画像である。前記超音波プローブ３２により取得された超音波画像１０８には、気管支内腔よりも外側における組織の像が含まれる。例えば、前記超音波画像１０８は、前記気管支に対応する像１１０、気管支近傍における血管に対応する像１１２、及び前記病変部１０６に対応する像１１４を含んでいる。
前記支援装置１０においては、図９に示すように、前記超音波画像取得部４８により前記超音波プローブ３２における前記管状部２２の端部２２ａからの突出量が変化させられつつ前記病変部１０６の超音波画像１０８ａ、１０８ｂ、１０８ｃ、・・・（以下、特に区別しない場合には単に超音波画像１０８という）が連続的に複数取得される。例えば、前記気管支における、前記病変部１０６近傍の細い管に対して前記超音波プローブ３２が微小に出し入れされつつ、当該部位の超音波画像１０８が連続的に複数取得される。好適には、前記送受信部３４が連続的に回転させられると共に、前記管に対して前記超音波プローブ３２が微小に出し入れされつつ、当該部位の超音波画像１０８が連続的に複数取得される。このようにして取得された複数の超音波画像１０８に基づいて、３次元領域の連続するスライスの断層像を積み重ねることによって前記超音波プローブ３２の観察部位の３次元仮想画像が再構築される。そして、図９に示すように、その３次元仮想画像から、前記病変部１０６に対応する３次元画像１１６が抽出される。
前記ＣＴ像／超音波画像融合部６８は、前記カメラ／超音波観察位置推定部５６により推定される前記超音波プローブ３２の観察位置に基づいて、前記特定部位画像抽出部７６により抽出された前記特定部位の３次元画像を、前記管腔臓器画像作成部５８により作成された前記管腔臓器の３次元画像に合成表示させる。例えば、前記のようにして抽出された前記病変部１０６に対応する３次元画像１１６を、前記気管支の図像１００における前記病変部１０６に対応する位置に合成表示させる。すなわち、本実施例においては、前記ＣＴ像／超音波画像融合部６８が特定部位画像合成表示部に相当する。ここで、前記超音波画像１０８の取得時には、前記超音波プローブ３２の突出量が変化させられる。従って、前記管腔臓器画像作成部５８により作成された前記管腔臓器の３次元画像に対する、前記超音波プローブ３２による観察位置の相対的な位置関係も変化するが、本実施例においては、前記カメラ／超音波画像観察位置推定部５６により前記超音波プローブ３２の観察位置が前記管腔臓器の３次元画像に対応付けられているため、再構築された特定部位の３次元画像を、臓器全体の３次元画像におけるより正確な位置に合成表示させることができる。
前記生検目的部位表示部７８は、前記管腔臓器画像作成部５８により作成された前記管腔臓器の３次元画像において、前記特定部位検出部７４により検出された特定部位を、生検目的部位として表示させる。好適には、前記ＣＴ像／超音波画像融合部６８により前記管腔臓器の３次元画像に合成表示された、前記病変部１０６に対応する３次元画像１１６を、生検目的部位として表示させる。この生検目的部位とは、例えば、前記内視鏡本体２０における管状部２２に備えられた鉗子口に挿入された針や生検鉗子をはじめとする処置具による生検の対象となる部位に相当する。すなわち、組織の採取のために前記針が刺される部位、或いは生検鉗子により掴み取られる部位に相当する。例えば、気管支の内視鏡検査において被検体が呼吸している場合には、その呼吸に合わせて気管支の形状が若干変形する。このため、予め得られた管腔臓器の３次元画像データに基づいて作成された３次元画像に基づいて生検目的部位を決定した場合、その生検目的部位が組織を採取すべき部位（例えば、病変部１０６）から若干ずれるおそれがある。本実施例においては、前記超音波プローブ３２により連続的に取得された複数の超音波画像１０８に基づいて生成された、前記病変部１０６に対応する３次元画像１１６が生検目的部位として表示されるため、組織の採取のために前記針が刺される部位、或いは生検鉗子により掴み取られる部位としてより正確な位置を提示することができる。
以上に説明したように、前記情報処理部５２及び情報融合処理部５４により生成延いては合成された画像は、前記情報可視化部８２を介して前記映像表示装置１４に表示される。図１０〜図１５は、前記情報可視化部８２を介して前記映像表示装置１４に表示される観察画面を例示している。図１０に示す観察画面１１８では、前記内視鏡２６により取得された内視鏡画像及びその内視鏡２６の経路名称を含む画像１２０、及び前記内視鏡２６の位置及び方向から作成した前記管腔臓器内部の３次元仮想画像１２２が、１つの画面内に同期して表示されている。図１１に示す観察画面１２４では、前記画像１２０、１２２に加え、前記内視鏡２６の動きや経路、目的部位としての前記特定部位（病変部１０６）や周辺情報等を含む画像１２６が、１つの画面内に同期して表示されている。図１２に示す観察画面１２８では、前記画像１２０、１２２に加え、前記内視鏡２６の動きや経路、前記超音波プローブ３２により取得される超音波画像等を含む画像１３０、及び前記超音波プローブ３２により取得される超音波画像１３２が、１つの画面内に同期して表示されている。図１３に示す観察画面１３４では、前記画像１２０、１２２、１３２に加え、予め得られた管腔臓器の３次元画像データに基づいて構築された３次元仮想画像（ＣＴ像）上における前記内視鏡２６及び超音波プローブ３２による観察位置を示す画像１３６、前記内視鏡２６の動きや経路、目的部位としての前記特定部位や周辺情報、前記超音波プローブ３２により取得される超音波画像等を含む画像１３８が、１つの画面内に同期して表示されている。図１４に示す観察画面１４０では、前記画像１２０、１２２、１３２、１３６、１３８が、図１３に示す観察画面１３４とは異なる配置で１つの画面内に同期して表示されている。図１５に示す観察画面１４２では、前記画像１２０、１２２、１３２、１３６、１３８に加え、前記超音波プローブ３２により取得された複数の超音波画像から再構築された目的部位としての前記特定部位の３次元画像１４４、及び前記複数の超音波画像から再構築された３次元画像に対する生検目的部位を提示する画像１４６が、１つの画面内に同期して表示されている。
図１６は、前記支援装置１０の制御装置１２による前記内視鏡２６に対応する座標系と前記磁気式位置センサ３８に対応する座標系との変換行列決定制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ（以下、ステップを省略する）ＳＡ１において、前記内視鏡２６により取得される内視鏡画像と、前記磁気式位置センサ３８の検出結果とが取り込まれる。次に、ＳＡ２において、ＳＡ１にて取り込まれた内視鏡画像が解析され、その内視鏡画像における特徴が抽出される。次に、ＳＡ３において、ＳＡ１にて取り込まれた前記磁気式位置センサ３８の検出結果及びＳＡ２にて抽出された内視鏡画像における特徴に基づいて、変換行列の初期値が設定される。次に、ＳＡ４において、ＳＡ３にて設定された変換行列による変換誤差が算出される。次に、ＳＡ５において、ＳＡ４にて算出された変換誤差が、予め定められた許容誤差の範囲内であるか否かが判断される。このＳＡ５の判断が否定される場合には、ＳＡ６において、変換行列が変更された後、ＳＡ４以下の処理が再び実行されるが、ＳＡ５の判断が肯定される場合には、ＳＡ７において、ＳＡ３にて設定された変換行列或いはＳＡ６にて変更された変換行列が、前記内視鏡２６に対応する座標系と前記磁気式位置センサ３８に対応する座標系との変換行列として決定された後、それをもって本ルーチンが終了させられる。
図１７は、前記支援装置１０の制御装置１２による前記超音波プローブ３２に対応する座標系と前記磁気式位置センサ４０に対応する座標系との変換行列決定制御の他の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ＳＢ１において、前記超音波プローブ３２により取得される内視鏡画像と、前記磁気式位置センサ４０の検出結果とが取り込まれる。次に、ＳＢ２において、ＳＢ１にて取り込まれた超音波画像が解析され、その超音波画像における特徴が抽出される。次に、ＳＢ３において、ＳＢ１にて取り込まれた前記磁気式位置センサ４０の検出結果及びＳＢ２にて抽出された超音波画像における特徴に基づいて、変換行列の初期値が設定される。次に、ＳＢ４において、ＳＢ３にて設定された変換行列による変換誤差が算出される。次に、ＳＢ５において、ＳＢ４にて算出された変換誤差が、予め定められた許容誤差の範囲内であるか否かが判断される。このＳＢ５の判断が否定される場合には、ＳＢ６において、変換行列が変更された後、ＳＢ４以下の処理が再び実行されるが、ＳＢ５の判断が肯定される場合には、ＳＢ７において、ＳＢ３にて設定された変換行列或いはＳＢ６にて変更された変換行列が、前記超音波プローブ３２に対応する座標系と前記磁気式位置センサ４０に対応する座標系との変換行列として決定された後、それをもって本ルーチンが終了させられる。
図１８は、前記支援装置１０の制御装置１２による前記３次元仮想画像に対応する座標系と前記磁気式位置センサ３８、４０に対応する座標系との変換行列決定制御の更に別の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ＳＣ１において、予め得られた管腔臓器の３次元画像データに基づいて生成される３次元仮想画像（ＣＴ画像）と、前記磁気式位置センサ３８、４０の検出結果とが取り込まれる。次に、ＳＣ２において、ＳＣ１にて取り込まれた３次元仮想画像が解析され、その３次元仮想画像における特徴として、例えば気管支芯線（気管支の長手方向に沿った中心線）が抽出される。次に、ＳＣ３において、ＳＣ１にて取り込まれた前記磁気式位置センサ３８、４０の検出結果及びＳＣ２にて抽出された気管支芯線に基づいて、変換行列の初期値が設定される。次に、ＳＣ４において、ＳＣ３にて設定された変換行列による変換誤差が算出される。次に、ＳＣ５において、ＳＣ４にて算出された変換誤差が、予め定められた許容誤差の範囲内であるか否かが判断される。このＳＣ５の判断が否定される場合には、ＳＣ６において、変換行列が変更された後、ＳＣ４以下の処理が再び実行されるが、ＳＣ５の判断が肯定される場合には、ＳＣ７において、ＳＣ３にて設定された変換行列或いはＳＣ６にて変更された変換行列が、前記３次元仮想画像に対応する座標系と前記磁気式位置センサ３８、４０に対応する座標系との変換行列として決定された後、それをもって本ルーチンが終了させられる。
図１９は、前記支援装置１０の制御装置１２による内視鏡観察支援制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、Ｓ１において、予め得られた管腔臓器の３次元画像データが前記画像データベース４４から読み出され、その３次元画像データに基づいて、前記管腔臓器の３次元仮想画像が生成される。次に、Ｓ２において、前記内視鏡２６により内視鏡画像が取得されると共に、前記超音波プローブ３２により超音波画像が取得される。次に、Ｓ３において、ＳＡ１〜ＳＡ７、ＳＢ１〜ＳＢ７、ＳＣ１〜ＳＣ７にて決定された変換行列に基づいて、Ｓ１にて生成された前記管腔臓器の３次元仮想画像に対して前記内視鏡２６の観察位置及び前記超音波プローブ３２の観察位置が対応付けられる。次に、Ｓ４において、Ｓ３の対応付けの結果に基づいて、Ｓ１にて生成された前記管腔臓器の３次元仮想画像上に、前記内視鏡２６により取得された内視鏡画像、前記超音波プローブ３２により取得された超音波画像等が合成されると共に、前記内視鏡２６及び前記超音波プローブ３２の先端位置等の情報が提示され、前記映像表示装置１４に表示される。次に、Ｓ５において、Ｓ１にて生成された前記管腔臓器の３次元仮想画像における特定部位として、病変部の存在が検出されたか否かが判断される。このＳ５の判断が否定される場合には、Ｓ１以下の処理が再び実行されるが、Ｓ５の判断が肯定される場合には、Ｓ６において、Ｓ５にて検出された病変部までの経路情報が作成され、Ｓ１にて生成された前記管腔臓器の３次元仮想画像上に提示される。次に、Ｓ７において、前記内視鏡２６（超音波プローブ３２）の先端位置が、Ｓ５にて検出された病変部に到達したか否かが判断される。このＳ７の判断が否定されるうちは、Ｓ７の判断が繰り返されることにより待機させられるが、Ｓ７の判断が肯定される場合には、Ｓ８において、前記超音波プローブ３２における前記端部２２ａからの突出量が変化させられつつ、前記超音波プローブ３２による観察位置の超音波画像が連続的に複数取得される。次に、Ｓ９において、Ｓ８にて取得された複数の超音波画像に基づいて、前記超音波プローブ３２による観察位置の３次元画像が再構築される。次に、Ｓ１０において、Ｓ９にて再構築された３次元画像から、Ｓ５にて検出された病変部の３次元画像が抽出される。次に、Ｓ１１において、Ｓ１０にて抽出された病変部の３次元画像が、Ｓ１にて生成された前記管腔臓器の３次元仮想画像上における、検出された病変部に対応する位置に合成され、前記映像表示装置１４に表示された後、それをもって本ルーチンが終了させられる。
以上の制御において、Ｓ２及びＳ８が前記超音波画像取得部４８の動作に、Ｓ３が観察位置対応付部としての前記カメラ／超音波画像観察位置推定部５６の動作に、Ｓ１が前記管腔臓器画像作成部５８の動作に、Ｓ４が画像表示制御部としての前記情報融合処理部６２及び観察位置表示制御部としての前記カメラ／プローブ位置提示部６６の動作に、Ｓ１１が特定部位画像合成表示部としての前記ＣＴ像／超音波画像融合部６８の動作に、Ｓ９が３次元画像再構築部としての前記超音波画像３次元再構築部７２の動作に、Ｓ１０が前記特定部位画像抽出部７６の動作に、それぞれ対応する。
このように、本実施例によれば、基端部としての端部２２ａからの突出量を変更できる超音波プローブ３２と、内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を検出する先端位置検出部としてのセンサ装置１８と、そのセンサ装置１８による検出結果に基づいて、３次元画像データに基づいて構築される前記管腔臓器の３次元画像における、前記内視鏡２６による観察位置及び前記超音波プローブ３２による観察位置の対応付けを行う観察位置対応付部としての前記カメラ／超音波画像観察位置推定部５６（Ｓ３）と、前記超音波プローブ３２における前記端部２２ａからの突出量を変化させつつ前記超音波プローブ３２による観察位置の超音波画像を連続的に複数取得する超音波画像取得部４８（Ｓ８）と、その超音波画像取得部４８により取得された複数の超音波画像に基づいて、前記超音波プローブ３２による観察位置の３次元画像を再構築する３次元画像再構築部としての超音波画像３次元再構築部７２（Ｓ９）とを、備えたものであることから、前記超音波プローブ３２による観察位置と前記内視鏡２６による観察位置との対応関係が変化し、更には前記超音波プローブ３２の観察位置と前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像との対応関係が変化した場合においても、前記超音波プローブ３２による観察位置と前記内視鏡２６による観察位置、更には前記管腔臓器の３次元画像との対応関係を好適に把握し、目的となる部位の３次元画像を再構築できる。すなわち、超音波プローブ３２による観察を効果的に支援する支援装置１０を提供することができる。
前記超音波画像取得部４８により取得された複数の超音波画像に基づいて、前記超音波プローブ３２による観察位置における特定部位の３次元画像を抽出する特定部位画像抽出部７６（Ｓ１０）と、前記カメラ／超音波画像観察位置推定部５６による対応付けの結果に基づいて、前記特定部位画像抽出部７６により抽出された前記特定部位の３次元画像を、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像に合成表示させる特定部位画像合成表示部としての前記ＣＴ像／超音波画像融合部６８（Ｓ１１）とを、備えたものであるため、前記超音波プローブ３２により取得される超音波画像に基づいて、観察対象となる管腔臓器の３次元画像上に、病変部をはじめとする特定部位の３次元画像を好適に合成表示できる。
前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像と、前記内視鏡２６により取得される内視鏡画像と、前記超音波プローブ３２により取得される超音波画像とを、同期して表示させる画像表示制御部としての前記情報融合処理部６２（Ｓ４）を備えたものであるため、観察対象である管腔臓器の３次元画像、内視鏡画像、及び超音波画像を表示させる実用的なナビゲーションを実現できる。
前記カメラ／超音波画像観察位置推定部５６による対応付けの結果に基づいて、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像上に、前記超音波プローブ３２による観察位置を表示させる観察位置表示制御部としての前記カメラ／プローブ位置提示部６６（Ｓ４）を備えたものであるため、超音波プローブ３２による観察位置を、観察対象である管腔臓器の３次元画像上に表示させる実用的なナビゲーションを実現できる。
前記センサ装置１８は、前記内視鏡２６の先端部及び前記超音波プローブ３２の先端部にそれぞれ設けられた磁気式位置センサ３８、４０の検出結果に基づいて、前記内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を検出するものであるため、実用的な態様で前記内視鏡２６及び前記超音波プローブ３２の先端位置を検出できる。
前記センサ装置１８は、前記内視鏡２６の先端部に設けられた磁気式位置センサ３８の検出結果に基づいて前記内視鏡２６の先端位置を検出し、その内視鏡２６の先端位置及び前記超音波プローブ３２の挿入長を検出する超音波プローブ挿入長センサ９０の検出結果に基づいて前記超音波プローブ３２の先端位置を検出するものであるため、実用的な態様で前記内視鏡２６及び前記超音波プローブ３２の先端位置を検出できる。
前記センサ装置１８は、前記内視鏡２６の挿入長を検出する内視鏡挿入長センサ９２の検出結果と、前記超音波プローブ３２の挿入長を検出する超音波プローブ挿入長センサ９０の検出結果とに基づいて、前記内視鏡２６の先端位置及び前記超音波プローブ３２の先端位置を検出するものであるため、実用的な態様で前記内視鏡２６及び前記超音波プローブ３２の先端位置を検出できる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例では、前記支援装置１０により管腔臓器としての気管支の観察を支援する態様について説明したが、本発明はこれに限定されるものではなく、前記支援装置１０は、例えば、大腸、小腸、十二指腸、胃、胆管、膵管、リンパ管等の管腔臓器（中空臓器）に対応する３次元仮想画像の観察にも好適に使用される。
前述の実施例において、前記超音波プローブ３２は、その先端部に前記送受信部３４を備え、その送受信部３４の長手方向に垂直な平面に対応する超音波画像を取得するものであったが、本発明に備えられる超音波プローブは、斯かる態様には限定されない。例えば、長手方向の側部（側面）から超音波を放出すると共に、その側部において反射波を受信する形式の超音波プローブを備えた内視鏡観察支援装置にも、本発明は好適に適用される。前記内視鏡２６は、その先端部に単一の観察部２８を備えたものであったが、前記管状部２２の端部２２ａに加え、或いは端部２２ａを除く中腹に単数乃至複数の観察部２８を備えたものであってもよい。
前述の実施例においては、前記観察画面１１８等において、画像１２０、１２２等が前記映像表示装置１４の１画面に同期して表示される表示態様について説明したが、複数の映像表示装置１４が設けられており、前記１２０、１２２等がそれぞれ異なる画面（異なる映像表示装置）に同期して表示されるものであっても当然に構わない。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
１０：内視鏡観察支援装置、１８：センサ装置（先端位置検出部）、２２ａ：端部（基端部）、２６：内視鏡、３２：超音波プローブ、３８、４０：磁気式位置センサ、４８：超音波画像取得部、５６：カメラ／超音波画像観察位置推定部（観察位置対応付部）、６２：情報融合処理部（画像表示制御部）、６６：カメラ／プローブ位置提示部（観察位置表示制御部）、６８：ＣＴ像／超音波画像融合部（特定部位画像合成表示部）、７２：超音波画像３次元再構築部（３次元画像再構築部）、７６：特定部位画像抽出部、９０：超音波プローブ挿入長センサ、９２：内視鏡挿入長センサ、１００：図像（３次元画像）、１０４：内視鏡画像、１０６：病変部（特定部位）、１０８：超音波画像
Claims (6)
- 予め得られた管腔臓器の３次元画像データに基づいて、該管腔臓器内に挿入された内視鏡による観察を支援する内視鏡観察支援装置であって、
基端部からの突出量を変更できる超音波プローブと、
前記内視鏡の先端位置及び前記超音波プローブの先端位置を検出する先端位置検出部と、
該先端位置検出部による検出結果に基づいて、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像における、前記内視鏡による観察位置及び前記超音波プローブによる観察位置の対応付けを行う観察位置対応付部と、
前記超音波プローブにおける前記基端部からの突出量を変化させつつ前記超音波プローブによる観察位置の超音波画像を連続的に複数取得する超音波画像取得部と、
該超音波画像取得部により取得された複数の超音波画像に基づいて、前記超音波プローブによる観察位置の３次元画像を再構築する３次元画像再構築部と、
前記超音波画像取得部により取得された複数の超音波画像に基づいて、前記超音波プローブによる観察位置における特定部位の３次元画像を抽出する特定部位画像抽出部と、
前記観察位置対応付部による対応付けの結果に基づいて、前記特定部位画像抽出部により抽出された前記特定部位の３次元画像を、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像に合成表示させる特定部位画像合成表示部と
を、備えたことを特徴とする内視鏡観察支援装置。 - 前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像と、前記内視鏡により取得される内視鏡画像と、前記超音波プローブにより取得される超音波画像とを、同期して表示させる画像表示制御部を備えたものである請求項１に記載の内視鏡観察支援装置。
- 前記観察位置対応付部による対応付けの結果に基づいて、前記３次元画像データに基づいて構築される前記管腔臓器の３次元画像上に、前記超音波プローブによる観察位置を表示させる観察位置表示制御部を備えたものである請求項１又は２に記載の内視鏡観察支援装置。
- 前記先端位置検出部は、前記内視鏡の先端部及び前記超音波プローブの先端部にそれぞれ設けられた磁気式位置センサの検出結果に基づいて、前記内視鏡の先端位置及び前記超音波プローブの先端位置を検出するものである請求項１から３の何れか１項に記載の内視鏡観察支援装置。
- 前記先端位置検出部は、前記内視鏡の先端部に設けられた磁気式位置センサの検出結果に基づいて前記内視鏡の先端位置を検出し、該内視鏡の先端位置及び前記超音波プローブの挿入長を検出する超音波プローブ挿入長センサの検出結果に基づいて前記超音波プローブの先端位置を検出するものである請求項１から３の何れか１項に記載の内視鏡観察支援装置。
- 前記先端位置検出部は、前記内視鏡の挿入長を検出する内視鏡挿入長センサの検出結果と、前記超音波プローブの挿入長を検出する超音波プローブ挿入長センサの検出結果とに基づいて、前記内視鏡の先端位置及び前記超音波プローブの先端位置を検出するものである請求項１から３の何れか１項に記載の内視鏡観察支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013252454A JP6270026B2 (ja) | 2013-12-05 | 2013-12-05 | 内視鏡観察支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013252454A JP6270026B2 (ja) | 2013-12-05 | 2013-12-05 | 内視鏡観察支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015107268A JP2015107268A (ja) | 2015-06-11 |
| JP6270026B2 true JP6270026B2 (ja) | 2018-01-31 |
Family
ID=53438129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013252454A Active JP6270026B2 (ja) | 2013-12-05 | 2013-12-05 | 内視鏡観察支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6270026B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109219384B (zh) * | 2016-05-31 | 2022-04-12 | 皇家飞利浦有限公司 | 内窥镜图像与超声图像的基于图像的融合 |
| JP2021164490A (ja) * | 2018-04-10 | 2021-10-14 | オリンパス株式会社 | 医療システム |
| EP3613351A1 (en) * | 2018-08-22 | 2020-02-26 | Koninklijke Philips N.V. | Coronary circulation using intra-cardiac echo |
| US11457981B2 (en) | 2018-10-04 | 2022-10-04 | Acclarent, Inc. | Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization |
| EP3932323A4 (en) * | 2019-02-28 | 2022-04-13 | FUJIFILM Corporation | ULTRASOUND ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR AN ULTRASOUND ENDOSCOPY SYSTEM |
| KR102536369B1 (ko) * | 2021-02-26 | 2023-05-26 | 주식회사 인피니트헬스케어 | 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 |
| WO2023054366A1 (ja) * | 2021-10-01 | 2023-04-06 | 富士フイルム株式会社 | 医療画像処理システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0698132B2 (ja) * | 1986-06-04 | 1994-12-07 | オリンパス光学工業株式会社 | 超音波診断装置 |
| JP2007508913A (ja) * | 2003-10-21 | 2007-04-12 | ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニヴァーシティ | 術中ターゲティングのシステムおよび方法 |
| WO2010140441A1 (ja) * | 2009-06-01 | 2010-12-09 | オリンパスメディカルシステムズ株式会社 | 医療機器システムおよび医療器具のキャリブレーション方法 |
| CN102231965B (zh) * | 2009-11-17 | 2014-03-12 | 奥林巴斯医疗株式会社 | 活检辅助系统 |
-
2013
- 2013-12-05 JP JP2013252454A patent/JP6270026B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015107268A (ja) | 2015-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6270026B2 (ja) | 内視鏡観察支援装置 | |
| EP2430979B1 (en) | Biopsy support system | |
| JP6535020B2 (ja) | 内視鏡画像内で可視の物体の３ｄ距離および寸法を測定するシステム | |
| JP5208495B2 (ja) | 医療用システム | |
| JP5918548B2 (ja) | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム | |
| EP2448512B1 (en) | Apparatus for tracking in a medical procedure | |
| US9237851B2 (en) | Imaging system producing multiple registered images of a body lumen | |
| JP2005253963A (ja) | 中空管の２ｄ画像データを中空管の３ｄ画像データと共に登録する方法 | |
| JP6600690B2 (ja) | 挿入体支援システム | |
| JP2006230906A (ja) | 医用診断システム、医用診断装置及び内視鏡 | |
| JP2009125394A (ja) | 血管内画像診断装置及び血管内画像診断システム | |
| JP2012165838A (ja) | 内視鏡挿入支援装置 | |
| JP2012024518A (ja) | 内視鏡観察を支援する装置および方法、並びに、プログラム | |
| JP2004097696A (ja) | 内視鏡観測装置 | |
| JP6794226B2 (ja) | 画像診断装置、画像診断装置の作動方法およびプログラム | |
| JP5226244B2 (ja) | 医用ガイドシステム | |
| JP2017131348A (ja) | 画像表示装置およびその制御方法、ｘ線不透過マーカ検出方法 | |
| JP2018134197A (ja) | 医用手技ナビゲーションシステムおよび方法 | |
| WO2015091226A1 (en) | Laparoscopic view extended with x-ray vision | |
| JP2014204904A (ja) | 医用ガイドシステム | |
| JP4869197B2 (ja) | 医用ガイド装置 | |
| JP4700405B2 (ja) | 超音波診断装置 | |
| JP5854399B2 (ja) | 医用システム | |
| WO2022239529A1 (ja) | 医療画像処理装置、医療画像処理方法、及びプログラム | |
| US20230233196A1 (en) | Living tissue sampling method and biopsy support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6270026 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |