JP5889495B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP5889495B2
JP5889495B2 JP2015542069A JP2015542069A JP5889495B2 JP 5889495 B2 JP5889495 B2 JP 5889495B2 JP 2015542069 A JP2015542069 A JP 2015542069A JP 2015542069 A JP2015542069 A JP 2015542069A JP 5889495 B2 JP5889495 B2 JP 5889495B2
Authority
JP
Japan
Prior art keywords
image
subject image
subject
unit
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015542069A
Other languages
English (en)
Other versions
JPWO2015122354A1 (ja
Inventor
高橋 毅
高橋  毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015542069A priority Critical patent/JP5889495B2/ja
Application granted granted Critical
Publication of JP5889495B2 publication Critical patent/JP5889495B2/ja
Publication of JPWO2015122354A1 publication Critical patent/JPWO2015122354A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131Accessories for endoscopes
    • A61B1/0014Fastening element for attaching accessories to the outside of an endoscope, e.g. clips, clamps or bands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00177Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0615Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for radial illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0625Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for multiple fixed illumination angles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • G06T3/047
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras

Description

本発明は、内視鏡システムに関し、特に、直視方向及び側視方向を同時に観察することが可能な内視鏡システムに関するものである。
被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成する画像処理装置等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。
例えば、特許第4955838号公報には、挿入部の先端部の先端面から突出する突出部が設けられて、この突出部の先端面に前方に位置する被検体を観察する前方観察用レンズが設けれ、突出部の周囲に、突出部の周囲に対向して位置する被検体を観察する周囲観察用レンズが設けられた内視鏡を備える内視鏡システムが開示されている。
この内視鏡は、前方観察用レンズで観察された被検体を撮像素子の中心部に円形の領域で撮像し、周囲観察用レンズで観察された被検体を、同じ撮像素子の円形の領域の外周の円環の領域で撮像する。これにより、前方の画像が円形の直視視野画像として中心部に形成され、周囲方向の画像が円環形状の側視視野画像として直視視野画像の外周部に形成された内視鏡画像がモニタ上に表示される。
また、特許第3337682号公報には、挿入部の先端部の先端面に直視視野画像を取得する直視観察用レンズが設けられ、先端部の周方向に側視視野画像を取得する複数の側視観察用レンズが設けられた内視鏡を備える内視鏡システムが開示されている。
この内視鏡は、直視観察用レンズ及び複数の側視観察用レンズの結像位置にそれぞれ撮像素子が設けられており、これらの撮像素子により直視視野画像及び複数の側視視野画像を撮像する。そして、直視視野画像が中央に配置され、複数の側視視野画像が直視視野画像の両隣に配置され、モニタ上に表示される。
特許第4955838号公報及び特許第3337682号公報に開示されている内視鏡で処置具を挿通させると、直視視野画像、側視視野画像のそれぞれで処置具の摺動が観察される。
しかしながら、これらの内視鏡は、直視視野と側視視野とが別々の観察領域であるため、直視視野画像と側視視野画像とで処置具の摺動軌道が不連続になる場合がある。このように、処置具の像が不連続になると、処置具の視認性、処置の作業性が低下するという問題がある。
処置具の像が不連続になる原因は、直視視野用レンズと側視視野用レンズのチルトやシフト、または対物光学系の枠組付け時の加工誤差等が挙げられる。これらの原因である誤差を内視鏡の製造時に抑制することは、加工、組み立てを極めて厳密に行わなければならないため、内視鏡の製造・加工の手間が増えるという問題がある。
そこで、本発明は、内視鏡の製造・加工の手間を増やすことなく、直視視野と側視視野とで観察された視野内の対象物の像を連続させることで、複数視野を有する内視鏡下での処置具による処置の作業性を向上させることができる内視鏡システムを提供することを目的とする。
本発明の一態様の内視鏡システムは、被写体の内部に挿入される挿入部と、前記挿入部に設けられ、前記被写体の第1の領域から所定の対象物の像を含む第1の被写体像を取得する第1の被写体像取得部と、前記挿入部に設けられ、前記第1の領域とは少なくとも一部が異なる前記被写体の第2の領域から前記対象物の像を含む第2の被写体像を取得する第2の被写体像取得部と、記第1の被写体像前記第2の被写体像とが隣接するよう並べて配置した画像信号を生成する画像信号生成部と、前記画像において、前記第1の被写体像中の前記対象物の像と、前記第2の被写体像中の前記対象物の像との配置のずれに関するズレ量の情報を記録する記録部と、前記ズレ量に応じて前記第1の被写体像中の前記対象物の像と、前記第2の被写体像中の前記対象物の像のうち少なくともいずれかの配置を変化させて、前記第1の被写体像中の前記対象物の像の位置と、前記第2の被写体像中の前記対象物の像の位置とを合わせる処理を、前記画像に対して行う画像処理部と、
を備える。
第1の実施形態に係る内視鏡システムの構成を示す図である。 内視鏡の挿入部の先端部の構成を示す斜視図である。 内視鏡の挿入部の先端部の構成を示す正面図である。 モニタに表示される観察画像の一例を示す図である。 第1の実施形態における要部の構成を示す図である。 第1の実施形態における画像処理部の構成を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第1の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 第2の実施形態に係る内視鏡の挿入部の先端部の構成を示す斜視図である。 第2の実施形態における要部の構成を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第3の実施形態に係る画像処理部の構成を説明するための図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第3の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第4の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第5の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 第3の実施形態の内視鏡システムに対して、第2の実施形態の内視鏡システムを適用した際の画面表示の例を示す図である。 第4の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。 第5の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。 第3、第4及び第5の実施形態を組み合わせた内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。 重複する部分を画像信号から削除して表示させる例である。 側方観察用のユニットが取り付けられた挿入部4の先端部6の斜視図である。 第6の実施形態における要部の構成を示す図である。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
まず、図1から図8を用いて第1の実施形態の内視鏡システムの構成について説明する。図1は、第1の実施形態に係る内視鏡システムの構成を示す図であり、図2は、内視鏡の挿入部の先端部の構成を示す斜視図であり、図3は、内視鏡の挿入部の先端部の構成を示す正面図であり、図4は、モニタに表示される観察画像の一例を示す図であり、図5は、第1の実施形態における要部の構成を示す図であり、図6は、第1の実施形態における画像処理部の構成を示す図であり、図7A〜図7Eは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。また、図8は、画像処理の一例について説明するためのフローチャートである。
図1に示すように、内視鏡システム1は、観察対象物を撮像して撮像信号を出力する内視鏡2と、観察対象物を照明するための照明光を供給する光源装置31と、撮像信号に応じた映像信号(画像信号)を生成及び出力する画像信号生成部としての機能を有するビデオプロセッサ32と、映像信号(画像信号)に応じた観察画像を表示するモニタ35と、を有している。
内視鏡2は、術者が把持して操作を行う操作部3と、操作部3の先端側に形成され、体腔内等に挿入される細長の挿入部4と、操作部3の側部から延出するように一方の端部が設けられたユニバーサルコード5と、を有して構成されている。
本実施形態の内視鏡2は、複数の視野画像を表示させることで180度以上の視野を観察可能な広角内視鏡であり、体腔内、特に大腸内において、襞の裏や臓器の境界等、直視方向の観察だけでは見難い場所の病変を見落とすことを防ぐことを実現する。大腸内に内視鏡2の挿入部4を挿入するにあたっては、通常の大腸内視鏡と同様、挿入部2に捻り、往復運動、腸壁のフックを行うことによる仮固定等の動作が発生する。
挿入部4は、最も先端側に設けられた硬質の先端部6と、先端部6の後端に設けられた湾曲自在の湾曲部7と、湾曲部7の後端に設けられた長尺かつ可撓性を有する可撓管部8と、を有して構成されている。また、湾曲部7は、操作部3に設けられた湾曲操作レバー9の操作に応じた湾曲動作を行う。
一方、図2に示すように、挿入部4の先端部6には、先端部6の先端面の中央から上方寄りに偏心した位置から突出して設けられた、円柱形状の円筒部10が形成されている。
円筒部10の先端部には、直視及び側視を兼ねる図示しない対物光学系が設けられている。また、円筒部10の先端部は、前記図示しない対物光学系の直視方向に相当する箇所に配置された直視観察窓12と、前記図示しない対物光学系の側視方向に相当する箇所に配置された側視観察窓13と、を有して構成されている。さらに、円筒部10の基端付近には、側視方向を照明するための光を出射する側視照明部14が形成されている。
側視観察窓13は、円柱形状の円筒部10における周方向から入射される観察対象物からの戻り光(反射光)を側視視野内に捉えることにより側視視野画像を取得可能とするための、側視用ミラーレンズ15を備えている。
なお、前記図示しない対物光学系の結像位置には、直視観察窓12の視野内の観察対象物の画像が円形の直視視野画像として中心部に形成され、かつ、側視観察窓13の視野内の観察対象物の画像が円環形状の側視視野画像として直視視野画像の外周部に形成されるように、図5に示す撮像素子30(の撮像面)が配置されているものとする。
このような画像は、側視用ミラーレンズ15で戻り光を2回反射させる2回反射光学系を用いることで実現させているが、戻り光を1回反射光学系により1回反射させて形成し、これをビデオプロセッサ32で画像処理し、側視視野画像と直視視野画像との向きを合わせてもよい。
先端部6の先端面には、円筒部10に隣接する位置に配置され、直視観察窓12の直視視野の範囲に照明光を出射する直視照明窓16と、挿入部4内に配設されたチューブ等により形成された図示しない処置具チャンネルに連通するとともに、処置具チャンネルに挿通された処置具(の先端部)を突出させることが可能な先端開口部17と、が設けられている。
また、挿入部4の先端部6は、先端部6の先端面から突出するように設けられた支持部18を有し、この支持部18は円筒部10の下部側に隣接して位置する。
支持部18は、先端部6の先端面から突出させるように配置された各突出部材を支持(または保持)可能に構成されている。具体的には、支持部18は、前述の各突出部材としての、直視観察窓12を洗浄するための気体または液体を射出する直視観察窓用ノズル部19と、直視方向を照明するための光を出射する直視照明窓21と、側視観察窓13を洗浄するための気体または液体を射出する側視観察窓用ノズル部22と、をそれぞれ支持(または保持)可能に構成されている。
一方、支持部18は、本来の観察対象物とは異なる物体である前述の各突出部材が側視視野内に現れることにより、各突出部材のいずれかを含むような側視視野画像を取得してしまわないようにするための、光学的な遮蔽部材である遮蔽部18aを有して形成されている。すなわち、遮蔽部18aを支持部18に設けることにより、直視観察窓用ノズル部19、直視照明窓21、及び、側視観察窓用ノズル部22がいずれも含まれないような側視視野画像を得ることができる。
側視観察窓用ノズル部22は、図2及び図3に示すように、支持部18の2箇所に設けられているとともに、支持部18の側面に先端が突出するように配置されている。
操作部3には、図1に示すように、直視観察窓12を洗浄するための気体または液体を直視観察窓用ノズル部19から射出させる操作指示が可能な送気送液操作ボタン24aと、側視観察窓13を洗浄するための気体または液体を側視観察窓用ノズル部22から射出させる操作指示が可能な送気送液操作ボタン24bと、が設けられ、この送気送液操作ボタン24a及び24bの押下により送気と送液とが切り替え可能である。また、本実施形態では、それぞれのノズル部に対応するように複数の送気送液操作ボタンを設けているが、例えば1つの送気送液操作ボタンの操作により直視観察窓用ノズル部19、側視観察窓用ノズル部22の両方から気体または液体が射出されるようにしてもよい。
スコープスイッチ25は、操作部3の頂部に複数設けられており、内視鏡2において使用可能な種々の記載のオンまたはオフ等に対応した信号を出力させるように、各スイッチ毎の機能を割り付けることが可能な構成を有している。具体的には、スコープスイッチ25には、例えば、前方送水の開始及び停止、フリーズの実行及び解除、及び、処置具の使用状態の告知等に対応した信号を出力させる機能を、各スイッチ毎の機能として割り付けることができる。
なお、本実施形態においては、送気送液操作ボタン24a及び24bのうちの少なくともいずれか一方の機能を、スコープスイッチ25のうちのいずれかに割り付けるようにしてもよい。
また、操作部3には、体腔内の粘液等を先端開口部17より吸引して回収するための指示を図示しない吸引ユニット等に対して行うことが可能な吸引操作ボタン26が配設されている。
そして、図示しない吸引ユニット等の動作に応じて吸引された体腔内の粘液等は、先端開口部17と、挿入部4内の図示しない処置具チャンネルと、操作部3の前端付近に設けられた処置具挿入口27とを経た後、図示しない吸引ユニットの吸引ボトル等に回収される。
処置具挿入口27は、挿入部4内の図示しない処置具チャンネルに連通しているとともに、図示しない処置具を挿入可能な開口として形成されている。すなわち、術者は、処置具挿入口27から処置具を挿入し、処置具の先端側を先端開口部17から突出させることにより、処置具を用いた処置を行うことができる。
一方、図1に示すように、ユニバーサルコード5の他方の端部には、光源装置31に接続可能なコネクタ29が設けられている。
コネクタ29の先端部には、流体管路の接続端部となる口金(図示せず)と、照明光の供給端部となるライトガイド口金(図示せず)とが設けられている。また、コネクタ29の側面には、接続ケーブル33の一方の端部を接続可能な電気接点部(図示せず)が設けられている。さらに、接続ケーブル33の他方の端部には、内視鏡2とビデオプロセッサ32と電気的に接続するためのコネクタが設けられている。
ユニバーサルコード5には、種々の電気信号を伝送するための複数の信号線、及び、光源装置31から供給される照明光を伝送するためのライトガイドが束ねられた状態として内蔵されている。
挿入部4からユニバーサルコード5にかけて内蔵された前記ライトガイドは、光出射側の端部が挿入部4付近において少なくとも2方向に分岐されるとともに、一方の側の光出射端面が直視照明窓16及び21に配置され、かつ、他方の側の光出射端面が側視照明部14に配置されるような構成を有している。また、前記ライトガイドは、光入射側の端部がコネクタ29のライトガイド口金に配置されるような構成を有している。
なお、直視照明窓16及び21、側視照明部14に配置される光出射部は、ライトガイドに代えて発光ダイオード(LED)のような発光素子であってもよい。
ビデオプロセッサ32は、内視鏡2の先端部6に設けられた撮像素子を駆動するための駆動信号を出力する。そして、ビデオプロセッサ32は、前記撮像素子から出力される撮像信号に対して信号処理を施すことにより、映像信号(画像信号)を生成してモニタ35へ出力する画像信号生成部として機能する。
これにより、円形形状をなす直視視野画像と、直視方向の画像の外周において円環形状をなす側視視野画像とを具備した観察画像、つまり直視視野画像に側視視野画像が隣り合った状態で、直視視野画像に側視視野画像が囲い込むように並べた画像が、例えば図4に示すような態様によりモニタ35に表示される。なお、本実施形態及び以降の実施形態において示される観察画像においては、支持部18の遮蔽部18aにより光学的に遮蔽される部分を考慮しないものとする。また、モニタ35に表示される直視視野画像及び側視視野画像は、それぞれ図4に示す円形形状及び円環形状に限定されることなく、他の表示態様であってもよい。
光源装置31、ビデオプロセッサ32及びモニタ35等の周辺装置は、患者情報の入力等を行うキーボード34とともに、架台36に配置されている。
図5に示すように、ビデオプロセッサ32は、画像処理部32aと、画像出力部32bとを少なくとも有して構成されている。
第1の被写体像取得部を構成する直視観察窓12は、挿入部4の長手方向に略平行な前方を含む直視方向(第1の方向)、つまり被写体の第1の領域から第1の被写体像を取得し、第2の被写体像取得部を構成する側視観察窓13は、直視方向(第1の方向)とは少なくとも一部が異なる挿入部4の長手方向とは交差する方向を含む側視方向(第2の方向)、つまり被写体の第2の領域から第2の被写体像を取得する。
なお、第1の被写体像と第2の被写体像との境界領域は、重複していても、あるいは、重複していなくてもよく、上記境界領域が重複している状態の場合、第1の被写体像取得部と第2の被写体像取得部とで重複した被写体像を取得してもよい。
撮像素子30は、直視方向の被写体像と側視方向の被写体像とを同じ面で光電変換する。撮像素子30は、画像処理部32aに電気的に接続されており、直視観察窓12及び側視観察窓13で取得された被写体像を画像処理部32aに出力する。
画像処理部32aは、直視視野画像に含まれる処置具の像と、側視視野画像に含まれる処置具の像を認識する。そして、画像処理部32aは、直視視野画像に含まれる処置具の像の中心軸と、側視視野画像に含まれる処置具の像の中心軸とが略一致するように、直視視野画像と側視視野画像との内、少なくともいずれかに対して、配置を変化させた画像信号を生成する。
画像出力部32bは、画像処理部32aにより生成された画像信号からモニタ35に表示するための信号を生成し、モニタ35に出力する。
図6に示すように、画像処理部32aは、画像認識部41と、中心軸認識部42と、画像移動量算出部43と、画像生成部44とを有して構成されている。
画像認識部41は、所定の対象物の像、例えば側視視野で観察された処置具の像、及び、直視視野で観察された処置具の像を認識する。例えば、画像認識部41は、処置具の先端開口部17から突出する位置が固定であるため、その方向から突出してして進行する物体を処置具と認識する。あるいは、画像認識部41は、処置具の摺動する方向を動きから演算して処置具を認識するようにしてもよいし、処置具の太さや輪郭を画像コントラストから認識することで、処置具を認識するようにしてもよい。
中心軸認識部42は、画像認識部41により認識された側視視野で観察された処置具の像、及び、直視視野で観察された処置具の像から、それぞれの像の中心軸を算出して中心軸を認識する。例えば、中心軸は処置具の太さの画像コントラストと、その処置具の突出される移動方向から処置具の中心軸を認識する。
これらの処理を行うことにより、直視視野画像に含まれる処置具等の対象物と、側視視野画像に含まれる処置具等の対象物とが違和感なく隣接した位置に配置されることになる。
画像移動量算出部43は、直視視野及び側視視野で観察された処置具の像に対して、各中心軸の座標位置の画像中心(光軸中心)から各中心軸の開き角を算出する。
画像生成部44は、直視視野画像と側視視野画像の境界を認識して、側視視野画像のみを切り出し、処置具の像の傾きの座標が一致するように、画像移動量算出部43で算出された開き角に基づき、側視視野画像を画像中心を起点として回転移動し、側視視野で観察された処置具の像の中心軸と、直視視野で観察された処置具の像の中心軸とが略一致した画像信号を生成する。
なお、画像生成部44は、直視視野画像の処置具の像と側視視野画像の処置具の像とが略一致するように、直視視野画像を回転移動させてもよいし、直視視野画像及び側視視野画像の両方を回転移動させてもよい。
例えば、図7Aに示すように、直視視野画像の処置具の像50と、側視視野画像の処置具の像51とがずれている場合、画像生成部44は、図7Dに示すように、側視視野画像を画像中心を起点として回転移動することで、直視視野画像の処置具の像50と、側視視野画像の処置具の像51との中心軸を略一致するようにする。
なお、画像生成部44は、図7Eに示すように、直視視野画像を画像中心を起点として回転移動してもよい。また、側視視野画像と直視視野画像との両方を回転移動させて、直視視野画像の処置具の像の中心軸と、側視視野画像の処置具の像の中心軸とを略一致させるようにしてもよい。
次に、このように構成された内視鏡システム1の動作について説明する。
図8は、本実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図8のフローチャートでは、処置具の中心軸を略一致するように、側視視野画像を画像中心を起点にして回転移動させる処理について説明するが、これに限定されるものではない。例えば、直視視野画像を画像中心を起点にして回転移動させる処理を行ってもよいし、直視視野画像及び側視視野画像の両方を画像中心を起点にして回転移動させる処理を行ってもよい。
まず、処置具が処置具チャンネルに挿通され、先端開口部17から処置具が突出すると(ステップS1)、画像認識部41が側視視野で観察された処置具を画像から認識する(ステップS2)。次に、図7Bのように中心軸認識部42が側視視野で観察された処置具の像の中心軸を算出する(ステップS3)。
処置具がさらに突出すると直視視野で処置具の像が観察されることになる。すると、画像認識部41が直視視野で観察された処置具を画像から認識し(ステップS4)、図7Bのように中心軸認識部42が直視視野で観察された処置具の像の中心軸を算出する(ステップS5)。
次に、図7Cに示すように、画像移動量算出部43が各中心軸の座標位置から各中心軸の開き角を算出する(ステップS6)。この開き角は画像移動量算出部43が直視視野で観察された処置具の像の中心軸と平行になるような側視視野で観察された処置具の像の中心軸の補正角度である。
画像生成部44が側視視野画像のみを認識して側視視野画像のみを切り出す(ステップS7)。画像生成部44がそれぞれの処置具の中心軸の傾きが一致するように、切り出した側視視野画像を画像中心を起点にして回転移動する(ステップS8)。最後に、画像生成部44が直視視野画像の処置具の像の中心軸と側視視野画像の処置具の像の中心軸とが略一致した画像信号を生成し(ステップS9)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像を回転させ、直視視野画像の処置具の像と側視視野画像の処置具の像との中心軸を略一致するようにした。これにより、直視視野画像と側視視野画像の処置具の像の中心軸が略一致するため、処置具の視認性及び操作性を向上させることができる。また、直視視野画像または側視視野画像を画像中心を起点にして回転させているため、各画像の大きさや各画像の中心を変えずに処置具の軸を合わせることができる。
よって、本実施形態の内視鏡システムによれば、内視鏡の製造・加工の手間を増やすことなく、直視視野と側視視野とで観察された視野内の対象物(処置具等の像)を連続させることで、複数視野を有する内視鏡下での処置具による処置の作業性を向上させることができる。
なお、位置を合わせる対象物の像として、処置具に限らず、例えば体腔内の襞あるいは体腔内に留置しているステントやクリップ等の他の要素であってもよく、上記と同様の手順で前方視野及び側方視野の対象物の認識を行い、前方視野又は側方視野の回転移動を行って位置合わせを行ってもよい。
(第2の実施形態)
次に、第2の実施形態について説明する。
図9は、第2の実施形態に係る内視鏡の挿入部の先端部の構成を示す斜視図である。
図9に示すように、内視鏡2aの先端部6aの先端面には、挿入部4の長手方向に略平行な前方を含む直視方向(第1の方向)、つまり被写体の第1の領域を観察するための直視観察窓60aが配置され、内視鏡2aの先端部6aの側面には、直視方向(第1の方向)とは少なくとも一部が異なる挿入部4の長手方向とは交差する方向を含む側視方向(第2の方向)、つまり被写体の第2の領域を観察するための側視観察窓60b及び60cが配置されている。側視観察窓60b及び60cは、先端部6aの周方向に均等な間隔、例えば、180度の間隔で配置されている。直視観察窓60aが第1の被写体像取得部を構成し、側視観察窓60b及び60cの少なくとも1つが第2の被写体像取得部を構成する。
なお、先端部6aの周方向に均等な間隔で配置される側視観察窓60b及び60cは、2つに限定されるものではなく、例えば1つの側視観察窓を配置する構成であってもよい。また、先端部6aの周方向に均等な間隔で配置される側視観察窓60b及び60cは、例えば、周方向に120度毎に側視観察窓を配置する(すなわち、3つの側視視野画像を取得する)構成であってもよいし、周方向に90度毎に側視観察窓を配置する(すなわち、4つの側視視野画像を取得する)構成であってもよい。
内視鏡2aの先端部6aの先端面には、直視観察窓60aに隣接する位置に、直視観察窓60aの直視視野の範囲に照明光を出射する直視照明窓61a及び62aが配置されている。また、内視鏡2aの先端部6aの側面には、側視観察窓60bに隣接する位置に、側視観察窓60bの側視視野の範囲に照明光を出射する側視照明窓61b及び62bが配置され、側視観察窓60cに隣接する位置に、側視観察窓60cの側視視野の範囲に照明光を出射する側視照明窓61c及び62cが配置されている。先端部6aの側面の側視観察窓60bの後方には、処置具64が突出する先端開口部63が設けられている。
なお、直視照明窓61a、62a、側視照明窓61b、62b、及び側視照明窓61c、62cから照明光を出射する光出射部は、ライトガイド又は発光ダイオード(LED)のような発光素子が挙げられる。
図10は、第2の実施形態における要部の構成を示す図であり、図11A及び図11Bは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。
図10に示すように、直視観察窓60a及び図示しない対物光学系の結像位置には、撮像素子65aが配置されている。また、側視観察窓60b及び図示しない対物光学系の結像位置には、撮像素子65bが配置され、側視観察窓60c及び図示しない対物光学系の結像位置には、撮像素子65cが配置されている。
撮像素子65a〜65cは、それぞれ画像信号生成部としての機能を有するビデオプロセッサ32の画像処理部32aに電気的に接続されており、撮像素子65aで撮像された直視視野画像と、撮像素子65b及び65cのそれぞれで撮像された側視視野画像とを画像処理部32aに出力する。
図11Aに示すように、画像処理部32aは、撮像素子65aで撮像された直視視野画像66aをモニタ35の中央に配置し、撮像素子65bで撮像された側視視野画像66b及び撮像素子65cで撮像された側視視野画像66cが、それぞれ直視視野画像66aと両隣になるように隣り合う状態で並べて配置するように画像信号を生成する。
さらに、画像処理部32aは、直視視野画像66aの処置具の像50の中心軸と、側視視野画像66bの処置具の像51の中心軸とが略一致するように、側視視野画像66bを回転移動する。このとき、画像処理部32aは、側視視野画像66cについても、側視視野画像66bの回転移動量と同量の移動量だけ、側視視野画像66bと逆方向に回転移動させる。
なお、画像処理部32aによる回転移動処理は、第1の実施の形態と同様である。また、複数の画像をモニタ35に表示する場合、直視視野画像と側視視野画像とが隣り合っていればよく、直視視野画像66aの両隣に側視視野画像66b及び66cが配置される構成だけに限定せず、直視視野画像66aの左右いずれか片隣に側視視野画像、例えば、処置具の像51が表示される側視視野画像66bのみを配置する構成であってもよい。
また、本実施形態では、モニタ35に複数の画像を表示しているが、これに限定されるものではない。例えば、図11Bに示すように、複数の、例として3台のモニタ35を隣接して配置し、中央のモニタ35に直視視野画像66aを表示し、両隣のモニタ35にそれぞれ側視視野画像66b及び66cを表示する構成のように、直視視野画像を表示するモニタ35と側視視野画像を表示するモニタ35とが隣り合っている構成であってもよい。
このように、先端部6aの先端面に直視視野画像を取得する直視観察窓60aを設け、先端部6aの周方向に側視視野画像を取得する複数の側視観察窓60b及び60cを設け、モニタ35に複数の画像(直視視野画像66a、側視視野画像66b、及び66c)を表示する構成であっても、直視視野画像66aの処置具の像50と側視視野画像66bの処置具の像51との中心軸を略一致させることができる。
勿論、第1の実施形態と同様、対象物の像は、処置具の像に限定されることなく、視野内で観察される他の要素の像であってもよい。
よって、本実施形態の内視鏡システム1によれば、第1の実施形態と同様に、内視鏡の製造・加工の手間を増やすことなく、直視視野と側視視野とで観察された視野内の対象物(処置具等の像)を連続させるといったように違和感なく隣接させることで、広角内視鏡下での処置具による処置の作業性を向上させることができる。
(第3の実施形態)
次に、第3の実施形態について説明する。
本実施形態の内視鏡システムは、第1の実施形態と同様に構成であり、画像処理部32aの構成が第1の実施形態と異なっている。
図12は、第3の実施形態に係る画像処理部の構成を説明するための図であり、図13A〜図13Cは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。なお、図12において、図6と同様の構成については、同一の符号を付して説明を省略する。
図12に示すように、本実施形態の画像処理部32aは、図6の画像移動量算出部43に代わり、画像拡大/縮小率算出部70を備えて構成されている。
画像拡大/縮小率算出部70は、所定の対象物、例えば中心軸認識部42で認識された直視視野画像の処置具の像50の中心軸と、側視視野画像の処置具の像51の中心軸とから、それぞれ直視視野画像の処置具の像50の基端と、側視視野画像の処置具の像51の先端とを検出する。そして、画像拡大/縮小率算出部70は、検出した直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とが略一致するような、直視視野画像または側視視野画像の拡大/縮小率を算出する。
画像生成部44は、画像拡大/縮小率算出部70により算出された拡大/縮小率に基づいて、検出した直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とが略一致するように、直視視野画像または側視視野画像の表示倍率を縦横で変倍する(直視視野画像または側視視野画像を歪ませる)。
なお、画像生成部44は、例えば側視視野画像の表示倍率を縦横で変倍する場合、側視視野画像の全体を変倍するのではなく、処置具の像51の付近のみを変倍するようにする。これにより、処置具の像51の付近の画像を変倍することで、画像全体のズレに影響を与えないようにする。
また、画像生成部44は、直視視野画像及び側視視野画像の表示倍率を縦横で変倍するようにしてもよい。このように、両方の視野画像を変倍することにより、各視野画像の歪み量が小さくなり、歪みによる違和感を低減することができる。
例えば、図13Aでは、直視視野画像の表示倍率を縦横で変倍し、直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とを略一致させている。また、図13Bでは、側視視野画像の表示倍率を縦横で変倍し、直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とを略一致させている。また、図13Cでは、直視視野画像及び側視視野画像の表示倍率を縦横で変倍し、直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とを略一致させている。
次に、このように構成された内視鏡システム1の動作について説明する。
図14は、第3の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図14において、図8と同様の処理については、同一の符号を付して説明を省略する。また、図14のフローチャートでは、側視視野画像の表示倍率を縦横で変倍する例について説明するが、上述したように、直視視野画像の表示倍率を縦横で変倍してもよいし、直視視野画像及び側視視野画像の表示倍率を縦横で変倍してもよい。
ステップS5において、直視視野で観察された処置具の像の中心軸が算出されると、画像拡大/縮小率算出部70が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端を検出する(ステップS11)。次に、画像拡大/縮小率算出部70が直視視野で観察された処置具の像の基端と略一致するような、側視視野で観察された処置具の像の拡大/縮小率を算出する(ステップS12)。
次に、ステップS7において、側視視野画像のみを認識して側視視野画像のみが切り出されると、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致するように、側視視野画像の表示倍率を縦横で変倍する(ステップS13)。最後に、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致した画像信号を生成し(ステップS14)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像を処置具の像の付近のみを変倍させ、直視視野画像の処置具の像の基端と側視視野画像の処置具の像の先端とを略一致するようにした。これにより、直視視野画像と側視視野画像の処置具の像が連続的に接続されるため、処置具の視認性及び操作性を向上させることができる。
よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、直視視野画像または側視視野画像の処置具の像の付近のみを変倍しているので、画像全体のズレに影響を与えることがない。
(第4の実施形態)
次に、第4の実施形態について説明する。
本実施形態の画像処理部32aの構成は、図6の第1の実施形態の画像処理部32aの構成と同様であり、第1の実施形態の画像処理部32aと異なる処理についてのみ説明する。
画像移動量算出部43は、直視視野画像の処置具の像50の基端と、側視視野画像の処置具の像51の先端とを検出し、これらの基端と先端とが略一致するような、画像移動量を算出する。
画像生成部44は、画像移動量算出部43で算出された画像移動量に基づいて、直視視野画像または側視視野画像の座標位置を移動する。
図15A及び図15Bは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。
図15A及び図15Bの例では、直視視野画像の座標を図面に向かって左斜め下方向に移動させることで、直視視野画像の処置具の像50と側視視野画像の処置具の像51との中心軸が略一致するようにしている。なお、座標を移動させる画像は、直視視野画像に限定されることなく、側視視野画像の座標を移動させてもよいし、直視視野画像及び側視視野画像の両方の座標を移動させてもよい。
次に、このように構成された内視鏡システムの動作について説明する。
図16は、第4の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図16において、図8と同様の処理については、同一の符号を付して説明を省略する。また、図16のフローチャートでは、側視視野画像の座標を移動させる例について説明するが、上述したように、直視視野画像の座標を移動させてもよいし、直視視野画像及び側視視野画像の座標を移動させてもよい。
ステップS5において、直視視野で観察された処置具の像の中心軸が算出されると、画像移動量算出部43が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とを検出する(ステップS21)。次に、画像移動量算出部43が直視視野で観察された処置具の像の基端と側視視野で観察された処置具の像の先端とが略一致するような、側視視野画像の移動量を算出する(ステップS22)。
次に、ステップS7において、側視視野画像のみを認識して側視視野画像のみが切り出されると、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致するように、側視視野画像の座標を移動する(ステップS23)。最後に、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致した画像信号を生成し(ステップS24)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像の座標を移動し、直視視野画像の処置具の像の基端と側視視野画像の処置具の像の先端とを略一致するようにした。これにより、直視視野画像と側視視野画像の処置具の像の中心軸が略一致するため、処置具の視認性及び操作性を向上させることができる。
よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、直視視野画像または側視視野画像を表示する座標を変更するだけのため、歪みや見ている画像を変える必要がなく、処置具の視認性及び操作性をさらに向上させることができる。
(第5の実施形態)
次に、第5の実施の形態について説明する。
本実施形態の画像処理部32aの構成は、図12の第3の実施形態の画像処理部32aの構成と同様であり、第3の実施形態の画像処理部32aと異なる処理についてのみ説明する。
画像拡大/縮小率算出部70は、処置具の像の中心軸認識部42で認識された直視視野画像の処置具の像50の中心軸と、側視視野画像の処置具の像51の中心軸とから、直視視野画像の処置具の像50の中心軸に重なるような、側視視野画像の処置具の像51の拡大率を算出する。
画像生成部44は、側視視野画像から側視視野画像の処置具の像51のみを切り出し、画像拡大/縮小率算出部70で算出された拡大率に基づいて、側視視野画像の処置具の像51を拡大する。
図17A及び図17Bは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。
図17A及び図17Bの例では、側視視野画像の処置具の像51のみを拡大し、側視視野画像の処置具の像51が直視視野画像の処置具の像50の中心軸に重なるようにしている。なお、拡大する処置具の像は、側視視野画像の処置具の像51に限定されることなく、直視視野画像の処置具の像50を拡大してもよいし、直視視野画像の処置具の像50及び側視視野画像の処置具の像51の両方を拡大してもよい。
次に、このように構成された内視鏡システムの動作について説明する。
図18は、第5の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図18において、図8と同様の処理については、同一の符号を付して説明を省略する。また、図18のフローチャートでは、側視視野画像の処置具の像を拡大する例について説明するが、上述したように、直視視野画像の処置具の像を拡大してもよいし、直視視野画像及び側視視野画像の処置具の像を拡大してもよい。
ステップS5において、直視視野で観察された処置具の像の中心軸が算出されると、画像拡大/縮小率算出部70が直視視野で観察された処置具の像の中心軸と、側視視野で観察された処置具の像とが重なるような、側視視野画像の処置具の像の拡大率を算出する(ステップS31)。
次に、画像生成部44が側視視野画像のみを認識して、側視視野画像の処置具の像のみを切り出す(ステップS32)。そして、画像生成部44が直視視野画像の処置具の像の中心軸と、側視視野画像の処置具の像とが重なるように、側視視野画像の処置具の像を拡大する(ステップS33)。最後に、画像生成部44が直視視野画像の処置具の像の中心軸と、側視視野画像の処置具の像とが重なった画像信号を生成し(ステップS34)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像の処置具の像の拡大率を変更した。そして、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像の中心軸とを重なる、または、直視視野画像の処置具の像の中心軸と側視視野画像の処置具の像とを重なるようにした。これにより、直視視野画像の処置具の像と側視視野画像の処置具の像とが略一致するため、処置具の視認性及び操作性を向上させることができる。
よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、処置具の像の部分だけ拡大率を変更するため、上述した各実施形態よりも画面全体の処理を行う必要がなく、画像処理の負荷を軽減することができる。
なお、第3の実施形態から第5の実施形態の内視鏡システム1に対して、モニタ35に複数の画像を隣接して配置する第2の実施形態の内視鏡システム1を適用してもよい。図19A〜図19Eは、第3の実施形態から第5の実施形態の内視鏡システムに対して、第2の実施形態の内視鏡システムを適用した際の画面表示の例を示す図である。
図19Aは、第3の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。図19Aに示すように、側視視野画像66bの処置具の像51を歪ませて、直視視野画像66aの処置具の像50の中心軸と側視視野画像66bの処置具の像51の中心軸とを略一致させている。
また、図19Bは、第4の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。図19Bに示すように、側視視野画像66bの座標位置を変更(側視視野画像66bを平行移動)して、直視視野画像66aの処置具の像50の基端と側視視野画像66bの処置具の像51の先端とを略一致させている。
この際、側視視野画像66bと、側視視野画像66bを表示するエリアとを同時に平行移動させてもよいが、側視視野画像66bを表示するエリアを移動させずに、側視視野画像66bだけ平行移動するような設定であってもよい。
また、図19Cは、第5の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。図19Cに示すように、側視視野画像の処置具の像51のみを拡大して、直視視野画像66aの処置具の像50の中心軸と側視視野画像66bの処置具の像51とを略一致させている。
また、図19Dは、第3、第4及び第5の実施形態を組み合わせた内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例であり、図19Eは、重複する部分を画像信号から削除して表示させる例である。
図19Dに示すように、図19Bに示す平行移動を行うとともに、図19A、図19Cに示す変形や拡大処理をこれに組み合わせてもよい。また、このように複数の画面を表示させる実施形態の場合、隣り合う2つの画像信号間で重複する部分が発生していたら、ビデオプロセッサ32は、その重複する部分を画像信号から削除して表示させてもよい(図19E参照)。
また、上述した第2の実施形態及び各変形例において、側方を照明及び観察する機能を実現する機構は、前方を照明及び観察する機能を実現する機構とともに、挿入部4の先端部6に内蔵されているが、側方を照明及び観察する機能を実現する機構は、挿入部4に対して着脱可能な別体にしてもよい。
図20は、側方観察用のユニットが取り付けられた挿入部4の先端部6の斜視図である。挿入部4の先端部6は、前方視野用ユニット100を有している。側方視野用ユニット110は、前方視野用ユニット100に対してクリップ部111により着脱自在な構成を有している。
側方視野用ユニット110は、左右方向の画像を取得するための2つの観察窓112と、左右方向を照明するための2つの照明窓113とを有している。
ビデオプロセッサ32等は、側方視野用ユニット110の各照明窓113の点灯と消灯を、前方視野のフレームレートに合わせて行うようにして、上述した実施形態に示したような観察画像の取得と表示を行うことができる。
(第6の実施形態)
次に、第6の実施形態について説明する。
図21は、第6の実施形態における要部の構成を示す図である。なお、図21において図5と同様の構成については、同一の符号を付して説明を省略する。
図21に示すように、ビデオプロセッサ32は、図5のビデオプロセッサに対して、設定記憶部32cが追加されて構成されている。
上述した各実施形態では、処置具による処置時(すなわち、処置具が内視鏡2により観察されている時)に、直視視野画像の処置具の像50と側視視野画像の処置具の像51とのズレ量を算出し、画像補正を行っていた。
これに対し、本実施形態では、処置具による処置時ではなく、内視鏡2の組み立て後に処置具を先端開口部17から突出させ、予め内視鏡2毎の直視視野画像の処置具の像と側視視野画像の処置具の像とのズレ量を算出する。そして、設定記憶部32cは、内視鏡2の組み立て後に算出されたズレ量を内視鏡情報として記憶する。
画像処理部32aは、内視鏡観察時に設定記憶部32cに予め記憶された内視鏡情報(ズレ量)に基づいて、直視視野画像または側視視野画像を画像補正する。この画像補正は、上述した各実施形態の画像補正のいずれかを用いればよい。
このように、内視鏡システム1は、内視鏡2毎のズレ量を予め内視鏡情報として設定記憶部32cに記憶しておき、この内視鏡情報を用いて画像補正を行うことで、上述した各実施形態と同様に、直視視野画像の処置具の像50と側視視野画像の処置具の像51とを略一致させることができる。さらに、内視鏡システム1は、設定記憶部32cに予め記憶された内視鏡情報を用いて画像補正を行うため、処置具の像を認識していない状態、すなわち、処置具を用いて処置を行っていない状態でも、ズレ量を補正した直視視野画像及び側視視野画像をモニタ35に表示することができる。
よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、処置具の像を認識していない状態でも、ズレ量を補正した直視視野画像及び側視視野画像をモニタ35に表示することができる。
なお、処置具の挿入の有無に応じて画像補正を自動でONまたはOFFしてもよいし、例えば切り替えスイッチ等を設け、画像補正を手動でONまたはOFFすることができるようにしてもよい。この画像補正の切替えは、上述した第1の実施形態から第5の実施形態でも同様に適用することができる。
なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本出願は、2014年2月14日に日本国に出願された特願2014−26833号公報を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (15)

  1. 被写体の内部に挿入される挿入部と、
    前記挿入部に設けられ、前記被写体の第1の領域から所定の対象物の像を含む第1の被写体像を取得する第1の被写体像取得部と、
    前記挿入部に設けられ、前記第1の領域とは少なくとも一部が異なる前記被写体の第2の領域から前記対象物の像を含む第2の被写体像を取得する第2の被写体像取得部と、
    記第1の被写体像前記第2の被写体像とが隣接するよう並べて配置した画像信号を生成する画像信号生成部と、
    前記画像において、前記第1の被写体像中の前記対象物の像と、前記第2の被写体像中の前記対象物の像との配置のずれに関するズレ量の情報を記録する記録部と、
    前記ズレ量に応じて前記第1の被写体像中の前記対象物の像と、前記第2の被写体像中の前記対象物の像のうち少なくともいずれかの配置を変化させて、前記第1の被写体像中の前記対象物の像の位置と、前記第2の被写体像中の前記対象物の像の位置とを合わせる処理を、前記画像に対して行う画像処理部と、
    を備えることを特徴とする内視鏡システム。
  2. 前記画像において、前記第1の被写体像中の前記対象物の像と、前記第2の被写体像中の前記対象物の像との配置のずれに関する前記ズレ量を算出する算出部をさらに有することを特徴とする請求項1に記載の内視鏡システム。
  3. 前記画像処理部は、前記第1の被写体像に含まれる前記対象物の像の第1の中心軸と、前記第2の被写体像に含まれる前記対象物の像の第2の中心軸とを検出するとともに、前記第1及び前記第2の中心軸が略一致するように、前記第1の被写体像と前記第2の被写体像との内、少なくともいずれかに対して、配置を変化させる処理を前記画像に対して行うことを特徴とする請求項に記載の内視鏡システム。
  4. 前記画像処理部は、前記第1の被写体像と前記第2の被写体像との内、少なくともいずれかを回転移動させる処理を前記画像に対して行うことを特徴とする請求項に記載の内視鏡システム。
  5. 前記画像処理部は、前記第1の中心軸と、前記第2の中心軸との開き角度を算出するとともに、前記第1及び前記第2の中心軸が略一致するように、前記第1の被写体像または前記第2の被写体像のいずれかを回転移動させる処理を前記画像に対して行うことを特徴とする請求項に記載の内視鏡システム。
  6. 前記第1及び第2の被写体像に含まれる前記対象物の像は、前記挿入部の先端から突出した処置具の像であることを特徴とする請求項に記載の内視鏡システム。
  7. 前記画像処理部は、前記第1の被写体像と前記第2の被写体像との内、少なくともいずれかに対しさらに平行移動または拡大率の変化を行って前記第1の被写体像中の前記対象物の像の端部と、前記第2の被写体像中の前記対象物の像の端部とを合わせる処理を前記画像に対して行うことを特徴とする請求項に記載の内視鏡システム。
  8. 前記画像信号生成部から出力され、前記画像処理部で処理された、前記第1の被写体像及び前記第2の被写体像を含む画像信号を表示する1つ又は複数の表示部をさらに備えることを特徴とする請求項1に記載の内視鏡システム。
  9. 前記画像信号生成部は、前記第1の被写体像に基づく画像信号及び前記第2の被写体像に基づく画像信号の重複する領域を除去した各々の画像信号を前記モニタに出力することを特徴とする請求項に記載の内視鏡システム。
  10. 前記第1の被写体像は、前記挿入部の長手方向に略平行な挿入部前方を含む前記第1の領域の被写体像であり、
    前記第2の被写体像は、前記挿入部の長手方向と交差する方向の挿入部側方を含む前記第2の領域の被写体像であり、
    前記第1の被写体像取得部は、前記第1の領域の被写体像を取得する前方画像取得部であり、
    前記第2の被写体像取得部は、前記第2の領域の被写体像を取得する側方画像取得部であることを特徴とする請求項1に記載の内視鏡システム。
  11. 前記画像処理部は、前記第1の被写体像の中心を基準として、前記第1及び前記第2の被写体像全体の少なくとも回転方向を変化させた処理を前記画像に対して行うことを特徴とする請求項に記載の内視鏡システム。
  12. 前記第2の被写体像取得部は、前記挿入部の周方向に略均等な角度で複数配置されており、
    前記画像信号生成部は、前記第1の被写体像を中心に配置し、前記第2の被写体像を前記第1の被写体像の周方向に略均等な角度で複数配置した画像信号を生成することを特徴とする請求項1に記載の内視鏡システム。
  13. 前記第1の被写体像取得部は、前記挿入部の長手方向先端部に、前記挿入部が挿入される方向に向けて配置され、
    前記第2の被写体像取得部は、前記挿入部の側面に、前記挿入部の周方向に向けて配置され、
    前記第1の被写体像取得部からの前記第1の被写体像を光電変換する第1の撮像部と、前記第2の被写体像取得部からの前記第2の被写体像を光電変換する第2の撮像部とが別々に設けられるとともに、前記第1の撮像部と前記第2の撮像部とが前記画像信号生成部に電気的に接続されていることを特徴とする請求項1に記載の内視鏡システム。
  14. 前記第1の被写体像取得部は、前記挿入部の長手方向先端部に、前記挿入部が挿入される方向に配置され、
    前記第2の被写体像取得部は、前記挿入部の周方向を囲むように配置され、
    前記第1の被写体像取得部からの前記第1の被写体像と前記第2の被写体像取得部からの前記第2の被写体像とを同じ面で光電変換するように配置されるとともに、前記画像信号生成部に電気的に接続されている撮像部を備えることを特徴とする請求項に記載の内視鏡システム。
  15. 前記画像信号生成部は、前記第1の被写体像が略円形状になっており、前記第2の被写体像が前記第1の被写体像の周囲を囲む略円環状となっている画像信号を生成することを特徴とする請求項14に記載の内視鏡システム。
JP2015542069A 2014-02-14 2015-02-05 内視鏡システム Active JP5889495B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015542069A JP5889495B2 (ja) 2014-02-14 2015-02-05 内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014026833 2014-02-14
JP2014026833 2014-02-14
JP2015542069A JP5889495B2 (ja) 2014-02-14 2015-02-05 内視鏡システム
PCT/JP2015/053275 WO2015122354A1 (ja) 2014-02-14 2015-02-05 内視鏡システム

Publications (2)

Publication Number Publication Date
JP5889495B2 true JP5889495B2 (ja) 2016-03-22
JPWO2015122354A1 JPWO2015122354A1 (ja) 2017-03-30

Family

ID=53800101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015542069A Active JP5889495B2 (ja) 2014-02-14 2015-02-05 内視鏡システム

Country Status (5)

Country Link
US (1) US10349814B2 (ja)
EP (1) EP3053511A4 (ja)
JP (1) JP5889495B2 (ja)
CN (1) CN105722450B (ja)
WO (1) WO2015122354A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5942047B2 (ja) * 2014-03-17 2016-06-29 オリンパス株式会社 内視鏡システム
CN112739249A (zh) * 2018-08-01 2021-04-30 270医疗器械公司 多摄像头医疗成像设备的远侧尖端
WO2020065756A1 (ja) 2018-09-26 2020-04-02 オリンパス株式会社 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法
US20220354380A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model
WO2023021630A1 (ja) * 2021-08-18 2023-02-23 Hoya株式会社 内視鏡及び内視鏡システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2013066646A (ja) * 2011-09-26 2013-04-18 Olympus Medical Systems Corp 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5099850A (en) * 1989-01-17 1992-03-31 Olympus Optical Co., Ltd. Ultrasonic diagnostic apparatus
JP3337682B2 (ja) 1991-03-11 2002-10-21 オリンパス光学工業株式会社 画像処理装置
JPH05115425A (ja) * 1991-10-25 1993-05-14 Olympus Optical Co Ltd 内視鏡
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
JP3257640B2 (ja) * 1992-06-09 2002-02-18 オリンパス光学工業株式会社 立体視内視鏡装置
US5547455A (en) * 1994-03-30 1996-08-20 Medical Media Systems Electronically steerable endoscope
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US6471637B1 (en) * 1999-09-24 2002-10-29 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US6517478B2 (en) * 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
JP3917885B2 (ja) * 2002-04-08 2007-05-23 オリンパス株式会社 カプセル内視鏡システム
US20040199053A1 (en) * 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Autosteering vision endoscope
US7801584B2 (en) * 2003-05-01 2010-09-21 Given Imaging Ltd. Panoramic field of view imaging device
JP4473027B2 (ja) * 2004-03-31 2010-06-02 富士フイルム株式会社 内視鏡
KR100681233B1 (ko) * 2004-10-28 2007-02-09 김재황 복강경수술 모니터장치 및 디스플레이 방법
US20060217593A1 (en) * 2005-03-24 2006-09-28 Zvika Gilad Device, system and method of panoramic multiple field of view imaging
DE102005058760A1 (de) * 2005-12-05 2007-06-06 Aesculap Ag & Co. Kg Verfahren und Vorrichtung zum Präparieren eines Implantats aus einem Implantatmaterial
US8050519B2 (en) * 2005-12-19 2011-11-01 Olympus Corporation Image combining apparatus
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
JP4841391B2 (ja) * 2006-10-17 2011-12-21 オリンパスメディカルシステムズ株式会社 内視鏡
US8814779B2 (en) * 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
JP4908356B2 (ja) * 2007-09-11 2012-04-04 オリンパスメディカルシステムズ株式会社 カプセル誘導システム
CA2702347A1 (en) * 2007-10-11 2009-04-16 Sierra Scientific Instruments, Inc. Method of measuring and displaying the position of a radiographically contrasted material within luminal body organs
US8810631B2 (en) * 2008-04-26 2014-08-19 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a captured visible image combined with a fluorescence image and a captured visible image
JP4653834B2 (ja) * 2008-11-14 2011-03-16 オリンパスメディカルシステムズ株式会社 光学系
US20100165087A1 (en) * 2008-12-31 2010-07-01 Corso Jason J System and method for mosaicing endoscope images captured from within a cavity
GB0903610D0 (en) * 2009-03-03 2009-04-08 Aircraft Medical Ltd Insertion section for laryngoscope with lateral tube guide
US9101268B2 (en) * 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US8724868B2 (en) * 2009-10-12 2014-05-13 Capso Vision, Inc. System and method for display of panoramic capsule images
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
EP2476362B1 (en) 2010-07-08 2014-05-14 Olympus Medical Systems Corp. Endoscope
US9560953B2 (en) * 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2013031280A1 (ja) * 2011-09-01 2013-03-07 オリンパスメディカルシステムズ株式会社 内視鏡
JP5863428B2 (ja) * 2011-12-05 2016-02-16 Hoya株式会社 電子内視鏡スコープ、ホワイトバランス調整方法、電子内視鏡システム、ホワイトバランス調整治具
US9237851B2 (en) * 2012-02-03 2016-01-19 Ninepoint Medical, Inc. Imaging system producing multiple registered images of a body lumen
WO2013126784A2 (en) * 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US9492065B2 (en) * 2012-06-27 2016-11-15 Camplex, Inc. Surgical retractor with video cameras
WO2014073426A1 (ja) * 2012-11-07 2014-05-15 オリンパスメディカルシステムズ株式会社 内視鏡
JP5730339B2 (ja) * 2013-01-25 2015-06-10 富士フイルム株式会社 立体内視鏡装置
WO2015040887A1 (ja) * 2013-09-20 2015-03-26 オリンパス株式会社 内視鏡
WO2015100310A1 (en) * 2013-12-23 2015-07-02 Camplex, Inc. Surgical visualization systems
US10130243B2 (en) * 2014-01-30 2018-11-20 Qatar University Al Tarfa Image-based feedback endoscopy system
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2013066646A (ja) * 2011-09-26 2013-04-18 Olympus Medical Systems Corp 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Also Published As

Publication number Publication date
EP3053511A1 (en) 2016-08-10
CN105722450A (zh) 2016-06-29
US20160242627A1 (en) 2016-08-25
JPWO2015122354A1 (ja) 2017-03-30
WO2015122354A1 (ja) 2015-08-20
CN105722450B (zh) 2018-01-23
US10349814B2 (en) 2019-07-16
EP3053511A4 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
US20200260938A1 (en) Dynamic field of view endoscope
JP4884567B2 (ja) 内視鏡システム
JP4856286B2 (ja) 内視鏡システム
JP5942044B2 (ja) 内視鏡システム
JP5889495B2 (ja) 内視鏡システム
JP5977912B1 (ja) 内視鏡システム及び内視鏡ビデオプロセッサ
JP5974188B2 (ja) 内視鏡システム
JP5942047B2 (ja) 内視鏡システム
JP6017729B2 (ja) 内視鏡システム
WO2015146836A1 (ja) 内視鏡システム
JP6234638B2 (ja) ビデオプロセッサ
US20160374542A1 (en) Endoscope system
JP6064092B2 (ja) 内視鏡システム
JPWO2016031280A1 (ja) 内視鏡と、この内視鏡を備えた内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160216

R151 Written notification of patent or utility model registration

Ref document number: 5889495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250