JP6843518B2 - Stereoscopic endoscopy system - Google Patents
Stereoscopic endoscopy system Download PDFInfo
- Publication number
- JP6843518B2 JP6843518B2 JP2016086421A JP2016086421A JP6843518B2 JP 6843518 B2 JP6843518 B2 JP 6843518B2 JP 2016086421 A JP2016086421 A JP 2016086421A JP 2016086421 A JP2016086421 A JP 2016086421A JP 6843518 B2 JP6843518 B2 JP 6843518B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- display
- parallax image
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001839 endoscopy Methods 0.000 title description 11
- 230000003287 optical effect Effects 0.000 claims description 83
- 238000003780 insertion Methods 0.000 claims description 28
- 230000037431 insertion Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 21
- 239000007787 solid Substances 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Description
本発明は、立体視内視鏡システムに関し、特に、2つの視差画像を用いて立体視観察用の画像を生成することが可能な立体視内視鏡システムに関するものである。 The present invention relates to a stereoscopic endoscopic system, and more particularly to a stereoscopic endoscopic system capable of generating an image for stereoscopic observation using two parallax images.
立体視内視鏡で被写体を撮像することにより視差を有する2つの視差画像を取得し、当該取得した2つの視差画像を用いて立体視観察用の画像である立体視画像を生成する技術が従来知られている。 Conventionally, a technique of acquiring two parallax images having parallax by imaging a subject with a stereoscopic endoscope and using the acquired two parallax images to generate a stereoscopic image which is an image for stereoscopic observation. Are known.
具体的には、例えば、特許文献1には、内視鏡の先端に設けられた右目用カメラ及び左目用カメラで被写体を撮像して右目画像及び左目画像を取得し、当該取得した右目画像及び左目画像を用いて立体表示用の画像を生成する構成が開示されている。 Specifically, for example, in Patent Document 1, a subject is imaged by a right-eye camera and a left-eye camera provided at the tip of an endoscope to acquire a right-eye image and a left-eye image, and the acquired right-eye image and the acquired right-eye image and the left-eye image are acquired. A configuration for generating an image for stereoscopic display using a left-eye image is disclosed.
また、例えば、外科手術用の立体視内視鏡においては、2つの視差画像を用いて生成された立体視画像を観察画像として表示させる3D表示と、当該2つの視差画像のうちのいずれかを観察画像として表示させる2D表示と、を切り替え可能な機能を具備するものが従来知られている。 Further, for example, in a stereoscopic endoscope for surgery, a 3D display in which a stereoscopic image generated by using two parallax images is displayed as an observation image and one of the two parallax images are displayed. Conventionally, there is known a device having a function of switching between a 2D display displayed as an observation image and a function capable of switching between the 2D display.
ここで、例えば、上部消化管内視鏡等のような、体腔内の患部の処置に用いられる細長の処置具を挿通するための処置具チャンネルが設けられた内視鏡(以降、軟性鏡とも称する)においては、当該処置具チャンネルを経て当該内視鏡の先端面から突出される当該処置具の先端部の視認性が確保された状態で当該患部の処置が進められることが望ましい。 Here, for example, an endoscope provided with a treatment tool channel for inserting an elongated treatment tool used for treating an affected part in a body cavity, such as an upper gastrointestinal endoscope (hereinafter, also referred to as a flexible scope). ), It is desirable that the treatment of the affected part is proceeded in a state where the visibility of the tip portion of the treatment tool protruding from the tip surface of the endoscope via the treatment tool channel is ensured.
また、例えば、前述の外科手術用の立体視内視鏡の機能を軟性鏡に組み込む場合には、
被写体を撮像して得られる2つの視差画像の視差を考慮しつつ、2D表示時の処置具の先端部の視認性を確保することが望ましい。
In addition, for example, when incorporating the function of the stereoscopic endoscope for surgery described above into a flexible scope,
It is desirable to ensure the visibility of the tip of the treatment tool during 2D display while considering the parallax between the two parallax images obtained by imaging the subject.
しかし、特許文献1には、右目画像及び左目画像の視差を考慮しつつ、2D表示時に処置具の先端部の視認性を確保するための構成について特に開示等されていない。そのため、特許文献1に開示された構成によれば、例えば、右目用カメラ及び左目用カメラのうちの一方のカメラの視野が阻害されることに起因して立体表示が困難になるような場合に、チャネルを経て突出される処置具の先端部の視認性が悪化し、その結果、当該処置具を用いた患部の処置に支障をきたす可能性がある、という課題が生じている。 However, Patent Document 1 does not particularly disclose a configuration for ensuring the visibility of the tip portion of the treatment tool during 2D display while considering the parallax between the right eye image and the left eye image. Therefore, according to the configuration disclosed in Patent Document 1, for example, when the field of view of one of the right-eye camera and the left-eye camera is obstructed, which makes stereoscopic display difficult. There is a problem that the visibility of the tip of the treatment tool protruding through the channel is deteriorated, and as a result, the treatment of the affected part using the treatment tool may be hindered.
本発明は、前述した事情に鑑みてなされたものであり、3D表示と2D表示とを切替可能であるとともに、処置具の突出状態に応じた適切な2D表示を行うことが可能な立体視内視鏡システムを提供することを目的としている。 The present invention has been made in view of the above-mentioned circumstances, and is capable of switching between 3D display and 2D display and performing an appropriate 2D display according to the protruding state of the treatment tool. The purpose is to provide an endoscopic system.
本発明の一態様の立体視内視鏡システムは、被検体の体腔内に挿入される挿入部と、前記挿入部の先端部に設けられ、前記挿入部の先端部の先端面から入射される入射光に応じた第1の光学像を形成する第1の対物光学系と、前記入射光に応じた第2の光学像を形成する第2の対物光学系と、を具備し、前記第1の光学像及び前記第2の光学像をそれぞれ撮像して撮像信号を出力するように構成された撮像部と、前記挿入部の内部に設けられ、前記被検体の体腔内の患部に対して所定の処置を施すことが可能な処置具を挿通させることができるとともに、前記先端面に設けられた開口から前記処置具を突出させることができるように構成された管路と、前記撮像信号に基づき、前記第1の光学像に対応する第1の視差画像と、前記第2の光学像に対応する第2の視差画像と、をそれぞれ生成するように構成された画像処理部と、前記第1の視差画像及び前記第2の視差画像を用いて立体視画像を生成可能であると共に、当該生成した立体視画像または前記第1の視差画像もしくは前記第2の視差画像を表示装置に表示させる表示制御部と、前記表示装置に表示される観察画像の表示機能を2D表示に設定する指示を行う入力部と、前記挿入部、前記撮像部および前記管路を具備する内視鏡固有の情報であって当該挿入部先端部のレイアウト情報を取得し、当該レイアウト情報に基づいて前記2D表示に設定された際の視差画像を初期設定すると共に、前記入力部の指示により前記表示装置に表示される観察画像の表示機能が2D表示に設定されたことに応じて、前記画像処理部から出力される前記第1の視差画像および第2の視差画像に係る画像情報と、前記初期設定された視差画像に係る情報とに基づいて、前記第1の視差画像または前記第2の視差画像を前記表示装置に表示させる視差画像として選択する選択部と、
を有することを特徴とする立体視内視鏡システム。
The stereoscopic parallax system of one aspect of the present invention is provided at an insertion portion inserted into the body cavity of a subject and a tip portion of the insertion portion, and is incident from the tip surface of the tip portion of the insertion portion. A first objective optical system that forms a first optical image according to the incident light and a second objective optical system that forms a second optical image corresponding to the incident light are provided, and the first objective optical system is provided. An imaging unit configured to image the optical image and the second optical image, respectively, and output an imaging signal, and an imaging unit provided inside the insertion unit, which is predetermined with respect to the affected portion in the body cavity of the subject. Based on the conduit and the imaging signal configured so that the treatment tool can be inserted and the treatment tool can be projected from the opening provided on the tip surface. An image processing unit configured to generate a first parallax image corresponding to the first optical image and a second parallax image corresponding to the second optical image, and the first with parallax image and using said second parallax images can be generated stereoscopic image display for displaying a stereoscopic image or the first parallax image or the second parallax image thus generated to the display device With the control unit, the input unit that gives an instruction to set the display function of the observation image displayed on the display device to the 2D display, and the information peculiar to the endoscope including the insertion unit, the imaging unit, and the conduit. Therefore, the layout information of the tip of the insertion portion is acquired, the parallax image when the 2D display is set based on the layout information is initially set, and the parallax image is displayed on the display device according to the instruction of the input portion. The image information related to the first parallax image and the second parallax image output from the image processing unit and the initially set parallax image according to the observation image display function being set to 2D display. A selection unit that selects the first parallax image or the second parallax image as a parallax image to be displayed on the display device based on the information related to the above.
A stereoscopic endoscopic system characterized by having.
本発明における立体視内視鏡システムによれば、3D表示と2D表示とを切替可能であるとともに、処置具の突出状態に応じた適切な2D表示を行うことができる。 According to the stereoscopic endoscopy system of the present invention, it is possible to switch between 3D display and 2D display, and it is possible to perform appropriate 2D display according to the protruding state of the treatment tool.
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1から図6は、本発明の実施例に係るものである。 1 to 6 relate to an embodiment of the present invention.
立体視内視鏡システム1は、図1に示すように、内視鏡2と、光源装置3と、プロセッサ4と、表示装置5と、入力装置6と、を有して構成されている。図1は、実施例に係る立体視内視鏡システムの要部の構成を示す図である。
As shown in FIG. 1, the stereoscopic endoscope system 1 includes an
内視鏡2は、被検者の体腔内に挿入される細長形状の挿入部2Aを具備して構成されている。また、内視鏡2は、可撓性を有する挿入部2Aの先端部から正面側に視野方向が設定された直視型の軟性鏡として構成されている。また、内視鏡2は、図示しないスコープコネクタを介し、光源装置3及びプロセッサ4に対して着脱自在に接続することができるように構成されている。また、内視鏡2の内部には、信号処理部24と、不揮発性のメモリ25と、が設けられている。
The
挿入部2Aの内部には、光源装置3から供給される照明光を挿入部2Aの先端部へ伝送するように構成されたライトガイド7が挿通されている。また、挿入部2Aの先端部には、ライトガイド7を経て出射される照明光を被写体へ照射する照明光学系21と、当該照明光により照明された当該被写体から発生する戻り光(反射光)を撮像して撮像信号を出力する撮像部22と、が設けられている。また、挿入部2Aの内部には、被検者の体腔内に存在する患部の処置に用いられる細長の処置具8を挿通させることが可能な処置具チャンネル23が設けられている。処置具8は、例えば、体腔内の患部に対して電気エネルギーまたは熱エネルギーを印加するための電極等により形成された処置部81を先端部に具備するとともに、処置部81から出力されるエネルギーの出力レベルの変更等に係る操作を行うことが可能な操作部82を基端部に具備して構成されている。すなわち、処置具8は、被検体の体腔内の患部に対して所定の処置を施すことができるように構成されている。
Inside the
照明光学系21は、光源装置3から供給される照明光を挿入部2Aの先端部の先端面2Bから被写体へ照射することができるように構成されている。具体的には、照明光学系21は、ライトガイド7を経て出射される照明光が入射されるレンズ21Aと、レンズ21Aを経て出射される照明光を先端面2Bから先端面2Bの正面側に位置する被写体へ照射する光学部材である照明窓21Bと、を有して構成されている。
The illumination
撮像部22は、先端面2Bの正面側に視野方向を具備するように構成されている。また、撮像部22は、先端面2Bから入射される入射光に応じた2つの光学像を形成するとともに、当該形成した2つの光学像をそれぞれ撮像するように構成されている。具体的には、撮像部22は、照明光学系21を経て出射される照明光により照明された被写体からの戻り光等の入射光が入射される観察窓22Aと、観察窓22Aから入射された入射光に応じた光学像を形成する対物光学系22Lと、当該入射光に応じた光学像を形成する対物光学系22Rと、イメージセンサ22Bと、を有して構成されている。
The
イメージセンサ22Bは、例えば、CCDまたはCMOS等を具備して構成されている。また、イメージセンサ22Bは、対物光学系22Lにより形成された光学像と、対物光学系22Rにより形成された光学像と、の2つの光学像をそれぞれ撮像し、当該撮像した2つの光学像に応じた撮像信号を生成し、当該生成した撮像信号を信号処理部24へ出力するように構成されている。
The
処置具チャンネル23は、挿入部2Aの基端部に設けられた開口である挿入口23Aと、先端面2Bに設けられた開口である突出口23Bと、を有して構成されている。また、処置具チャンネル23は、挿入口23Aから挿入された処置具8の先端部を突出口23Bから突出させることが可能な管路として形成されている。
The
一方、先端面2Bには、照明窓21B、観察窓22A及び突出口23Bが、例えば、図2に示すようなレイアウトを有して設けられている。なお、図2の先端面2Bにおいては、図示及び説明の便宜上、観察窓22Aの後段に配置されている対物光学系22L及び22Rの光入射面を、照明窓21B、観察窓22A及び突出口23Bと同様にそれぞれ実線で示しているものとする。図2は、内視鏡の先端面のレイアウトの一例を説明するための模式図である。
On the other hand, the
突出口23Bは、図2の先端面2Bにおいて、対物光学系22Rの光軸ORまでの距離DRが、対物光学系22Lの光軸OLまでの距離DLよりも小さくなるような位置に形成されている。すなわち、突出口23Bは、図2の先端面2Bにおいて、対物光学系22R側寄りの位置に形成されている。さらに換言すると、突出口23Bは、図2の先端面2Bにおいて、撮像部22の視野方向に対して右側寄りの位置に形成されている。
The
信号処理部24は、例えば、信号処理回路を具備して構成されている。また、信号処理部24は、例えば、イメージセンサ22Bから出力されるアナログの撮像信号に対してノイズ低減処理及びA/D変換処理等の所定の信号処理を施すことによりデジタルの撮像信号を生成し、当該生成したデジタルの撮像信号をプロセッサ4へ出力するように構成されている。
The
メモリ25には、内視鏡2毎に固有の情報が格納されている。具体的には、メモリ25には、例えば、先端面2Bにおける突出口23Bの位置と、対物光学系22Lの光軸OLと突出口23Bとの間の距離DLと、対物光学系22Rの光軸ORと突出口23Bとの間の距離DRと、をそれぞれ特定可能な情報を含む、挿入部2Aの先端部のレイアウト情報が格納されている。また、メモリ25に格納されたレイアウト情報は、内視鏡2とプロセッサ4とが接続され、かつ、プロセッサ4の電源がオンされた際に、プロセッサ4の選択部42A(後述)により読み出される。
Information unique to each
光源装置3は、例えば、白色光源を具備し、当該白色光源から発せられる白色光を照明光としてライトガイド7に供給することができるように構成されている。
The
プロセッサ4は、画像処理部41と、観察画像生成部42と、を有して構成されている。なお、本実施例によれば、例えば、プロセッサ4の各部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。
The
画像処理部41は、信号処理部24から出力される撮像信号に基づき、対物光学系22Lにより形成された光学像に対応する左目用の視差画像と、対物光学系22Rにより形成された光学像に対応する右目用の視差画像と、をそれぞれ生成するように構成されている。すなわち、同じ被写体からの入射光が入射される対物光学系22Lと対物光学系22Rとが挿入部2Aに並べて配置されているため、対物光学系22Lにより形成された光学像に対応する画像と対物光学系22Rにより形成された光学像に対応する画像とは、それぞれ視差を有する画像になっている。また、画像処理部41は、前述のように生成した左目用及び右目用の視差画像を観察画像生成部42へ出力するように構成されている。
The
観察画像生成部42は、画像処理部41から出力される左目用及び右目用の2つの視差画像を用いて立体視観察用の画像である立体視画像を生成し、当該生成した立体視画像を表示装置5に表示させることができるように構成されている。また、観察画像生成部42は、表示装置5に表示される観察画像の表示態様を3D表示に設定するための指示が入力装置6において行われた際に、左目用及び右目用の2つの視差画像を用いて生成した立体視画像を観察画像として表示装置5に表示させるための動作を行うように構成されている。また、観察画像生成部42は、表示制御部としての機能を具備し、表示装置5に表示される観察画像の表示態様を2D表示に設定するための指示が入力装置6において行われた際に、画像処理部41から出力される左目用の視差画像または右目用の視差画像のいずれかを立体視画像の代わりに観察画像として表示装置5に表示させるための動作を行うように構成されている。また、観察画像生成部42は、2D表示時に観察画像として表示させる表示用の視差画像を選択するための処理を行う選択部42Aを有して構成されている。
The observation
選択部42Aは、メモリ25から読み込んだレイアウト情報と、画像処理部41から出力される2つの視差画像と、に基づき、2D表示時に観察画像として表示させる表示用の視差画像を選択するための処理(後述)を行うように構成されている。
The
表示装置5は、例えば、LCD(液晶ディスプレイ)等を具備し、プロセッサ4から出力される観察画像を表示画面に表示することができるように構成されている。
The
入力装置6は、例えば、キーボード、タッチパネル、及び/または、フットスイッチ等を具備して構成されている。また、入力装置6には、術者等のユーザの操作に応じ、表示装置5に表示される観察画像の表示態様を3D表示または2D表示のいずれかに設定するための指示をプロセッサ4に対して行うことが可能な表示切替スイッチ(不図示)が設けられている。
The input device 6 is configured to include, for example, a keyboard, a touch panel, and / or a foot switch. Further, the input device 6 is instructed to the
続いて、本実施例に係る立体視内視鏡システム1の作用について、図3を適宜参照しつつ説明する。なお、以降においては、簡単にするため、選択部42Aにおいて行われる処理の具体例に主眼を置いて説明する一方で、選択部42Aにおいて行われる処理以外の種々の動作等については適宜省略して説明する。図3は、実施例に係る立体視内視鏡システムにおいて行われる処理の一例を説明するための図である。
Subsequently, the operation of the stereoscopic endoscopic system 1 according to the present embodiment will be described with reference to FIG. 3 as appropriate. In the following, for the sake of simplicity, the description will focus on specific examples of the processing performed by the
ユーザは、立体視内視鏡システム1の各部を接続して電源を投入する。 The user connects each part of the stereoscopic endoscopy system 1 and turns on the power.
選択部42Aは、内視鏡2とプロセッサ4とが接続され、かつ、プロセッサ4の電源がオンされた際に、メモリ25からレイアウト情報を読み込むとともに、当該読み込んだレイアウト情報に基づいて2D表示時の観察画像として表示させる表示用の視差画像PAの初期設定を行う(図3のステップS1)。
The
具体的には、選択部42Aは、例えば、メモリ25から読み込んだレイアウト情報に基づき、先端面2Bにおける突出口23Bの位置を特定し、さらに、当該特定した突出口23Bの位置が対物光学系22R側寄りであることを検出した場合には、対物光学系22Rにより形成された光学像に対応する右目用の視差画像PRを2D表示時の表示用の視差画像として初期設定する。
Specifically, the
ユーザは、例えば、観察窓22Aの視野の一部が阻害されること等に起因し、3D表示時に表示装置5に表示される立体視画像に対して違和感を覚えた際に、入力装置6の表示切替スイッチを操作することにより、表示装置5に表示される観察画像の表示態様を2D表示に設定するための指示を行う。
When the user feels uncomfortable with the stereoscopic image displayed on the
選択部42Aは、入力装置6の表示切替スイッチからの指示に基づき、現在の観察画像の表示態様が3D表示または2D表示のどちらに設定されているかを検出する(図3のステップS2)。
The
そして、選択部42Aは、現在の観察画像の表示態様が3D表示に設定されていることを検出した場合(S2:No)には、図3のステップS3以降の処理を行わずに待機状態に移行する。また、選択部42Aは、現在の観察画像の表示態様が2D表示に設定されていることを検出した場合(S2:Yes)には、後述の図3のステップS3の処理を続けて行う。
Then, when the
選択部42Aは、例えば、画像処理部41から出力される2つの視差画像と、処置部81を含む処置具8の先端部を予め撮像して得られた複数のテンプレート画像と、を用いた処理を行うことにより、当該2つの視差画像の両方に処置具8の先端部が含まれているか否かを判定する(図3のステップS3)。
The
具体的には、選択部42Aは、例えば、画像処理部41から出力される視差画像PL及び視差画像PRと、処置部81を含む処置具8の先端部を予め撮像して得られた複数のテンプレート画像と、に基づき、突出口23Bから突出されている処置具8に対応する1つのテンプレート画像TIを抽出し、当該テンプレート画像TIと当該視差画像PLとにおけるそれぞれ少なくとも一部の類似度RSAを算出し、当該テンプレート画像TIと当該視差画像PRとにおけるそれぞれ少なくとも一部の類似度RSBを算出し、当該類似度RSA及び当該RSBの両方に対して個別に閾値判定を行う。一方、選択部42Aは、例えば、処置具8の先端部が突出口23Bから突出されていない等の理由により、複数のテンプレート画像の中から所望のテンプレート画像TIを抽出できなかった場合には、視差画像PL及び視差画像PRの両方に処置具8の先端部が含まれていないとの判定結果を得る。
Specifically, the
なお、図3のステップS3の処理に用いられる複数のテンプレート画像は、例えば、プロセッサ4の内部に設けられた図示しないメモリから読み込まれるものであってもよく、または、処置具8の操作部82の内部に設けられた図示しないメモリから読み込まれるものであってもよい。
The plurality of template images used in the process of step S3 of FIG. 3 may be, for example, read from a memory (not shown) provided inside the
そして、選択部42Aは、画像処理部41から出力される2つの視差画像のうちの片方のみに処置具8の先端部が含まれているとの判定結果、または、画像処理部41から出力される2つの視差画像の両方に処置具8の先端部が含まれていないとの判定結果のいずれかを得た場合(S3:No)には、図3のステップS1の処理により初期設定した視差画像PAを2D表示時の表示用の視差画像として選択する(図3のステップS4)。また、選択部42Aは、画像処理部41から出力される2つの視差画像の両方に処置具8の先端部が含まれているとの判定結果を得た場合(S3:Yes)には、図3のステップS1の処理により初期設定した視差画像PAとは反対側の視差画像PBを2D表示時の表示用の視差画像として選択する(図3のステップS5)。
Then, the
具体的には、選択部42Aは、前述のように算出した類似度RSA及びRSBの両方に対して個別に閾値判定を行うことにより、例えば、テンプレート画像TIと視差画像PLとが類似しておらず、かつ、当該テンプレート画像TIと視差画像PRとが類似していることを検出した際に、当該視差画像PRのみに処置具8の先端部が含まれているとの判定結果を得るとともに、当該視差画像PRを2D表示時の表示用の視差画像として選択する。また、選択部42Aは、視差画像PL及び当該視差画像PRの両方に処置具8の先端部が含まれていないとの判定結果を得た場合には、当該視差画像PRを2D表示時の表示用の視差画像として選択する。また、選択部42Aは、前述のように算出した類似度RSA及びRSBの両方に対して個別に閾値判定を行うことにより、例えば、テンプレート画像TIと視差画像PLとが類似しており、かつ、当該テンプレート画像TIと視差画像PRとが類似していることを検出した際に、当該視差画像PL及び当該視差画像PRの両方に処置具8の先端部が含まれているとの判定結果を得るとともに、当該視差画像PLを2D表示時の表示用の視差画像として選択する。
Specifically, the
選択部42Aは、図3のステップS4またはS5の処理を行った後、図3のステップS2以降の処理を繰り返し行う。
After performing the process of step S4 or S5 of FIG. 3, the
一方、本実施例の選択部42Aは、例えば、図3のステップS5の処理を行った後に、さらに、前述のテンプレートマッチングと略同様の処理を行うことにより、当該2つの視差画像PL及びPRのうちの片方に相当する視差画像PXのみに処置部81が含まれていることを検出した際に、当該視差画像PXを2D表示時の表示用の視差画像として選択するような処理を行うものであってもよい。
On the other hand, the
また、本実施例の選択部42Aは、例えば、図3のステップS5の処理を行った後に、さらに、当該2つの視差画像PL及びPRを比較する処理を行うことにより、当該2つの視差画像PL及びPRのうちの一方の視差画像PYに含まれる処置具8の先端部の長さが他方の視差画像PZに含まれる処置具8の先端部の長さよりも長いことを検出した際に、当該一方の視差画像PYを2D表示時の表示用の視差画像として選択するような処理を行うものであってもよい。なお、このような選択部42Aの処理は、前述の視差画像PXを選択不可能な場合(画像処理部41から出力される2つの視差画像PL及びPRの両方に処置部81が含まれている場合、または、当該2つの視差画像PL及びPRの両方に処置部81が含まれていない場合)に行われるものであってもよい。
Further, the
ここで、例えば、図2に示したレイアウトを具備する先端面2Bの突出口23Bからの処置具8の突出量が比較的短い場合には、突出口23Bまでの距離が相対的に近い対物光学系22Rより形成された光学像に対応する右目用の視差画像PRに処置具8の先端部が含まれる一方で、突出口23Bまでの距離が相対的に遠い対物光学系22Lより形成された光学像に対応する左目用の視差画像PLには処置具8の先端部が含まれないような状況が生じ得る(図4参照)。図4は、実施例に係る立体視内視鏡システムにおいて生成される2つの視差画像PL及びPRの一例を示す図である。
Here, for example, when the amount of protrusion of the
また、例えば、図2に示したレイアウトを具備する先端面2Bの突出口23Bからの処置具8の突出量が比較的長い場合には、突出口23Bまでの距離が相対的に遠い対物光学系22Lより形成された光学像に対応する左目用の視差画像PLに処置具8の処置部81が含まれる一方で、突出口23Bまでの距離が相対的に近い対物光学系22Rより形成された光学像に対応する右目用の視差画像PRには処置具8の処置部81が含まれないような状況が生じ得る(図5参照)。図5は、実施例に係る立体視内視鏡システムにおいて生成される2つの視差画像PL及びPRの一例を示す図である。
Further, for example, when the amount of protrusion of the
これに対し、本実施例によれば、図3に示した処理が2D表示時に選択部42Aにおいて行われることにより、例えば、先端面2Bの突出口23Bからの処置具8の突出量が比較的短い場合には右目用の視差画像PRを観察画像として表示装置5に表示させることができるとともに、当該突出量が比較的長い場合には左目用の視差画像PLを観察画像として表示装置5に表示させることができる。そのため、本実施例によれば、表示装置5に表示される観察画像の表示態様が2D表示に設定された際に、突出口23Bからの処置具8の突出状態に応じた適切な視差画像(PLまたはPR)を表示させることができる。
On the other hand, according to the present embodiment, the processing shown in FIG. 3 is performed in the
また、本実施例によれば、図3に示した処理が2D表示時に選択部42Aにおいて行われるため、例えば、2D表示時に表示装置5に観察画像として表示させる視差画像をユーザが手動で選択及び設定するような煩雑な操作を経ずとも、突出口23Bから突出されている処置具8の先端部及び/または処置部81の視認性を確保することができる。
Further, according to the present embodiment, since the processing shown in FIG. 3 is performed by the
なお、本実施例においては、挿入部2Aの先端部のレイアウト情報がメモリ25に格納されているものに限らず、例えば、内視鏡2の機種を特定可能な情報である機種情報がメモリ25に格納されていてもよい。そして、このような場合において、選択部42Aは、メモリ25から読み込んだ機種情報に基づいて内視鏡2の機種を特定し、当該特定した内視鏡2の機種に応じた挿入部2Aの先端部のレイアウト情報を取得し、当該取得したレイアウト情報に基づいて図3に示した処理を行うことにより、2D表示時の表示用の視差画像を選択するようにしてもよい。
In this embodiment, the layout information of the tip of the
また、本実施例においては、例えば、先端面2Bにおける突出口23Bの詳細な位置を特定可能な情報である詳細位置情報がメモリ25に格納されているとともに、当該詳細位置情報を用いて図3の処理が行われるものであってもよい。具体的には、例えば、図6に示すように、光軸OLと光軸ORとの間を結ぶ線分LXと、当該線分LXの中点OCで線分LXに直交する線分LYと、を先端面2B上に仮想的に設定した場合に、当該中点OCと突出口23Bの中心軸CCとの間を結ぶ線分LAの長さに相当する距離DAと、当該線分LA及び当該線分LYのなす角度θと、を含む詳細位置情報がメモリ25に格納されていてもよい。なお、図6においては、図示及び説明の便宜上、観察窓22Aの後段に配置されている対物光学系22L及び22Rの光入射面を、突出口23Bと同様に実線で示しているものとする。図6は、実施例に係る立体視内視鏡システムの処理において利用可能なパラメータの一例を説明するための図である。
Further, in the present embodiment, for example, detailed position information which is information capable of specifying the detailed position of the
また、本実施例においては、例えば、先端面2Bに形成された突出口23Bのサイズを特定可能な情報であるサイズ情報がメモリ25に格納されているとともに、当該サイズ情報を用いて図3の処理が行われるものであってもよい。具体的には、例えば、図6に示すように、先端面2Bにおける突出口23Bの形状が中心軸CCを中心とする円形に形成されている場合に、突出口23Bの直径を含むサイズ情報がメモリ25に格納されていてもよい。
Further, in the present embodiment, for example, size information which is information capable of specifying the size of the
また、本実施例においては、例えば、対物光学系22L及び対物光学系22Rにおける所定の光学パラメータを特定可能な情報である光学パラメータ情報がメモリ25に格納されているとともに、当該光学パラメータ情報を用いて図3の処理が行われるものであってもよい。具体的には、例えば、光軸OL及び光軸ORの2つの光軸が挿入部2Aの中心軸に対して斜めになるように対物光学系22L及び22Rの2つの対物光学系が配置されている場合に、先端面2Bにおける線分LXの長さに相当する距離DXと、当該2つの対物光学系の画角の大きさと、先端面2Bから当該2つの光軸の交点までの距離と、を含む光学パラメータ情報がメモリ25に格納されていてもよい。
Further, in this embodiment, for example, optical parameter information which is information capable of specifying a predetermined optical parameter in the objective
一方、本実施例は、照明光学系21を経て出射される照明光により照明された被写体からの戻り光を対物光学系22L及び22Rに入射させるための1つの観察窓22Aを具備して構成された内視鏡2に対して適用されるものに限らない。具体的には、本実施例は、例えば、照明光学系21を経て出射される照明光により照明された被写体からの戻り光を対物光学系22Lに入射させるための左目用の観察窓と、当該戻り光を対物光学系22Rに入射させるための右目用の観察窓と、の2つの観察窓をそれぞれ個別に具備して構成された内視鏡に対しても略同様に適用される。
On the other hand, this embodiment is configured to include one
なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。 It should be noted that the present invention is not limited to the above-described embodiments, and it goes without saying that various modifications and applications can be made without departing from the spirit of the invention.
1 立体視内視鏡システム
2 内視鏡
2A 挿入部
2B 先端面
3 光源装置
4 プロセッサ
5 表示装置
8 処置具
22 撮像部
22L 対物光学系
22R 対物光学系
23B 突出口
41 画像処理部
42 観察画像生成部
42A 選択部
81 処置部
1
Claims (4)
前記挿入部の先端部に設けられ、前記挿入部の先端部の先端面から入射される入射光に応じた第1の光学像を形成する第1の対物光学系と、前記入射光に応じた第2の光学像を形成する第2の対物光学系と、を具備し、前記第1の光学像及び前記第2の光学像をそれぞれ撮像して撮像信号を出力するように構成された撮像部と、
前記挿入部の内部に設けられ、前記被検体の体腔内の患部に対して所定の処置を施すことが可能な処置具を挿通させることができるとともに、前記先端面に設けられた開口から前記処置具を突出させることができるように構成された管路と、
前記撮像信号に基づき、前記第1の光学像に対応する第1の視差画像と、前記第2の光学像に対応する第2の視差画像と、をそれぞれ生成するように構成された画像処理部と、
前記第1の視差画像及び前記第2の視差画像を用いて立体視画像を生成可能であると共に、当該生成した立体視画像または前記第1の視差画像もしくは前記第2の視差画像を表示装置に表示させる表示制御部と、
前記表示装置に表示される観察画像の表示機能を2D表示に設定する指示を行う入力部と、
前記挿入部、前記撮像部および前記管路を具備する内視鏡固有の情報であって当該挿入部先端部のレイアウト情報を取得し、当該レイアウト情報に基づいて前記2D表示に設定された際の視差画像を初期設定すると共に、前記入力部の指示により前記表示装置に表示される観察画像の表示機能が2D表示に設定されたことに応じて、前記画像処理部から出力される前記第1の視差画像および第2の視差画像に係る画像情報と、前記初期設定された視差画像に係る情報とに基づいて、前記第1の視差画像または前記第2の視差画像を前記表示装置に表示させる視差画像として選択する選択部と、
を有することを特徴とする立体視内視鏡システム。 An insertion part that is inserted into the body cavity of the subject,
A first objective optical system provided at the tip of the insertion portion and forming a first optical image corresponding to the incident light incident from the tip surface of the tip of the insertion portion, and the incident light. An imaging unit including a second objective optical system that forms a second optical image, and is configured to image the first optical image and the second optical image, respectively, and output an imaging signal. When,
A treatment tool provided inside the insertion portion and capable of performing a predetermined treatment on the affected part in the body cavity of the subject can be inserted, and the treatment is performed through an opening provided on the tip surface. A pipeline configured to allow the tool to protrude,
An image processing unit configured to generate a first parallax image corresponding to the first optical image and a second parallax image corresponding to the second optical image based on the image pickup signal. When,
A stereoscopic image can be generated by using the first parallax image and the second parallax image, and the generated stereoscopic image, the first parallax image, or the second parallax image can be displayed on the display device. Display control unit to display and
An input unit that gives an instruction to set the display function of the observation image displayed on the display device to 2D display, and
When the layout information of the tip portion of the insertion portion, which is information peculiar to the endoscope including the insertion portion, the image pickup portion, and the conduit, is acquired and set to the 2D display based on the layout information. The first, which is output from the image processing unit in response to the initial setting of the disparity image and the setting of the display function of the observation image displayed on the display device to the 2D display by the instruction of the input unit. Disparity that causes the display device to display the first disparity image or the second disparity image based on the image information related to the disparity image and the second disparity image and the information related to the initially set disparity image. The selection part to be selected as an image and
A stereoscopic endoscopic system characterized by having.
ことを特徴とする請求項1に記載の立体視内視鏡システム。 In the selection unit, the treatment tool protruding from the opening is the first parallax image based on the image information related to the first parallax image and the second parallax image output from the image processing unit. The solid according to claim 1, wherein when the parallax image is included in only one of the second parallax images, the initially set parallax image is selected as the parallax image at the time of 2D display. Parallax system.
ことを特徴とする請求項1に記載の立体視内視鏡システム。 In the selection unit, the treatment tool protruding from the opening is the first parallax image based on the image information related to the first parallax image and the second parallax image output from the image processing unit. The stereoscopic vision according to claim 1, wherein when the image is not included in any of the second parallax images, the initially set parallax image is selected as the parallax image at the time of 2D display. Parallax system.
ことを特徴とする請求項1に記載の立体視内視鏡システム。 In the selection unit, the treatment tool protruding from the opening is the first parallax image based on the image information related to the first parallax image and the second parallax image output from the image processing unit. When it is included in both the second parallax image and the second parallax image, the parallax image on the opposite side of the initially set parallax image is selected as the parallax image at the time of 2D display. The stereoscopic parallax system described in.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086421A JP6843518B2 (en) | 2016-04-22 | 2016-04-22 | Stereoscopic endoscopy system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086421A JP6843518B2 (en) | 2016-04-22 | 2016-04-22 | Stereoscopic endoscopy system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017192663A JP2017192663A (en) | 2017-10-26 |
JP6843518B2 true JP6843518B2 (en) | 2021-03-17 |
Family
ID=60154232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016086421A Active JP6843518B2 (en) | 2016-04-22 | 2016-04-22 | Stereoscopic endoscopy system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6843518B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011101240A (en) * | 2009-11-06 | 2011-05-19 | Fujifilm Corp | Stereoscopic photographing device and photographing control method |
JP2011221905A (en) * | 2010-04-13 | 2011-11-04 | Victor Co Of Japan Ltd | Information processor |
JP5765160B2 (en) * | 2011-09-16 | 2015-08-19 | 株式会社Jvcケンウッド | Stereoscopic imaging device |
JP5730339B2 (en) * | 2013-01-25 | 2015-06-10 | 富士フイルム株式会社 | Stereoscopic endoscope device |
-
2016
- 2016-04-22 JP JP2016086421A patent/JP6843518B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017192663A (en) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5730339B2 (en) | Stereoscopic endoscope device | |
US8911358B2 (en) | Endoscopic vision system | |
CN107710756B (en) | Medical stereoscopic viewing device, medical stereoscopic viewing method, and program | |
JP7378529B2 (en) | Surgical microscope with data unit and method for overlaying images | |
JP6654006B2 (en) | Medical observation device | |
EP3151719A1 (en) | Image processing apparatus, image processing method, and program | |
US11571109B2 (en) | Medical observation device | |
JP2013022464A (en) | Endoscope and endoscope system | |
JP6253857B1 (en) | Stereoscopic endoscope and stereoscopic endoscope system | |
JP2014140593A (en) | Three-dimensional endoscope apparatus | |
US10390688B2 (en) | Image pickup system | |
JP6843518B2 (en) | Stereoscopic endoscopy system | |
WO2020008672A1 (en) | Endoscope system | |
JP7086929B2 (en) | Medical information processing system | |
JP2014064657A (en) | Stereoscopic endoscope apparatus | |
JP2018007837A (en) | Image processing device | |
JP6153675B2 (en) | Stereoscopic endoscope device | |
JPWO2014208224A1 (en) | Autofocus device | |
JP6663692B2 (en) | Image processing apparatus, endoscope system, and control method for image processing apparatus | |
JP2019162301A (en) | Three-dimensional endoscope system | |
WO2019215984A1 (en) | Image processing device and image generation method | |
WO2021176717A1 (en) | Endoscope device, processor for endoscopic image, and method for generating endoscopic image | |
WO2021117136A1 (en) | Imaging system and endoscope system | |
JP2004233480A (en) | Stereoscopic endoscope system | |
WO2018047465A1 (en) | Endoscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190213 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6843518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |