JP6843518B2 - Stereoscopic endoscopy system - Google Patents

Stereoscopic endoscopy system Download PDF

Info

Publication number
JP6843518B2
JP6843518B2 JP2016086421A JP2016086421A JP6843518B2 JP 6843518 B2 JP6843518 B2 JP 6843518B2 JP 2016086421 A JP2016086421 A JP 2016086421A JP 2016086421 A JP2016086421 A JP 2016086421A JP 6843518 B2 JP6843518 B2 JP 6843518B2
Authority
JP
Japan
Prior art keywords
image
parallax
display
parallax image
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016086421A
Other languages
Japanese (ja)
Other versions
JP2017192663A (en
Inventor
樋野 和彦
和彦 樋野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016086421A priority Critical patent/JP6843518B2/en
Publication of JP2017192663A publication Critical patent/JP2017192663A/en
Application granted granted Critical
Publication of JP6843518B2 publication Critical patent/JP6843518B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、立体視内視鏡システムに関し、特に、2つの視差画像を用いて立体視観察用の画像を生成することが可能な立体視内視鏡システムに関するものである。 The present invention relates to a stereoscopic endoscopic system, and more particularly to a stereoscopic endoscopic system capable of generating an image for stereoscopic observation using two parallax images.

立体視内視鏡で被写体を撮像することにより視差を有する2つの視差画像を取得し、当該取得した2つの視差画像を用いて立体視観察用の画像である立体視画像を生成する技術が従来知られている。 Conventionally, a technique of acquiring two parallax images having parallax by imaging a subject with a stereoscopic endoscope and using the acquired two parallax images to generate a stereoscopic image which is an image for stereoscopic observation. Are known.

具体的には、例えば、特許文献1には、内視鏡の先端に設けられた右目用カメラ及び左目用カメラで被写体を撮像して右目画像及び左目画像を取得し、当該取得した右目画像及び左目画像を用いて立体表示用の画像を生成する構成が開示されている。 Specifically, for example, in Patent Document 1, a subject is imaged by a right-eye camera and a left-eye camera provided at the tip of an endoscope to acquire a right-eye image and a left-eye image, and the acquired right-eye image and the acquired right-eye image and the left-eye image are acquired. A configuration for generating an image for stereoscopic display using a left-eye image is disclosed.

また、例えば、外科手術用の立体視内視鏡においては、2つの視差画像を用いて生成された立体視画像を観察画像として表示させる3D表示と、当該2つの視差画像のうちのいずれかを観察画像として表示させる2D表示と、を切り替え可能な機能を具備するものが従来知られている。 Further, for example, in a stereoscopic endoscope for surgery, a 3D display in which a stereoscopic image generated by using two parallax images is displayed as an observation image and one of the two parallax images are displayed. Conventionally, there is known a device having a function of switching between a 2D display displayed as an observation image and a function capable of switching between the 2D display.

ここで、例えば、上部消化管内視鏡等のような、体腔内の患部の処置に用いられる細長の処置具を挿通するための処置具チャンネルが設けられた内視鏡(以降、軟性鏡とも称する)においては、当該処置具チャンネルを経て当該内視鏡の先端面から突出される当該処置具の先端部の視認性が確保された状態で当該患部の処置が進められることが望ましい。 Here, for example, an endoscope provided with a treatment tool channel for inserting an elongated treatment tool used for treating an affected part in a body cavity, such as an upper gastrointestinal endoscope (hereinafter, also referred to as a flexible scope). ), It is desirable that the treatment of the affected part is proceeded in a state where the visibility of the tip portion of the treatment tool protruding from the tip surface of the endoscope via the treatment tool channel is ensured.

また、例えば、前述の外科手術用の立体視内視鏡の機能を軟性鏡に組み込む場合には、
被写体を撮像して得られる2つの視差画像の視差を考慮しつつ、2D表示時の処置具の先端部の視認性を確保することが望ましい。
In addition, for example, when incorporating the function of the stereoscopic endoscope for surgery described above into a flexible scope,
It is desirable to ensure the visibility of the tip of the treatment tool during 2D display while considering the parallax between the two parallax images obtained by imaging the subject.

しかし、特許文献1には、右目画像及び左目画像の視差を考慮しつつ、2D表示時に処置具の先端部の視認性を確保するための構成について特に開示等されていない。そのため、特許文献1に開示された構成によれば、例えば、右目用カメラ及び左目用カメラのうちの一方のカメラの視野が阻害されることに起因して立体表示が困難になるような場合に、チャネルを経て突出される処置具の先端部の視認性が悪化し、その結果、当該処置具を用いた患部の処置に支障をきたす可能性がある、という課題が生じている。 However, Patent Document 1 does not particularly disclose a configuration for ensuring the visibility of the tip portion of the treatment tool during 2D display while considering the parallax between the right eye image and the left eye image. Therefore, according to the configuration disclosed in Patent Document 1, for example, when the field of view of one of the right-eye camera and the left-eye camera is obstructed, which makes stereoscopic display difficult. There is a problem that the visibility of the tip of the treatment tool protruding through the channel is deteriorated, and as a result, the treatment of the affected part using the treatment tool may be hindered.

本発明は、前述した事情に鑑みてなされたものであり、3D表示と2D表示とを切替可能であるとともに、処置具の突出状態に応じた適切な2D表示を行うことが可能な立体視内視鏡システムを提供することを目的としている。 The present invention has been made in view of the above-mentioned circumstances, and is capable of switching between 3D display and 2D display and performing an appropriate 2D display according to the protruding state of the treatment tool. The purpose is to provide an endoscopic system.

本発明の一態様の立体視内視鏡システムは、被検体の体腔内に挿入される挿入部と、前記挿入部の先端部に設けられ、前記挿入部の先端部の先端面から入射される入射光に応じた第1の光学像を形成する第1の対物光学系と、前記入射光に応じた第2の光学像を形成する第2の対物光学系と、を具備し、前記第1の光学像及び前記第2の光学像をそれぞれ撮像して撮像信号を出力するように構成された撮像部と、前記挿入部の内部に設けられ、前記被検体の体腔内の患部に対して所定の処置を施すことが可能な処置具を挿通させることができるとともに、前記先端面に設けられた開口から前記処置具を突出させることができるように構成された管路と、前記撮像信号に基づき、前記第1の光学像に対応する第1の視差画像と、前記第2の光学像に対応する第2の視差画像と、をそれぞれ生成するように構成された画像処理部と、前記第1の視差画像及び前記第2の視差画像を用いて立体視画像を生成可能であると共に、当該生成した立体視画像または前記第1の視差画像もしくは前記第2の視差画像を表示装置に表示させる表示制御部と、前記表示装置に表示される観察画像の表示機能を2D表示に設定する指示を行う入力部と、前記挿入部、前記撮像部および前記管路を具備する内視鏡固有の情報であって当該挿入部先端部のレイアウト情報を取得し、当該レイアウト情報に基づいて前記2D表示に設定された際の視差画像を初期設定すると共に、前記入力部の指示により前記表示装置に表示される観察画像の表示機能が2D表示に設定されたことに応じて、前記画像処理部から出力される前記第1の視差画像および第2の視差画像に係る画像情報と、前記初期設定された視差画像に係る情報とに基づいて、前記第1の視差画像または前記第2の視差画像を前記表示装置に表示させる視差画像として選択する選択部と、
を有することを特徴とする立体視内視鏡システム。
The stereoscopic parallax system of one aspect of the present invention is provided at an insertion portion inserted into the body cavity of a subject and a tip portion of the insertion portion, and is incident from the tip surface of the tip portion of the insertion portion. A first objective optical system that forms a first optical image according to the incident light and a second objective optical system that forms a second optical image corresponding to the incident light are provided, and the first objective optical system is provided. An imaging unit configured to image the optical image and the second optical image, respectively, and output an imaging signal, and an imaging unit provided inside the insertion unit, which is predetermined with respect to the affected portion in the body cavity of the subject. Based on the conduit and the imaging signal configured so that the treatment tool can be inserted and the treatment tool can be projected from the opening provided on the tip surface. An image processing unit configured to generate a first parallax image corresponding to the first optical image and a second parallax image corresponding to the second optical image, and the first with parallax image and using said second parallax images can be generated stereoscopic image display for displaying a stereoscopic image or the first parallax image or the second parallax image thus generated to the display device With the control unit, the input unit that gives an instruction to set the display function of the observation image displayed on the display device to the 2D display, and the information peculiar to the endoscope including the insertion unit, the imaging unit, and the conduit. Therefore, the layout information of the tip of the insertion portion is acquired, the parallax image when the 2D display is set based on the layout information is initially set, and the parallax image is displayed on the display device according to the instruction of the input portion. The image information related to the first parallax image and the second parallax image output from the image processing unit and the initially set parallax image according to the observation image display function being set to 2D display. A selection unit that selects the first parallax image or the second parallax image as a parallax image to be displayed on the display device based on the information related to the above.
A stereoscopic endoscopic system characterized by having.

本発明における立体視内視鏡システムによれば、3D表示と2D表示とを切替可能であるとともに、処置具の突出状態に応じた適切な2D表示を行うことができる。 According to the stereoscopic endoscopy system of the present invention, it is possible to switch between 3D display and 2D display, and it is possible to perform appropriate 2D display according to the protruding state of the treatment tool.

実施例に係る立体視内視鏡システムの要部の構成を示す図。The figure which shows the structure of the main part of the stereoscopic endoscopy system which concerns on Example. 内視鏡の先端面のレイアウトの一例を説明するための模式図。The schematic diagram for demonstrating an example of the layout of the front end surface of an endoscope. 実施例に係る立体視内視鏡システムにおいて行われる処理の一例を説明するための図。The figure for demonstrating an example of the process performed in the stereoscopic endoscopy system which concerns on Example. 実施例に係る立体視内視鏡システムにおいて生成される2つの視差画像PL及びPRの一例を示す図。The figure which shows an example of two parallax images PL and PR generated in the stereoscopic endoscopy system which concerns on Example. 実施例に係る立体視内視鏡システムにおいて生成される2つの視差画像PL及びPRの一例を示す図。The figure which shows an example of two parallax images PL and PR generated in the stereoscopic endoscopy system which concerns on Example. 実施例に係る立体視内視鏡システムの処理において利用可能なパラメータの一例を説明するための図。The figure for demonstrating an example of the parameter which can be used in the processing of the stereoscopic endoscopy system which concerns on embodiment.

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1から図6は、本発明の実施例に係るものである。 1 to 6 relate to an embodiment of the present invention.

立体視内視鏡システム1は、図1に示すように、内視鏡2と、光源装置3と、プロセッサ4と、表示装置5と、入力装置6と、を有して構成されている。図1は、実施例に係る立体視内視鏡システムの要部の構成を示す図である。 As shown in FIG. 1, the stereoscopic endoscope system 1 includes an endoscope 2, a light source device 3, a processor 4, a display device 5, and an input device 6. FIG. 1 is a diagram showing a configuration of a main part of a stereoscopic endoscopy system according to an embodiment.

内視鏡2は、被検者の体腔内に挿入される細長形状の挿入部2Aを具備して構成されている。また、内視鏡2は、可撓性を有する挿入部2Aの先端部から正面側に視野方向が設定された直視型の軟性鏡として構成されている。また、内視鏡2は、図示しないスコープコネクタを介し、光源装置3及びプロセッサ4に対して着脱自在に接続することができるように構成されている。また、内視鏡2の内部には、信号処理部24と、不揮発性のメモリ25と、が設けられている。 The endoscope 2 is configured to include an elongated insertion portion 2A that is inserted into the body cavity of the subject. Further, the endoscope 2 is configured as a direct-view type flexible mirror in which the viewing direction is set from the tip end portion of the flexible insertion portion 2A to the front side. Further, the endoscope 2 is configured to be detachably connected to the light source device 3 and the processor 4 via a scope connector (not shown). Further, inside the endoscope 2, a signal processing unit 24 and a non-volatile memory 25 are provided.

挿入部2Aの内部には、光源装置3から供給される照明光を挿入部2Aの先端部へ伝送するように構成されたライトガイド7が挿通されている。また、挿入部2Aの先端部には、ライトガイド7を経て出射される照明光を被写体へ照射する照明光学系21と、当該照明光により照明された当該被写体から発生する戻り光(反射光)を撮像して撮像信号を出力する撮像部22と、が設けられている。また、挿入部2Aの内部には、被検者の体腔内に存在する患部の処置に用いられる細長の処置具8を挿通させることが可能な処置具チャンネル23が設けられている。処置具8は、例えば、体腔内の患部に対して電気エネルギーまたは熱エネルギーを印加するための電極等により形成された処置部81を先端部に具備するとともに、処置部81から出力されるエネルギーの出力レベルの変更等に係る操作を行うことが可能な操作部82を基端部に具備して構成されている。すなわち、処置具8は、被検体の体腔内の患部に対して所定の処置を施すことができるように構成されている。 Inside the insertion portion 2A, a light guide 7 configured to transmit the illumination light supplied from the light source device 3 to the tip portion of the insertion portion 2A is inserted. Further, at the tip of the insertion portion 2A, an illumination optical system 21 that irradiates the subject with illumination light emitted through the light guide 7, and return light (reflected light) generated from the subject illuminated by the illumination light. An imaging unit 22 that captures an image and outputs an imaging signal is provided. Further, inside the insertion portion 2A, a treatment tool channel 23 through which an elongated treatment tool 8 used for treating the affected portion existing in the body cavity of the subject can be inserted is provided. The treatment tool 8 is provided with, for example, a treatment portion 81 formed by an electrode or the like for applying electrical energy or thermal energy to the affected portion in the body cavity at the tip portion, and the energy output from the treatment portion 81. The base end portion is provided with an operation unit 82 capable of performing operations related to changing the output level and the like. That is, the treatment tool 8 is configured to be able to perform a predetermined treatment on the affected part in the body cavity of the subject.

照明光学系21は、光源装置3から供給される照明光を挿入部2Aの先端部の先端面2Bから被写体へ照射することができるように構成されている。具体的には、照明光学系21は、ライトガイド7を経て出射される照明光が入射されるレンズ21Aと、レンズ21Aを経て出射される照明光を先端面2Bから先端面2Bの正面側に位置する被写体へ照射する光学部材である照明窓21Bと、を有して構成されている。 The illumination optical system 21 is configured to be able to irradiate the subject with the illumination light supplied from the light source device 3 from the tip surface 2B of the tip of the insertion portion 2A. Specifically, in the illumination optical system 21, the illumination light emitted through the light guide 7 is incident on the lens 21A, and the illumination light emitted through the lens 21A is transferred from the front end surface 2B to the front side of the front end surface 2B. It is configured to have an illumination window 21B, which is an optical member that irradiates a located subject.

撮像部22は、先端面2Bの正面側に視野方向を具備するように構成されている。また、撮像部22は、先端面2Bから入射される入射光に応じた2つの光学像を形成するとともに、当該形成した2つの光学像をそれぞれ撮像するように構成されている。具体的には、撮像部22は、照明光学系21を経て出射される照明光により照明された被写体からの戻り光等の入射光が入射される観察窓22Aと、観察窓22Aから入射された入射光に応じた光学像を形成する対物光学系22Lと、当該入射光に応じた光学像を形成する対物光学系22Rと、イメージセンサ22Bと、を有して構成されている。 The imaging unit 22 is configured to have a viewing direction on the front side of the front end surface 2B. Further, the imaging unit 22 is configured to form two optical images according to the incident light incident from the tip surface 2B and to image the two formed optical images, respectively. Specifically, the imaging unit 22 is incident from the observation window 22A into which the incident light such as the return light from the subject illuminated by the illumination light emitted through the illumination optical system 21 is incident, and the observation window 22A. It includes an objective optical system 22L that forms an optical image according to the incident light, an objective optical system 22R that forms an optical image according to the incident light, and an image sensor 22B.

イメージセンサ22Bは、例えば、CCDまたはCMOS等を具備して構成されている。また、イメージセンサ22Bは、対物光学系22Lにより形成された光学像と、対物光学系22Rにより形成された光学像と、の2つの光学像をそれぞれ撮像し、当該撮像した2つの光学像に応じた撮像信号を生成し、当該生成した撮像信号を信号処理部24へ出力するように構成されている。 The image sensor 22B is configured to include, for example, a CCD or CMOS. Further, the image sensor 22B captures two optical images, an optical image formed by the objective optical system 22L and an optical image formed by the objective optical system 22R, respectively, and responds to the two captured optical images. The image pickup signal is generated, and the generated image pickup signal is output to the signal processing unit 24.

処置具チャンネル23は、挿入部2Aの基端部に設けられた開口である挿入口23Aと、先端面2Bに設けられた開口である突出口23Bと、を有して構成されている。また、処置具チャンネル23は、挿入口23Aから挿入された処置具8の先端部を突出口23Bから突出させることが可能な管路として形成されている。 The treatment tool channel 23 is configured to have an insertion port 23A which is an opening provided at the base end portion of the insertion portion 2A and a protrusion 23B which is an opening provided at the tip surface 2B. Further, the treatment tool channel 23 is formed as a conduit capable of projecting the tip end portion of the treatment tool 8 inserted from the insertion port 23A from the protrusion port 23B.

一方、先端面2Bには、照明窓21B、観察窓22A及び突出口23Bが、例えば、図2に示すようなレイアウトを有して設けられている。なお、図2の先端面2Bにおいては、図示及び説明の便宜上、観察窓22Aの後段に配置されている対物光学系22L及び22Rの光入射面を、照明窓21B、観察窓22A及び突出口23Bと同様にそれぞれ実線で示しているものとする。図2は、内視鏡の先端面のレイアウトの一例を説明するための模式図である。 On the other hand, the tip surface 2B is provided with an illumination window 21B, an observation window 22A, and a protrusion 23B having a layout as shown in FIG. 2, for example. In the tip surface 2B of FIG. 2, for convenience of illustration and explanation, the light incident surfaces of the objective optical systems 22L and 22R arranged behind the observation window 22A are the illumination window 21B, the observation window 22A, and the protrusion 23B. It is assumed that each is shown by a solid line in the same manner as above. FIG. 2 is a schematic view for explaining an example of the layout of the front end surface of the endoscope.

突出口23Bは、図2の先端面2Bにおいて、対物光学系22Rの光軸ORまでの距離DRが、対物光学系22Lの光軸OLまでの距離DLよりも小さくなるような位置に形成されている。すなわち、突出口23Bは、図2の先端面2Bにおいて、対物光学系22R側寄りの位置に形成されている。さらに換言すると、突出口23Bは、図2の先端面2Bにおいて、撮像部22の視野方向に対して右側寄りの位置に形成されている。 The protrusion 23B is formed at a position on the tip surface 2B of FIG. 2 such that the distance DR to the optical axis OR of the objective optical system 22R is smaller than the distance DL to the optical axis OL of the objective optical system 22L. There is. That is, the protrusion 23B is formed at a position closer to the objective optical system 22R on the tip surface 2B of FIG. In other words, the protrusion 23B is formed on the front end surface 2B of FIG. 2 at a position closer to the right side with respect to the viewing direction of the imaging unit 22.

信号処理部24は、例えば、信号処理回路を具備して構成されている。また、信号処理部24は、例えば、イメージセンサ22Bから出力されるアナログの撮像信号に対してノイズ低減処理及びA/D変換処理等の所定の信号処理を施すことによりデジタルの撮像信号を生成し、当該生成したデジタルの撮像信号をプロセッサ4へ出力するように構成されている。 The signal processing unit 24 is configured to include, for example, a signal processing circuit. Further, the signal processing unit 24 generates a digital imaging signal by performing predetermined signal processing such as noise reduction processing and A / D conversion processing on the analog imaging signal output from the image sensor 22B, for example. , The generated digital imaging signal is configured to be output to the processor 4.

メモリ25には、内視鏡2毎に固有の情報が格納されている。具体的には、メモリ25には、例えば、先端面2Bにおける突出口23Bの位置と、対物光学系22Lの光軸OLと突出口23Bとの間の距離DLと、対物光学系22Rの光軸ORと突出口23Bとの間の距離DRと、をそれぞれ特定可能な情報を含む、挿入部2Aの先端部のレイアウト情報が格納されている。また、メモリ25に格納されたレイアウト情報は、内視鏡2とプロセッサ4とが接続され、かつ、プロセッサ4の電源がオンされた際に、プロセッサ4の選択部42A(後述)により読み出される。 Information unique to each endoscope 2 is stored in the memory 25. Specifically, the memory 25 contains, for example, the position of the protrusion 23B on the tip surface 2B, the distance DL between the optical axis OL of the objective optical system 22L and the protrusion 23B, and the optical axis of the objective optical system 22R. The layout information of the tip portion of the insertion portion 2A is stored, including information that can identify the distance DR between the OR and the protrusion 23B. Further, the layout information stored in the memory 25 is read out by the selection unit 42A (described later) of the processor 4 when the endoscope 2 and the processor 4 are connected and the power of the processor 4 is turned on.

光源装置3は、例えば、白色光源を具備し、当該白色光源から発せられる白色光を照明光としてライトガイド7に供給することができるように構成されている。 The light source device 3 is provided with, for example, a white light source, and is configured so that white light emitted from the white light source can be supplied to the light guide 7 as illumination light.

プロセッサ4は、画像処理部41と、観察画像生成部42と、を有して構成されている。なお、本実施例によれば、例えば、プロセッサ4の各部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。 The processor 4 includes an image processing unit 41 and an observation image generation unit 42. According to this embodiment, for example, each part of the processor 4 may be configured as an individual electronic circuit, or may be configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array). May be good.

画像処理部41は、信号処理部24から出力される撮像信号に基づき、対物光学系22Lにより形成された光学像に対応する左目用の視差画像と、対物光学系22Rにより形成された光学像に対応する右目用の視差画像と、をそれぞれ生成するように構成されている。すなわち、同じ被写体からの入射光が入射される対物光学系22Lと対物光学系22Rとが挿入部2Aに並べて配置されているため、対物光学系22Lにより形成された光学像に対応する画像と対物光学系22Rにより形成された光学像に対応する画像とは、それぞれ視差を有する画像になっている。また、画像処理部41は、前述のように生成した左目用及び右目用の視差画像を観察画像生成部42へ出力するように構成されている。 The image processing unit 41 creates a parallax image for the left eye corresponding to the optical image formed by the objective optical system 22L and an optical image formed by the objective optical system 22R based on the image pickup signal output from the signal processing unit 24. It is configured to generate a corresponding parallax image for the right eye, respectively. That is, since the objective optical system 22L and the objective optical system 22R into which the incident light from the same subject is incident are arranged side by side in the insertion portion 2A, the image and the objective corresponding to the optical image formed by the objective optical system 22L are arranged. The images corresponding to the optical images formed by the optical system 22R are images having parallax. Further, the image processing unit 41 is configured to output the parallax images for the left eye and the right eye generated as described above to the observation image generation unit 42.

観察画像生成部42は、画像処理部41から出力される左目用及び右目用の2つの視差画像を用いて立体視観察用の画像である立体視画像を生成し、当該生成した立体視画像を表示装置5に表示させることができるように構成されている。また、観察画像生成部42は、表示装置5に表示される観察画像の表示態様を3D表示に設定するための指示が入力装置6において行われた際に、左目用及び右目用の2つの視差画像を用いて生成した立体視画像を観察画像として表示装置5に表示させるための動作を行うように構成されている。また、観察画像生成部42は、表示制御部としての機能を具備し、表示装置5に表示される観察画像の表示態様を2D表示に設定するための指示が入力装置6において行われた際に、画像処理部41から出力される左目用の視差画像または右目用の視差画像のいずれかを立体視画像の代わりに観察画像として表示装置5に表示させるための動作を行うように構成されている。また、観察画像生成部42は、2D表示時に観察画像として表示させる表示用の視差画像を選択するための処理を行う選択部42Aを有して構成されている。 The observation image generation unit 42 generates a stereoscopic image, which is an image for stereoscopic observation, using the two differential images for the left eye and the right eye output from the image processing unit 41, and generates the generated stereoscopic image. It is configured so that it can be displayed on the display device 5. Further, the observation image generation unit 42 has two parallaxes, one for the left eye and the other for the right eye, when an instruction for setting the display mode of the observation image displayed on the display device 5 to the 3D display is given in the input device 6. It is configured to perform an operation for displaying the stereoscopic image generated by using the image on the display device 5 as an observation image. Further, the observation image generation unit 42 has a function as a display control unit, and when an instruction for setting the display mode of the observation image displayed on the display device 5 to 2D display is given in the input device 6. , It is configured to perform an operation for displaying either the left-eye parallax image or the right-eye parallax image output from the image processing unit 41 on the display device 5 as an observation image instead of the stereoscopic image. .. Further, the observation image generation unit 42 includes a selection unit 42A that performs processing for selecting a display parallax image to be displayed as an observation image at the time of 2D display.

選択部42Aは、メモリ25から読み込んだレイアウト情報と、画像処理部41から出力される2つの視差画像と、に基づき、2D表示時に観察画像として表示させる表示用の視差画像を選択するための処理(後述)を行うように構成されている。 The selection unit 42A is a process for selecting a parallax image for display to be displayed as an observation image at the time of 2D display based on the layout information read from the memory 25 and the two parallax images output from the image processing unit 41. It is configured to perform (described later).

表示装置5は、例えば、LCD(液晶ディスプレイ)等を具備し、プロセッサ4から出力される観察画像を表示画面に表示することができるように構成されている。 The display device 5 is provided with, for example, an LCD (liquid crystal display) or the like, and is configured to be able to display an observation image output from the processor 4 on a display screen.

入力装置6は、例えば、キーボード、タッチパネル、及び/または、フットスイッチ等を具備して構成されている。また、入力装置6には、術者等のユーザの操作に応じ、表示装置5に表示される観察画像の表示態様を3D表示または2D表示のいずれかに設定するための指示をプロセッサ4に対して行うことが可能な表示切替スイッチ(不図示)が設けられている。 The input device 6 is configured to include, for example, a keyboard, a touch panel, and / or a foot switch. Further, the input device 6 is instructed to the processor 4 to set the display mode of the observation image displayed on the display device 5 to either 3D display or 2D display according to the operation of the user such as the operator. A display changeover switch (not shown) is provided.

続いて、本実施例に係る立体視内視鏡システム1の作用について、図3を適宜参照しつつ説明する。なお、以降においては、簡単にするため、選択部42Aにおいて行われる処理の具体例に主眼を置いて説明する一方で、選択部42Aにおいて行われる処理以外の種々の動作等については適宜省略して説明する。図3は、実施例に係る立体視内視鏡システムにおいて行われる処理の一例を説明するための図である。 Subsequently, the operation of the stereoscopic endoscopic system 1 according to the present embodiment will be described with reference to FIG. 3 as appropriate. In the following, for the sake of simplicity, the description will focus on specific examples of the processing performed by the selection unit 42A, while various operations other than the processing performed by the selection unit 42A will be omitted as appropriate. explain. FIG. 3 is a diagram for explaining an example of processing performed in the stereoscopic endoscopy system according to the embodiment.

ユーザは、立体視内視鏡システム1の各部を接続して電源を投入する。 The user connects each part of the stereoscopic endoscopy system 1 and turns on the power.

選択部42Aは、内視鏡2とプロセッサ4とが接続され、かつ、プロセッサ4の電源がオンされた際に、メモリ25からレイアウト情報を読み込むとともに、当該読み込んだレイアウト情報に基づいて2D表示時の観察画像として表示させる表示用の視差画像PAの初期設定を行う(図3のステップS1)。 The selection unit 42A reads layout information from the memory 25 when the endoscope 2 and the processor 4 are connected and the power of the processor 4 is turned on, and at the time of 2D display based on the read layout information. The parallax image PA for display to be displayed as the observation image of the above is initially set (step S1 in FIG. 3).

具体的には、選択部42Aは、例えば、メモリ25から読み込んだレイアウト情報に基づき、先端面2Bにおける突出口23Bの位置を特定し、さらに、当該特定した突出口23Bの位置が対物光学系22R側寄りであることを検出した場合には、対物光学系22Rにより形成された光学像に対応する右目用の視差画像PRを2D表示時の表示用の視差画像として初期設定する。 Specifically, the selection unit 42A specifies, for example, the position of the protrusion 23B on the tip surface 2B based on the layout information read from the memory 25, and further, the position of the specified protrusion 23B is the objective optical system 22R. When it is detected that the image is lateral, the parallax image PR for the right eye corresponding to the optical image formed by the objective optical system 22R is initially set as the parallax image for display at the time of 2D display.

ユーザは、例えば、観察窓22Aの視野の一部が阻害されること等に起因し、3D表示時に表示装置5に表示される立体視画像に対して違和感を覚えた際に、入力装置6の表示切替スイッチを操作することにより、表示装置5に表示される観察画像の表示態様を2D表示に設定するための指示を行う。 When the user feels uncomfortable with the stereoscopic image displayed on the display device 5 at the time of 3D display due to, for example, a part of the field of view of the observation window 22A being obstructed, the input device 6 is used. By operating the display changeover switch, an instruction is given to set the display mode of the observation image displayed on the display device 5 to 2D display.

選択部42Aは、入力装置6の表示切替スイッチからの指示に基づき、現在の観察画像の表示態様が3D表示または2D表示のどちらに設定されているかを検出する(図3のステップS2)。 The selection unit 42A detects whether the display mode of the current observation image is set to 3D display or 2D display based on the instruction from the display changeover switch of the input device 6 (step S2 in FIG. 3).

そして、選択部42Aは、現在の観察画像の表示態様が3D表示に設定されていることを検出した場合(S2:No)には、図3のステップS3以降の処理を行わずに待機状態に移行する。また、選択部42Aは、現在の観察画像の表示態様が2D表示に設定されていることを検出した場合(S2:Yes)には、後述の図3のステップS3の処理を続けて行う。 Then, when the selection unit 42A detects that the display mode of the current observation image is set to 3D display (S2: No), the selection unit 42A enters the standby state without performing the processing after step S3 in FIG. Transition. When the selection unit 42A detects that the display mode of the current observation image is set to 2D display (S2: Yes), the selection unit 42A continues the process of step S3 in FIG. 3, which will be described later.

選択部42Aは、例えば、画像処理部41から出力される2つの視差画像と、処置部81を含む処置具8の先端部を予め撮像して得られた複数のテンプレート画像と、を用いた処理を行うことにより、当該2つの視差画像の両方に処置具8の先端部が含まれているか否かを判定する(図3のステップS3)。 The selection unit 42A uses, for example, two parallax images output from the image processing unit 41 and a plurality of template images obtained by preliminarily imaging the tip of the treatment tool 8 including the treatment unit 81. By performing the above, it is determined whether or not the tip portion of the treatment tool 8 is included in both of the two parallax images (step S3 in FIG. 3).

具体的には、選択部42Aは、例えば、画像処理部41から出力される視差画像PL及び視差画像PRと、処置部81を含む処置具8の先端部を予め撮像して得られた複数のテンプレート画像と、に基づき、突出口23Bから突出されている処置具8に対応する1つのテンプレート画像TIを抽出し、当該テンプレート画像TIと当該視差画像PLとにおけるそれぞれ少なくとも一部の類似度RSAを算出し、当該テンプレート画像TIと当該視差画像PRとにおけるそれぞれ少なくとも一部の類似度RSBを算出し、当該類似度RSA及び当該RSBの両方に対して個別に閾値判定を行う。一方、選択部42Aは、例えば、処置具8の先端部が突出口23Bから突出されていない等の理由により、複数のテンプレート画像の中から所望のテンプレート画像TIを抽出できなかった場合には、視差画像PL及び視差画像PRの両方に処置具8の先端部が含まれていないとの判定結果を得る。 Specifically, the selection unit 42A is, for example, a plurality of images obtained by preliminarily imaging the disparity image PL and the disparity image PR output from the image processing unit 41 and the tip portion of the treatment tool 8 including the treatment unit 81. Based on the template image, one template image TI corresponding to the treatment tool 8 projecting from the protrusion 23B is extracted, and at least a part of the similarity RSA between the template image TI and the disparity image PL is obtained. The calculation is performed, at least a part of the similarity RSBs in the template image TI and the parallax image PR are calculated, and the thresholds are individually determined for both the similarity RSA and the RSB. On the other hand, when the selection unit 42A cannot extract the desired template image TI from the plurality of template images because, for example, the tip of the treatment tool 8 does not protrude from the protrusion 23B, the selection unit 42A may not be able to extract the desired template image TI. A determination result is obtained that the tip portion of the treatment tool 8 is not included in both the parallax image PL and the parallax image PR.

なお、図3のステップS3の処理に用いられる複数のテンプレート画像は、例えば、プロセッサ4の内部に設けられた図示しないメモリから読み込まれるものであってもよく、または、処置具8の操作部82の内部に設けられた図示しないメモリから読み込まれるものであってもよい。 The plurality of template images used in the process of step S3 of FIG. 3 may be, for example, read from a memory (not shown) provided inside the processor 4, or the operation unit 82 of the treatment tool 8. It may be read from a memory (not shown) provided inside the.

そして、選択部42Aは、画像処理部41から出力される2つの視差画像のうちの片方のみに処置具8の先端部が含まれているとの判定結果、または、画像処理部41から出力される2つの視差画像の両方に処置具8の先端部が含まれていないとの判定結果のいずれかを得た場合(S3:No)には、図3のステップS1の処理により初期設定した視差画像PAを2D表示時の表示用の視差画像として選択する(図3のステップS4)。また、選択部42Aは、画像処理部41から出力される2つの視差画像の両方に処置具8の先端部が含まれているとの判定結果を得た場合(S3:Yes)には、図3のステップS1の処理により初期設定した視差画像PAとは反対側の視差画像PBを2D表示時の表示用の視差画像として選択する(図3のステップS5)。 Then, the selection unit 42A is output from the image processing unit 41 or the determination result that the tip portion of the treatment tool 8 is included in only one of the two parallax images output from the image processing unit 41. When any of the determination results that the tip of the treatment tool 8 is not included in both of the two parallax images (S3: No) is obtained (S3: No), the parallax initially set by the process of step S1 in FIG. Image PA is selected as a parallax image for display during 2D display (step S4 in FIG. 3). Further, when the selection unit 42A obtains a determination result that the tip portion of the treatment tool 8 is included in both of the two parallax images output from the image processing unit 41 (S3: Yes), FIG. The parallax image PB on the side opposite to the parallax image PA initially set by the process of step S1 of 3 is selected as the parallax image for display at the time of 2D display (step S5 in FIG. 3).

具体的には、選択部42Aは、前述のように算出した類似度RSA及びRSBの両方に対して個別に閾値判定を行うことにより、例えば、テンプレート画像TIと視差画像PLとが類似しておらず、かつ、当該テンプレート画像TIと視差画像PRとが類似していることを検出した際に、当該視差画像PRのみに処置具8の先端部が含まれているとの判定結果を得るとともに、当該視差画像PRを2D表示時の表示用の視差画像として選択する。また、選択部42Aは、視差画像PL及び当該視差画像PRの両方に処置具8の先端部が含まれていないとの判定結果を得た場合には、当該視差画像PRを2D表示時の表示用の視差画像として選択する。また、選択部42Aは、前述のように算出した類似度RSA及びRSBの両方に対して個別に閾値判定を行うことにより、例えば、テンプレート画像TIと視差画像PLとが類似しており、かつ、当該テンプレート画像TIと視差画像PRとが類似していることを検出した際に、当該視差画像PL及び当該視差画像PRの両方に処置具8の先端部が含まれているとの判定結果を得るとともに、当該視差画像PLを2D表示時の表示用の視差画像として選択する。 Specifically, the selection unit 42A performs threshold determination individually for both the similarity RSA and RSB calculated as described above, so that, for example, the template image TI and the parallax image PL are similar. When it is detected that the template image TI and the parallax image PR are similar to each other, it is determined that the tip of the treatment tool 8 is included only in the parallax image PR. The parallax image PR is selected as a parallax image for display during 2D display. Further, when the selection unit 42A obtains a determination result that the tip portion of the treatment tool 8 is not included in both the parallax image PL and the parallax image PR, the parallax image PR is displayed at the time of 2D display. Select as a parallax image for. Further, the selection unit 42A individually determines the threshold value for both the similarity RSA and RSB calculated as described above, so that, for example, the template image TI and the parallax image PL are similar to each other, and the parallax image PL is similar. When it is detected that the template image TI and the parallax image PR are similar, it is determined that both the parallax image PL and the parallax image PR include the tip of the treatment tool 8. At the same time, the parallax image PL is selected as a parallax image for display at the time of 2D display.

選択部42Aは、図3のステップS4またはS5の処理を行った後、図3のステップS2以降の処理を繰り返し行う。 After performing the process of step S4 or S5 of FIG. 3, the selection unit 42A repeats the processes of step S2 and subsequent steps of FIG.

一方、本実施例の選択部42Aは、例えば、図3のステップS5の処理を行った後に、さらに、前述のテンプレートマッチングと略同様の処理を行うことにより、当該2つの視差画像PL及びPRのうちの片方に相当する視差画像PXのみに処置部81が含まれていることを検出した際に、当該視差画像PXを2D表示時の表示用の視差画像として選択するような処理を行うものであってもよい。 On the other hand, the selection unit 42A of the present embodiment, for example, performs the processing of step S5 in FIG. 3 and then further performs the same processing as the above-mentioned template matching to obtain the two parallax images PL and PR. When it is detected that the treatment unit 81 is included only in the parallax image PX corresponding to one of them, the parallax image PX is selected as the parallax image for display in 2D display. There may be.

また、本実施例の選択部42Aは、例えば、図3のステップS5の処理を行った後に、さらに、当該2つの視差画像PL及びPRを比較する処理を行うことにより、当該2つの視差画像PL及びPRのうちの一方の視差画像PYに含まれる処置具8の先端部の長さが他方の視差画像PZに含まれる処置具8の先端部の長さよりも長いことを検出した際に、当該一方の視差画像PYを2D表示時の表示用の視差画像として選択するような処理を行うものであってもよい。なお、このような選択部42Aの処理は、前述の視差画像PXを選択不可能な場合(画像処理部41から出力される2つの視差画像PL及びPRの両方に処置部81が含まれている場合、または、当該2つの視差画像PL及びPRの両方に処置部81が含まれていない場合)に行われるものであってもよい。 Further, the selection unit 42A of the present embodiment performs, for example, the process of step S5 in FIG. 3 and then further performs a process of comparing the two parallax image PLs and PRs, thereby causing the two parallax image PLs. And when it is detected that the length of the tip of the treatment tool 8 included in one of the parallax images PY is longer than the length of the tip of the treatment tool 8 included in the other parallax image PZ, the said A process may be performed to select one parallax image PY as a parallax image for display at the time of 2D display. In the processing of the selection unit 42A, when the parallax image PX described above cannot be selected (the treatment unit 81 is included in both the two parallax images PL and PR output from the image processing unit 41). In this case, or when the treatment unit 81 is not included in both the two parallax images PL and PR).

ここで、例えば、図2に示したレイアウトを具備する先端面2Bの突出口23Bからの処置具8の突出量が比較的短い場合には、突出口23Bまでの距離が相対的に近い対物光学系22Rより形成された光学像に対応する右目用の視差画像PRに処置具8の先端部が含まれる一方で、突出口23Bまでの距離が相対的に遠い対物光学系22Lより形成された光学像に対応する左目用の視差画像PLには処置具8の先端部が含まれないような状況が生じ得る(図4参照)。図4は、実施例に係る立体視内視鏡システムにおいて生成される2つの視差画像PL及びPRの一例を示す図である。 Here, for example, when the amount of protrusion of the treatment tool 8 from the protrusion 23B of the tip surface 2B having the layout shown in FIG. 2 is relatively short, the distance to the protrusion 23B is relatively short. The parallax image PR for the right eye corresponding to the optical image formed by the system 22R includes the tip of the treatment tool 8, while the optics formed by the objective optical system 22L having a relatively long distance to the protrusion 23B. A situation may occur in which the parallax image PL for the left eye corresponding to the image does not include the tip of the treatment tool 8 (see FIG. 4). FIG. 4 is a diagram showing an example of two parallax images PL and PR generated in the stereoscopic endoscopic system according to the embodiment.

また、例えば、図2に示したレイアウトを具備する先端面2Bの突出口23Bからの処置具8の突出量が比較的長い場合には、突出口23Bまでの距離が相対的に遠い対物光学系22Lより形成された光学像に対応する左目用の視差画像PLに処置具8の処置部81が含まれる一方で、突出口23Bまでの距離が相対的に近い対物光学系22Rより形成された光学像に対応する右目用の視差画像PRには処置具8の処置部81が含まれないような状況が生じ得る(図5参照)。図5は、実施例に係る立体視内視鏡システムにおいて生成される2つの視差画像PL及びPRの一例を示す図である。 Further, for example, when the amount of protrusion of the treatment tool 8 from the protrusion 23B of the tip surface 2B having the layout shown in FIG. 2 is relatively long, the distance to the protrusion 23B is relatively long. The parallax image PL for the left eye corresponding to the optical image formed from 22L includes the treatment portion 81 of the treatment tool 8, while the optics formed by the objective optical system 22R having a relatively short distance to the protrusion 23B. A situation may occur in which the parallax image PR for the right eye corresponding to the image does not include the treatment portion 81 of the treatment tool 8 (see FIG. 5). FIG. 5 is a diagram showing an example of two parallax images PL and PR generated in the stereoscopic endoscopic system according to the embodiment.

これに対し、本実施例によれば、図3に示した処理が2D表示時に選択部42Aにおいて行われることにより、例えば、先端面2Bの突出口23Bからの処置具8の突出量が比較的短い場合には右目用の視差画像PRを観察画像として表示装置5に表示させることができるとともに、当該突出量が比較的長い場合には左目用の視差画像PLを観察画像として表示装置5に表示させることができる。そのため、本実施例によれば、表示装置5に表示される観察画像の表示態様が2D表示に設定された際に、突出口23Bからの処置具8の突出状態に応じた適切な視差画像(PLまたはPR)を表示させることができる。 On the other hand, according to the present embodiment, the processing shown in FIG. 3 is performed in the selection unit 42A at the time of 2D display, so that, for example, the amount of protrusion of the treatment tool 8 from the protrusion 23B of the tip surface 2B is relatively large. When it is short, the parallax image PR for the right eye can be displayed on the display device 5 as an observation image, and when the protrusion amount is relatively long, the parallax image PL for the left eye is displayed on the display device 5 as an observation image. Can be made to. Therefore, according to the present embodiment, when the display mode of the observation image displayed on the display device 5 is set to 2D display, an appropriate parallax image according to the protruding state of the treatment tool 8 from the protruding port 23B ( PL or PR) can be displayed.

また、本実施例によれば、図3に示した処理が2D表示時に選択部42Aにおいて行われるため、例えば、2D表示時に表示装置5に観察画像として表示させる視差画像をユーザが手動で選択及び設定するような煩雑な操作を経ずとも、突出口23Bから突出されている処置具8の先端部及び/または処置部81の視認性を確保することができる。 Further, according to the present embodiment, since the processing shown in FIG. 3 is performed by the selection unit 42A at the time of 2D display, for example, the user manually selects and selects a parallax image to be displayed as an observation image on the display device 5 at the time of 2D display. The visibility of the tip portion and / or the treatment portion 81 of the treatment tool 8 protruding from the protrusion 23B can be ensured without going through a complicated operation such as setting.

なお、本実施例においては、挿入部2Aの先端部のレイアウト情報がメモリ25に格納されているものに限らず、例えば、内視鏡2の機種を特定可能な情報である機種情報がメモリ25に格納されていてもよい。そして、このような場合において、選択部42Aは、メモリ25から読み込んだ機種情報に基づいて内視鏡2の機種を特定し、当該特定した内視鏡2の機種に応じた挿入部2Aの先端部のレイアウト情報を取得し、当該取得したレイアウト情報に基づいて図3に示した処理を行うことにより、2D表示時の表示用の視差画像を選択するようにしてもよい。 In this embodiment, the layout information of the tip of the insertion portion 2A is not limited to the one stored in the memory 25, and for example, the model information which is the information that can identify the model of the endoscope 2 is the memory 25. It may be stored in. Then, in such a case, the selection unit 42A identifies the model of the endoscope 2 based on the model information read from the memory 25, and the tip of the insertion unit 2A corresponding to the model of the specified endoscope 2. The parallax image for display at the time of 2D display may be selected by acquiring the layout information of the unit and performing the process shown in FIG. 3 based on the acquired layout information.

また、本実施例においては、例えば、先端面2Bにおける突出口23Bの詳細な位置を特定可能な情報である詳細位置情報がメモリ25に格納されているとともに、当該詳細位置情報を用いて図3の処理が行われるものであってもよい。具体的には、例えば、図6に示すように、光軸OLと光軸ORとの間を結ぶ線分LXと、当該線分LXの中点OCで線分LXに直交する線分LYと、を先端面2B上に仮想的に設定した場合に、当該中点OCと突出口23Bの中心軸CCとの間を結ぶ線分LAの長さに相当する距離DAと、当該線分LA及び当該線分LYのなす角度θと、を含む詳細位置情報がメモリ25に格納されていてもよい。なお、図6においては、図示及び説明の便宜上、観察窓22Aの後段に配置されている対物光学系22L及び22Rの光入射面を、突出口23Bと同様に実線で示しているものとする。図6は、実施例に係る立体視内視鏡システムの処理において利用可能なパラメータの一例を説明するための図である。 Further, in the present embodiment, for example, detailed position information which is information capable of specifying the detailed position of the protrusion 23B on the tip surface 2B is stored in the memory 25, and the detailed position information is used in FIG. It may be the one in which the processing of is performed. Specifically, for example, as shown in FIG. 6, a line segment LX connecting the optical axis OL and the optical axis OR and a line segment LY orthogonal to the line segment LX at the midpoint OC of the line segment LX. When is virtually set on the tip surface 2B, the distance DA corresponding to the length of the line segment LA connecting the midpoint OC and the central axis CC of the protrusion 23B, the line segment LA, and Detailed position information including the angle θ formed by the line segment LY may be stored in the memory 25. In FIG. 6, for convenience of illustration and explanation, the light incident surfaces of the objective optical systems 22L and 22R arranged behind the observation window 22A are shown by solid lines in the same manner as the protrusion 23B. FIG. 6 is a diagram for explaining an example of parameters that can be used in the processing of the stereoscopic endoscopic system according to the embodiment.

また、本実施例においては、例えば、先端面2Bに形成された突出口23Bのサイズを特定可能な情報であるサイズ情報がメモリ25に格納されているとともに、当該サイズ情報を用いて図3の処理が行われるものであってもよい。具体的には、例えば、図6に示すように、先端面2Bにおける突出口23Bの形状が中心軸CCを中心とする円形に形成されている場合に、突出口23Bの直径を含むサイズ情報がメモリ25に格納されていてもよい。 Further, in the present embodiment, for example, size information which is information capable of specifying the size of the protrusion 23B formed on the tip surface 2B is stored in the memory 25, and the size information is used to be used in FIG. The processing may be performed. Specifically, for example, as shown in FIG. 6, when the shape of the protrusion 23B on the tip surface 2B is formed in a circle centered on the central axis CC, the size information including the diameter of the protrusion 23B is obtained. It may be stored in the memory 25.

また、本実施例においては、例えば、対物光学系22L及び対物光学系22Rにおける所定の光学パラメータを特定可能な情報である光学パラメータ情報がメモリ25に格納されているとともに、当該光学パラメータ情報を用いて図3の処理が行われるものであってもよい。具体的には、例えば、光軸OL及び光軸ORの2つの光軸が挿入部2Aの中心軸に対して斜めになるように対物光学系22L及び22Rの2つの対物光学系が配置されている場合に、先端面2Bにおける線分LXの長さに相当する距離DXと、当該2つの対物光学系の画角の大きさと、先端面2Bから当該2つの光軸の交点までの距離と、を含む光学パラメータ情報がメモリ25に格納されていてもよい。 Further, in this embodiment, for example, optical parameter information which is information capable of specifying a predetermined optical parameter in the objective optical system 22L and the objective optical system 22R is stored in the memory 25, and the optical parameter information is used. The processing of FIG. 3 may be performed. Specifically, for example, the two objective optical systems 22L and 22R are arranged so that the two optical axes of the optical axis OL and the optical axis OR are oblique to the central axis of the insertion portion 2A. If so, the distance DX corresponding to the length of the line segment LX on the tip surface 2B, the size of the angle of view of the two objective optical systems, and the distance from the tip surface 2B to the intersection of the two optical axes. Optical parameter information including the above may be stored in the memory 25.

一方、本実施例は、照明光学系21を経て出射される照明光により照明された被写体からの戻り光を対物光学系22L及び22Rに入射させるための1つの観察窓22Aを具備して構成された内視鏡2に対して適用されるものに限らない。具体的には、本実施例は、例えば、照明光学系21を経て出射される照明光により照明された被写体からの戻り光を対物光学系22Lに入射させるための左目用の観察窓と、当該戻り光を対物光学系22Rに入射させるための右目用の観察窓と、の2つの観察窓をそれぞれ個別に具備して構成された内視鏡に対しても略同様に適用される。 On the other hand, this embodiment is configured to include one observation window 22A for incidenting the return light from the subject illuminated by the illumination light emitted through the illumination optical system 21 onto the objective optical systems 22L and 22R. It is not limited to the one applied to the endoscope 2. Specifically, in this embodiment, for example, an observation window for the left eye for incidenting the return light from the subject illuminated by the illumination light emitted through the illumination optical system 21 onto the objective optical system 22L, and the said observation window. The same applies to an endoscope configured by individually providing an observation window for the right eye for incidenting the return light on the objective optical system 22R and two observation windows.

なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。 It should be noted that the present invention is not limited to the above-described embodiments, and it goes without saying that various modifications and applications can be made without departing from the spirit of the invention.

1 立体視内視鏡システム
2 内視鏡
2A 挿入部
2B 先端面
3 光源装置
4 プロセッサ
5 表示装置
8 処置具
22 撮像部
22L 対物光学系
22R 対物光学系
23B 突出口
41 画像処理部
42 観察画像生成部
42A 選択部
81 処置部
1 Stereoscopic endoscopy system 2 Endoscope 2A Insertion 2B Tip surface 3 Light source device 4 Processor 5 Display device 8 Treatment tool 22 Imaging unit 22L Objective optical system 22R Objective optical system 23B Projection port 41 Image processing unit 42 Observation image generation Part 42A Selection part 81 Treatment part

日本国特開2014−147630号公報Japanese Patent Application Laid-Open No. 2014-147630

Claims (4)

被検体の体腔内に挿入される挿入部と、
前記挿入部の先端部に設けられ、前記挿入部の先端部の先端面から入射される入射光に応じた第1の光学像を形成する第1の対物光学系と、前記入射光に応じた第2の光学像を形成する第2の対物光学系と、を具備し、前記第1の光学像及び前記第2の光学像をそれぞれ撮像して撮像信号を出力するように構成された撮像部と、
前記挿入部の内部に設けられ、前記被検体の体腔内の患部に対して所定の処置を施すことが可能な処置具を挿通させることができるとともに、前記先端面に設けられた開口から前記処置具を突出させることができるように構成された管路と、
前記撮像信号に基づき、前記第1の光学像に対応する第1の視差画像と、前記第2の光学像に対応する第2の視差画像と、をそれぞれ生成するように構成された画像処理部と、
前記第1の視差画像及び前記第2の視差画像を用いて立体視画像を生成可能であると共に、当該生成した立体視画像または前記第1の視差画像もしくは前記第2の視差画像を表示装置に表示させる表示制御部と、
前記表示装置に表示される観察画像の表示機能を2D表示に設定する指示を行う入力部と、
前記挿入部、前記撮像部および前記管路を具備する内視鏡固有の情報であって当該挿入部先端部のレイアウト情報を取得し、当該レイアウト情報に基づいて前記2D表示に設定された際の視差画像を初期設定すると共に、前記入力部の指示により前記表示装置に表示される観察画像の表示機能が2D表示に設定されたことに応じて、前記画像処理部から出力される前記第1の視差画像および第2の視差画像に係る画像情報と、前記初期設定された視差画像に係る情報とに基づいて、前記第1の視差画像または前記第2の視差画像を前記表示装置に表示させる視差画像として選択する選択部と、
を有することを特徴とする立体視内視鏡システム。
An insertion part that is inserted into the body cavity of the subject,
A first objective optical system provided at the tip of the insertion portion and forming a first optical image corresponding to the incident light incident from the tip surface of the tip of the insertion portion, and the incident light. An imaging unit including a second objective optical system that forms a second optical image, and is configured to image the first optical image and the second optical image, respectively, and output an imaging signal. When,
A treatment tool provided inside the insertion portion and capable of performing a predetermined treatment on the affected part in the body cavity of the subject can be inserted, and the treatment is performed through an opening provided on the tip surface. A pipeline configured to allow the tool to protrude,
An image processing unit configured to generate a first parallax image corresponding to the first optical image and a second parallax image corresponding to the second optical image based on the image pickup signal. When,
A stereoscopic image can be generated by using the first parallax image and the second parallax image, and the generated stereoscopic image, the first parallax image, or the second parallax image can be displayed on the display device. Display control unit to display and
An input unit that gives an instruction to set the display function of the observation image displayed on the display device to 2D display, and
When the layout information of the tip portion of the insertion portion, which is information peculiar to the endoscope including the insertion portion, the image pickup portion, and the conduit, is acquired and set to the 2D display based on the layout information. The first, which is output from the image processing unit in response to the initial setting of the disparity image and the setting of the display function of the observation image displayed on the display device to the 2D display by the instruction of the input unit. Disparity that causes the display device to display the first disparity image or the second disparity image based on the image information related to the disparity image and the second disparity image and the information related to the initially set disparity image. The selection part to be selected as an image and
A stereoscopic endoscopic system characterized by having.
前記選択部は、前記画像処理部から出力される前記第1の視差画像および第2の視差画像に係る画像情報に基づいて、前記開口から突出されている前記処置具が前記第1の視差画像または前記第2の視差画像のうちの片方のみに含まれている場合には、前記初期設定された視差画像を2D表示時における視差画像として選択する
ことを特徴とする請求項1に記載の立体視内視鏡システム。
In the selection unit, the treatment tool protruding from the opening is the first parallax image based on the image information related to the first parallax image and the second parallax image output from the image processing unit. The solid according to claim 1, wherein when the parallax image is included in only one of the second parallax images, the initially set parallax image is selected as the parallax image at the time of 2D display. Parallax system.
前記選択部は、前記画像処理部から出力される前記第1の視差画像および第2の視差画像に係る画像情報に基づいて、前記開口から突出されている前記処置具が前記第1の視差画像および前記第2の視差画像のいずれにも含まれていない場合には、前記初期設定された視差画像を2D表示時における視差画像として選択する
ことを特徴とする請求項1に記載の立体視内視鏡システム。
In the selection unit, the treatment tool protruding from the opening is the first parallax image based on the image information related to the first parallax image and the second parallax image output from the image processing unit. The stereoscopic vision according to claim 1, wherein when the image is not included in any of the second parallax images, the initially set parallax image is selected as the parallax image at the time of 2D display. Parallax system.
前記選択部は、前記画像処理部から出力される前記第1の視差画像および第2の視差画像に係る画像情報に基づいて、前記開口から突出されている前記処置具が前記第1の視差画像および前記第2の視差画像の両方に含まれている場合には、前記初期設定された視差画像とは反対側の視差画像を2D表示時における視差画像として選択する
ことを特徴とする請求項1に記載の立体視内視鏡システム。
In the selection unit, the treatment tool protruding from the opening is the first parallax image based on the image information related to the first parallax image and the second parallax image output from the image processing unit. When it is included in both the second parallax image and the second parallax image, the parallax image on the opposite side of the initially set parallax image is selected as the parallax image at the time of 2D display. The stereoscopic parallax system described in.
JP2016086421A 2016-04-22 2016-04-22 Stereoscopic endoscopy system Active JP6843518B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016086421A JP6843518B2 (en) 2016-04-22 2016-04-22 Stereoscopic endoscopy system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016086421A JP6843518B2 (en) 2016-04-22 2016-04-22 Stereoscopic endoscopy system

Publications (2)

Publication Number Publication Date
JP2017192663A JP2017192663A (en) 2017-10-26
JP6843518B2 true JP6843518B2 (en) 2021-03-17

Family

ID=60154232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016086421A Active JP6843518B2 (en) 2016-04-22 2016-04-22 Stereoscopic endoscopy system

Country Status (1)

Country Link
JP (1) JP6843518B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011101240A (en) * 2009-11-06 2011-05-19 Fujifilm Corp Stereoscopic photographing device and photographing control method
JP2011221905A (en) * 2010-04-13 2011-11-04 Victor Co Of Japan Ltd Information processor
JP5765160B2 (en) * 2011-09-16 2015-08-19 株式会社Jvcケンウッド Stereoscopic imaging device
JP5730339B2 (en) * 2013-01-25 2015-06-10 富士フイルム株式会社 Stereoscopic endoscope device

Also Published As

Publication number Publication date
JP2017192663A (en) 2017-10-26

Similar Documents

Publication Publication Date Title
JP5730339B2 (en) Stereoscopic endoscope device
US8911358B2 (en) Endoscopic vision system
CN107710756B (en) Medical stereoscopic viewing device, medical stereoscopic viewing method, and program
JP7378529B2 (en) Surgical microscope with data unit and method for overlaying images
JP6654006B2 (en) Medical observation device
EP3151719A1 (en) Image processing apparatus, image processing method, and program
US11571109B2 (en) Medical observation device
JP2013022464A (en) Endoscope and endoscope system
JP6253857B1 (en) Stereoscopic endoscope and stereoscopic endoscope system
JP2014140593A (en) Three-dimensional endoscope apparatus
US10390688B2 (en) Image pickup system
JP6843518B2 (en) Stereoscopic endoscopy system
WO2020008672A1 (en) Endoscope system
JP7086929B2 (en) Medical information processing system
JP2014064657A (en) Stereoscopic endoscope apparatus
JP2018007837A (en) Image processing device
JP6153675B2 (en) Stereoscopic endoscope device
JPWO2014208224A1 (en) Autofocus device
JP6663692B2 (en) Image processing apparatus, endoscope system, and control method for image processing apparatus
JP2019162301A (en) Three-dimensional endoscope system
WO2019215984A1 (en) Image processing device and image generation method
WO2021176717A1 (en) Endoscope device, processor for endoscopic image, and method for generating endoscopic image
WO2021117136A1 (en) Imaging system and endoscope system
JP2004233480A (en) Stereoscopic endoscope system
WO2018047465A1 (en) Endoscope device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210224

R151 Written notification of patent or utility model registration

Ref document number: 6843518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250