JPH11337845A - Endoscope device - Google Patents
Endoscope deviceInfo
- Publication number
- JPH11337845A JPH11337845A JP10142808A JP14280898A JPH11337845A JP H11337845 A JPH11337845 A JP H11337845A JP 10142808 A JP10142808 A JP 10142808A JP 14280898 A JP14280898 A JP 14280898A JP H11337845 A JPH11337845 A JP H11337845A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- endoscope apparatus
- observation
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、腹腔鏡などの内視
鏡装置に関し、特に、被観測対象の内部形状を三次元的
に観察することのできる内視鏡装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an endoscope apparatus such as a laparoscope, and more particularly to an endoscope apparatus capable of three-dimensionally observing the internal shape of an object to be observed.
【０００２】[0002]
【従来の技術】内視鏡装置は、体腔や中空器官といった
被観測対象の狭い部位で使用されることが多いため、被
観測対象の内壁に阻まれて、位置姿勢の自由度が制限さ
れることが多かった。従って、図１８に示すように、従
来の内視鏡装置１００は被観測対象の内壁の裏側が死角
となり、観察視野範囲が狭くなってしまった。従って、
観測可能範囲を拡げるための技術が必要になる。これに
係る従来技術および関連技術を以下に示す。2. Description of the Related Art Since an endoscope apparatus is often used in a narrow portion of an object to be observed, such as a body cavity or a hollow organ, it is hindered by an inner wall of the object to be observed, and the degree of freedom of position and orientation is limited. There were many things. Therefore, as shown in FIG. 18, in the conventional endoscope apparatus 100, the back side of the inner wall of the observation target becomes a blind spot, and the observation visual field range is narrowed. Therefore,
Techniques are needed to expand the observable range. The related art and related art are shown below.
【０００３】（従来技術１）図１９は、従来技術１に係
る内視鏡装置１１０を示す図である。図１９に示すよう
に、内視鏡装置１１０は、先端部１１１付近が屈折可能
に構成されており、その屈折の角度および方向は、内視
鏡本体部１１２に装備された操作ノブによって操作され
る。この機能は、図２０に示すように、内視鏡挿入時に
おいて、その先端部を操作することによって、目的の方
向に内視鏡を挿入させるものである。また、主目的では
ないが、被計測対象内部と内視鏡との間に空間が存在す
る場合には、図２１に示すように、この機能を用いて視
方向を変更させることができる。(Prior Art 1) FIG. 19 is a diagram showing an endoscope apparatus 110 according to Prior Art 1. As shown in FIG. 19, the endoscope device 110 is configured so that the vicinity of the distal end portion 111 can be refracted, and the angle and direction of the refraction are operated by an operation knob provided on the endoscope main body 112. You. As shown in FIG. 20, this function allows the endoscope to be inserted in a desired direction by operating the distal end when the endoscope is inserted. Although not the main purpose, when there is a space between the inside of the object to be measured and the endoscope, the viewing direction can be changed using this function as shown in FIG.
【０００４】（従来技術２）特開平２−２９７５１５号
公報には、従来技術２に係る内視鏡装置が記載されてい
る。この内視鏡装置は、グリッド投影と三角測量の原理
に基づいて三次元形状を復元する装置であり、胃などの
病変部を立体的に把握することを目的としている。この
内視鏡装置によれば、グリッドを投影して得られた縞模
様がコンピュータに画像として取り込まれ、三角測量の
原理に基づいたコンピュータ解析を行うことによって、
被観測対象を立体図形として表示することができる。そ
して、この立体図形に基づいて、画像内物体の高さ、つ
まり病変部の凹部の深さや凸部の高さなどの形状を自動
的に計測することができる。(Prior Art 2) Japanese Patent Application Laid-Open No. 2-297515 discloses an endoscope apparatus according to Prior Art 2. This endoscope apparatus is a device for restoring a three-dimensional shape based on the principle of grid projection and triangulation, and aims to three-dimensionally grasp a lesion such as a stomach. According to this endoscope apparatus, a stripe pattern obtained by projecting a grid is captured as an image by a computer, and a computer analysis based on the principle of triangulation is performed.
The observed object can be displayed as a three-dimensional figure. Then, based on the three-dimensional figure, the height of the object in the image, that is, the shape such as the depth of the concave portion or the height of the convex portion of the lesion can be automatically measured.
【０００５】（従来技術３）特表平４−５００３２１号
公報には、従来技術３に係る内視鏡装置が記載されてい
る。この内視鏡装置は、ラスタスキャンと三角測量の原
理に基づいて三次元形状を復元する装置である。この内
視鏡装置によれば、光源を有する光学スキャナで描いた
ラスタがケーブルを通して投影され、これがお互いに隔
置された一対の光検出器により検出される。光検出器か
らの信号は電子処理装置に伝送され、各光検出器で検出
された放射線の位置が電子処理装置で判定される。そし
て、この判定で得られた位置データを三次元的に配置す
ることにより、被観測対象の三次元形状が復元される。(Prior Art 3) Japanese Patent Publication No. 4-500321 discloses an endoscope apparatus according to Prior Art 3. This endoscope device is a device for restoring a three-dimensional shape based on the principle of raster scanning and triangulation. According to this endoscope apparatus, a raster drawn by an optical scanner having a light source is projected through a cable and detected by a pair of photodetectors spaced apart from each other. The signal from the photodetector is transmitted to an electronic processing device, and the position of the radiation detected by each photodetector is determined by the electronic processing device. Then, by arranging the position data obtained in this determination three-dimensionally, the three-dimensional shape of the observation target is restored.
【０００６】（従来技術４）特開平５−１０３７４７号
公報には、従来技術４に係る内視鏡装置が記載されてい
る。この内視鏡装置は、レーザ照射と三角測量の原理に
基づいて三次元距離を測定する装置である。この内視鏡
装置によれば、患部に紫外線レーザを照射して、それを
複数の受光素子で計測する。照射してから受光までの時
間遅れから患部までの距離を計算し、各受光素子で計測
されるレーザ光の強度から患部面の傾きを計算する。そ
して、この計算で得られた傾きデータに基づいて患部面
を三次元的に配置することにより、被観測対象の三次元
形状が復元される。(Prior Art 4) Japanese Patent Application Laid-Open No. 5-103747 discloses an endoscope apparatus according to Prior Art 4. This endoscope apparatus is an apparatus that measures a three-dimensional distance based on the principles of laser irradiation and triangulation. According to this endoscope apparatus, an affected part is irradiated with an ultraviolet laser, and the irradiated part is measured by a plurality of light receiving elements. The distance to the affected part is calculated from the time delay from irradiation to light reception, and the inclination of the affected part surface is calculated from the intensity of the laser light measured by each light receiving element. Then, by arranging the affected surface three-dimensionally based on the inclination data obtained by this calculation, the three-dimensional shape of the observation target is restored.
【０００７】（従来技術５）臨床消化器内科６月増刊号
1997 Vol.12 No.7電子スコープ−新しい展開189頁に
は、コンピュータビジョン（以下、ＣＶと称す）の手法
による内視鏡画像からの立体形状の復元に係る２種類の
手法が記載されている。(Prior art 5) June special issue of Clinical Gastroenterology
1997 Vol.12 No.7 Electronic Scope-New Development On page 189, two types of methods relating to the reconstruction of a three-dimensional shape from an endoscope image by the method of computer vision (hereinafter referred to as CV) are described. .
【０００８】第１の手法は、因子分解法と呼ばれる手法
を用いた立体形状の復元方法である。これは、まず被観
測対象内部での内視鏡の運動によって連続画像系列を得
て、次に内視鏡カメラによって得られた連続画像内での
複数個の特徴点の動きを追いかけることで、カメラの運
動とこれらの対応点の空間位置を求める。そして、求め
られた空間位置データを三次元的に配置することによ
り、被観測対象の三次元形状が復元される。The first method is a method of restoring a three-dimensional shape using a method called a factorization method. This is done by first obtaining a continuous image sequence by the movement of the endoscope inside the observation target, and then following the movement of a plurality of feature points in the continuous image obtained by the endoscope camera, The camera movement and the spatial position of these corresponding points are determined. Then, by arranging the obtained spatial position data three-dimensionally, the three-dimensional shape of the observation target is restored.
【０００９】また、第２の手法は、画像の陰影に基づい
て立体形状を求める手法である。これは、因子分解法に
比べて、計算時間を要するが、細かい立体形状を復元す
ることが可能である。まず、発光用のレンズ位置に一点
の光源があると仮定する。さらに、被観測対象面上のあ
る点の反射による明るさは、視線の方向と面の法線方向
とのなす角の余弦ｃｏｓθに比例し、光源からこの点ま
での距離の２乗に反比例する仮定を追加する。即ち、こ
れは物体表面の反射係数が一様で、且つ被観測対象面上
の点の明るさはテキスチャなどの影響を受けないことを
仮定している。A second technique is a technique for obtaining a three-dimensional shape based on the shadow of an image. This requires more calculation time than the factorization method, but can recover a fine three-dimensional shape. First, it is assumed that there is one light source at the lens position for light emission. Further, the brightness due to the reflection of a point on the surface to be observed is proportional to the cosine cos θ of the angle between the direction of the line of sight and the normal direction of the surface, and inversely proportional to the square of the distance from the light source to this point. Add assumptions. That is, this assumes that the reflection coefficient of the object surface is uniform and that the brightness of a point on the surface to be observed is not affected by texture or the like.
【００１０】次に、上記した２つの仮定に基づいて、画
像の濃淡から被観測対象面の各点での面の視線に対する
傾きとその点までの距離を求める。そして、この計算で
得られた傾き及び距離のデータに基づいて、被観測対象
面を三次元的に配置することにより、被観測対象の三次
元形状が復元される。その他、従来の技術としては、特
開昭６３−６８１２７号公報、特開平２−１１６３４７
号公報、特開平３−１０２２０２号公報などがある。Next, based on the above two assumptions, the inclination to the line of sight at each point of the surface to be observed and the distance to that point are determined from the density of the image. The three-dimensional shape of the object to be observed is restored by arranging the surface to be observed three-dimensionally based on the data of the inclination and the distance obtained by this calculation. Other conventional techniques are disclosed in JP-A-63-68127 and JP-A-2-116347.
And JP-A-3-102202.
【００１１】[0011]
【発明が解決しようとする課題】従来技術１に係る内視
鏡装置１１０は、内視鏡そのものの移動で視点を動かし
ている。しかしながら、被観測対象内壁の形状によっ
て、内視鏡装置１１０の可動方向および範囲が拘束され
るので、視点を自由に動かすことは困難であった。ま
た、内視鏡装置１１０の先端部１１１の可動には、所定
範囲の空間を必要とするため、図２１に示すように、先
端部１１１の可動範囲も被観測対象内壁によって拘束さ
れる。その結果、従来技術１に係る内視鏡装置１１０で
は、所望する位置姿勢の内部画像を観測することが困難
であった。そして、その状況において画像の内挿や外挿
を行うことは、画像中に推測すなわち歪みの可能性が入
り込むことになり問題であった。In the endoscope apparatus 110 according to the prior art 1, the viewpoint is moved by moving the endoscope itself. However, since the movable direction and range of the endoscope apparatus 110 are restricted by the shape of the inner wall of the observation target, it is difficult to freely move the viewpoint. In addition, since the movement of the distal end portion 111 of the endoscope device 110 requires a predetermined range of space, the movable range of the distal end portion 111 is also restricted by the inner wall of the observation target as shown in FIG. As a result, it is difficult for the endoscope apparatus 110 according to the related art 1 to observe an internal image of a desired position and orientation. Then, performing interpolation or extrapolation of an image in such a situation involves a problem since estimation or the possibility of distortion enters the image.
【００１２】図２２（ａ）〜（ｄ）を用いてこの問題を
説明する。図２２（ａ）は、白地に黒い帯状のテクスチ
ャを持った平面群から構成される三次元形状色彩モデル
である。このモデルはその形状の特徴として、ひとつの
段を有する。図２２（ｂ）は、図２２（ａ）のモデルを
上方から観測した場合の観測画像である。三次元形状を
情報として持たない従来の画像処理によって、一方向の
画像から視点と視方向を移動させて観察した画像を構成
しようとした場合、その構成された画像は誤りを含む可
能性が高い。This problem will be described with reference to FIGS. FIG. 22A is a three-dimensional shape color model composed of a group of planes having a black belt-like texture on a white background. This model has one step as a feature of its shape. FIG. 22B is an observation image when the model of FIG. 22A is observed from above. When attempting to construct an image observed by moving the viewpoint and viewing direction from an image in one direction by conventional image processing that does not have a three-dimensional shape as information, the constructed image is likely to contain errors. .
【００１３】例えば、図２２（ｂ）から斜め方向より観
察した画像を構成しようとした場合、図２２（ｃ）のよ
うに、上段のテクスチャと下段のテクスチャとがずれた
画像にしなければならない。ところが、従来の画像処理
では、三次元形状を情報として持っていないため、上段
のテクスチャと下段のテクスチャとをずらすことができ
ず、図２２（ｄ）のように、段の上下でテクスチャが一
致した画像になってしまう。For example, when an image viewed obliquely from FIG. 22B is to be constructed, it is necessary to form an image in which the upper texture and the lower texture are shifted as shown in FIG. 22C. However, in the conventional image processing, since the three-dimensional shape is not stored as information, the texture in the upper stage and the texture in the lower stage cannot be shifted, and as shown in FIG. It becomes the image which was done.
【００１４】また、従来技術１に係る内視鏡装置１１０
は、挿入部位に物理的可動部が存在するため、安全性が
低くなるといった問題や、視野移動に時間がかかるとい
った問題があった。Further, an endoscope device 110 according to the prior art 1
However, since there is a physically movable portion at the insertion site, there is a problem that the safety is low and a problem that it takes time to move the visual field.
【００１５】次に、従来技術２〜４に係る内視鏡装置
は、三角測量の原理に基づいて被観測対象を観測してい
るが、三角測量は観測点間の視差を利用するものである
ため、複数の光学経路を必要とし、内視鏡径が大きくな
るといった問題があった。また、従来技術２〜４に係る
内視鏡装置は、一点あるいは狭い視野における距離ある
いは形状計測を行うため、局所的な観察や解析しかでき
ず問題であった。Next, the endoscope apparatuses according to the prior arts 2 to 4 observe an object to be observed based on the principle of triangulation. Triangulation uses parallax between observation points. Therefore, there is a problem that a plurality of optical paths are required, and the endoscope diameter is increased. In addition, the endoscope devices according to the related arts 2 to 4 perform a distance or shape measurement in one point or a narrow visual field, and thus have a problem that only local observation and analysis can be performed.
【００１６】次に、従来技術５に係る内視鏡装置は、安
定性や分解能の面で問題があった。問題点の具体例を以
下に示す。 （１） 因子分解法を用いた形状復元では、複数個の特
徴点の位置を各々のフレーム画像において得る必要があ
る。従って、そのままでは、リアルタイム形状復元の実
現は難しい。また、それぞれのフレーム画像における特
徴点の位置対応付けは必ずしも安定ではなく、信頼性の
観点より問題が残る。さらに、画像群を撮影している間
は、対象形状が変化していないことを仮定しているた
め、医学、特に臓器内の観察への応用は難しいと思われ
る。Next, the endoscope apparatus according to the prior art 5 has a problem in stability and resolution. Specific examples of the problems are shown below. (1) In shape restoration using a factor decomposition method, it is necessary to obtain positions of a plurality of feature points in each frame image. Therefore, realization of real-time shape restoration is difficult as it is. Further, the correspondence of the positions of the feature points in each frame image is not always stable, and a problem remains from the viewpoint of reliability. Furthermore, since it is assumed that the shape of the object has not changed during imaging of the image group, it seems difficult to apply it to medicine, particularly to observation inside an organ.
【００１７】（２） 画像の陰影に基づいて立体画像を
得る手法は、テキスチャレスや一様反射の仮定に基づい
ている。そのため、対象内壁の色彩情報により結果に誤
推定を含む可能性があり、それを抑制するために、形状
の滑らかさ拘束などの拘束を用いる。これは、分解能を
低下させ、且つ不連続領域では誤推定を引き起こし易
い。(2) The technique of obtaining a stereoscopic image based on the shadow of the image is based on the assumption of textureless or uniform reflection. Therefore, the result may include erroneous estimation based on the color information of the target inner wall, and a constraint such as a shape smoothness constraint is used to suppress this. This lowers the resolution and tends to cause erroneous estimation in discontinuous regions.
【００１８】本発明は、このような問題を解決して、被
観測対象の内部形状を広範囲に観測することのできる内
視鏡装置を提供することを目的とする。An object of the present invention is to solve such a problem and to provide an endoscope apparatus capable of observing the internal shape of an object to be observed in a wide range.
【００１９】[0019]
【課題を解決するための手段】請求項１の内視鏡装置
は、被観測対象に先端を挿入させて、被観測対象からの
観測光を先端から基端に導く挿入管と、挿入管の基端か
ら導出された観測光による二次元画像を撮像する撮像素
子と、挿入管と撮像素子との間の観測光の光路上に設け
られ、この観測光の集光条件を調整する光学部品と、光
学部品の光学パラメータを変更する光学パラメータ制御
手段と、光学パラメータ制御手段で光学パラメータを変
更しながら撮像された複数の二次元画像を撮像素子から
入力して、これらの二次元画像に基づいて被観測対象の
三次元形状モデルを作成する画像処理手段とを備えるこ
とを特徴とする。According to the first aspect of the present invention, there is provided an endoscope apparatus, wherein a distal end is inserted into an object to be observed, and an insertion tube for guiding observation light from the object to be observed from the distal end to the proximal end. An imaging element for capturing a two-dimensional image by observation light derived from the base end, and an optical component that is provided on an optical path of observation light between the insertion tube and the imaging element, and adjusts a light collecting condition of the observation light. Optical parameter control means for changing the optical parameters of the optical component, and a plurality of two-dimensional images captured while changing the optical parameters in the optical parameter control means, is input from the image sensor, based on these two-dimensional images Image processing means for creating a three-dimensional shape model of the observed object.
【００２０】請求項２において、光学部品がフォーカス
レンズであると共に、光学パラメータ制御手段で変更す
る光学パラメータが焦点距離であり、画像処理手段は、
光学パラメータ制御手段で焦点距離を変更しながら撮像
された複数の二次元画像を撮像素子から入力して、これ
らの二次元画像に基づいて被観測対象の三次元形状モデ
ルを作成することを特徴とする。In a preferred embodiment, the optical component is a focus lens, the optical parameter changed by the optical parameter control means is a focal length, and the image processing means
A plurality of two-dimensional images taken while changing the focal length by the optical parameter control means are input from the image sensor, and a three-dimensional shape model of the object to be observed is created based on these two-dimensional images. I do.
【００２１】請求項３において、画像処理手段は、複数
の二次元画像の焦点の合った部位の情報に基づいて被観
測対象の三次元形状モデルを作成することを特徴とす
る。According to a third aspect of the present invention, the image processing means creates a three-dimensional shape model of the object to be observed based on information of a focused part of the plurality of two-dimensional images.
【００２２】請求項４において、光学部品が絞りである
と共に、光学パラメータ制御手段で変更する光学パラメ
ータが焦点深度であり、画像処理手段は、光学パラメー
タ制御手段で焦点深度を変更しながら撮像された複数の
二次元画像を撮像素子から入力して、これらの二次元画
像に基づいて被観測対象の三次元形状モデルを作成する
ことを特徴とする。According to a fourth aspect of the present invention, the optical component is a stop, the optical parameter to be changed by the optical parameter control means is the depth of focus, and the image processing means is imaged while changing the depth of focus by the optical parameter control means. A plurality of two-dimensional images are input from an image sensor, and a three-dimensional shape model of the observation target is created based on the two-dimensional images.
【００２３】請求項５において、画像処理手段は、複数
の二次元画像間におけるボケ程度の変化量の情報に基づ
いて被観測対象の三次元形状モデルを作成することを特
徴とする。According to a fifth aspect of the present invention, the image processing means creates a three-dimensional shape model of the object to be observed based on information on the amount of change of the degree of blur between the plurality of two-dimensional images.
【００２４】請求項６において、光学部品がフォーカス
レンズおよび絞りであると共に、光学パラメータ制御手
段で変更する光学パラメータがフォーカスレンズの焦点
距離および絞りの焦点深度であり、画像処理手段は、光
学パラメータ制御手段で焦点距離および焦点深度を変更
しながら撮像された複数の二次元画像を撮像素子から入
力して、これらの二次元画像に基づいて被観測対象の三
次元形状モデルを作成することを特徴とする。In the sixth aspect, the optical components are a focus lens and an aperture, the optical parameters changed by the optical parameter control means are a focal length of the focus lens and a depth of focus of the aperture, and the image processing means has an optical parameter control. A plurality of two-dimensional images taken while changing the focal length and the focal depth by the means are input from the image sensor, and a three-dimensional shape model of the observation target is created based on these two-dimensional images. I do.
【００２５】請求項７において、画像処理手段は、複数
の二次元画像の焦点の合った部位の情報と、複数の二次
元画像間におけるボケ程度の変化量の情報とに基づいて
被観測対象の三次元形状モデルを作成することを特徴と
する。According to a seventh aspect of the present invention, the image processing means is configured to determine the in-focus target of the plurality of two-dimensional images and the information on the amount of change in the degree of blur between the plurality of two-dimensional images. It is characterized by creating a three-dimensional shape model.
【００２６】請求項８の内視鏡装置は、被観測対象に先
端を挿入させて、被観測対象からの観測光を先端から基
端に導く挿入管と、挿入管の基端から導出された観測光
による二次元画像を撮像する撮像素子と、撮像素子で撮
像された二次元画像を略球形状のフレームモデルに貼付
して三次元形状モデルを作成する画像処理手段とを備え
ることを特徴とする。In the endoscope apparatus according to the present invention, the distal end is inserted into the object to be observed, and the insertion tube guides the observation light from the object to be observed from the distal end to the base end, and is derived from the base end of the insertion tube. An imaging device for capturing a two-dimensional image by observation light, and image processing means for creating a three-dimensional shape model by pasting the two-dimensional image captured by the imaging device to a substantially spherical frame model. I do.
【００２７】請求項９において、挿入管の先端には、被
観測対象からの観測光を広範囲に導入する広視野レンズ
が設けられていることを特徴とする。A ninth aspect of the present invention is characterized in that a wide-field lens for introducing observation light from an object to be observed into a wide range is provided at a tip of the insertion tube.
【００２８】請求項１０において、広視野レンズは、ほ
ぼ球面形状のレンズであることを特徴とする。According to a tenth aspect of the present invention, the wide-field lens is a lens having a substantially spherical shape.
【００２９】請求項１１において、広視野レンズは、多
層構造のレンズであることを特徴とする。In the eleventh aspect, the wide field lens is a lens having a multilayer structure.
【００３０】請求項１２において、撮像素子の受光面
は、中心部分に比べて周辺部分の画素密度が高いことを
特徴とする。According to a twelfth aspect of the present invention, the light receiving surface of the image sensor has a higher pixel density in a peripheral portion than in a central portion.
【００３１】請求項１３において、撮像素子の受光面
は、球面状に湾曲していることを特徴とする。According to a thirteenth aspect of the present invention, the light receiving surface of the image sensor is curved in a spherical shape.
【００３２】請求項１４において、挿入管の基端と撮像
素子との間の光路上には、観測光を拡散させる拡散レン
ズが設けられ、撮像素子の受光面は、拡散レンズで拡散
された観測光を略垂直に入射させるように、球面状に湾
曲していることを特徴とする。In a fourteenth aspect, a diffusion lens for diffusing observation light is provided on an optical path between the base end of the insertion tube and the image pickup device, and a light receiving surface of the image pickup device is provided with an observation light diffused by the diffusion lens. It is characterized by being curved in a spherical shape so that light is incident substantially perpendicularly.
【００３３】請求項１５において、画像処理手段は、撮
像素子の各画素における輝度に基づいた色彩データを抽
出し、これらの色彩データを用いて三次元形状モデルに
着色する色彩画像作成部を備えることを特徴とする。According to a fifteenth aspect, the image processing means includes a color image creating section for extracting color data based on the luminance of each pixel of the image sensor and coloring the three-dimensional model using the color data. It is characterized by.
【００３４】[0034]
【発明の実施の形態】以下、本発明に係る内視鏡装置の
好適な実施形態について添付図面を参照して説明する。 実施の形態１．図１は、実施の形態１に係る内視鏡装置
１の外観を示す斜視図である。また、図２は、実施の形
態１に係る内視鏡装置１の構造を示すブロック図であ
る。図１、図２に示すように、内視鏡装置１は、被観測
孔（被観測対象）Ａに先端１１を挿入させて、被観測孔
Ａの内壁で反射した観測光を先端１１から基端１２に導
くファイバスコープなどの挿入管１０と、挿入管１０の
基端１２が固定され、ユーザへのシステム操作のインタ
フェースを提供する本体部２０と、挿入管１０から導出
された観測光を処理して、複数枚の二次元画像から三次
元形状モデルを作成する演算制御部４０と、本体部２０
と演算制御部４０とを光学的及び電気的に接続する接続
ケーブル３０とを備えている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of an endoscope apparatus according to the present invention will be described below with reference to the accompanying drawings. Embodiment 1 FIG. FIG. 1 is a perspective view showing an external appearance of an endoscope apparatus 1 according to the first embodiment. FIG. 2 is a block diagram showing a structure of the endoscope apparatus 1 according to the first embodiment. As shown in FIGS. 1 and 2, the endoscope apparatus 1 has a tip 11 inserted into a hole to be observed (object to be observed) A, and bases the observation light reflected on the inner wall of the hole to be observed A from the tip 11. An insertion tube 10 such as a fiberscope leading to the end 12; a main body 20 to which a base end 12 of the insertion tube 10 is fixed and which provides an interface for operating the system to a user; and processing of observation light derived from the insertion tube 10 An arithmetic control unit 40 for creating a three-dimensional shape model from a plurality of two-dimensional images;
And a connection cable 30 for optically and electrically connecting the computer and the arithmetic and control unit 40.
【００３５】本体部２０は、挿入管１０から導出された
導光ファイバ１４および操作ワイヤ１７と、被観測孔Ａ
の画像を表示するディスプレイ２１と、ディスプレイ２
１の表示方法の切替えを行う制御ノブ２２とを備えてい
る。また、演算制御部４０は、白色光や紫外線レーザ光
など照射光を出射する光源４１と、光源４１からの照射
光を挿入管１０の基端１２に向けて反射させると共に、
挿入管１０の基端１２から導出された観測光を透過させ
るハーフミラー４２と、ハーフミラー４２を透過した観
測光の結像条件（集光条件）を調整するフォーカスレン
ズ（光学部品）４３とを備えている。ここで、フォーカ
スレンズ４３とは、焦点距離を調整できる機能を有する
レンズをいう。The main body 20 includes the light guide fiber 14 and the operation wire 17 led out of the insertion tube 10 and the observation hole A.
And a display 21 for displaying an image of
1 and a control knob 22 for switching the display method. In addition, the arithmetic and control unit 40 reflects the irradiation light from the light source 41 toward the base end 12 of the insertion tube 10 and a light source 41 that emits irradiation light such as white light or ultraviolet laser light,
A half mirror 42 for transmitting observation light led out from the base end 12 of the insertion tube 10 and a focus lens (optical component) 43 for adjusting an imaging condition (condensing condition) of the observation light transmitted through the half mirror 42. Have. Here, the focus lens 43 refers to a lens having a function of adjusting the focal length.
【００３６】さらに、演算制御部４０は、フォーカスレ
ンズ４３の焦点距離（光学パラメータ）を変化させる光
学パラメータ制御手段４４と、フォーカスレンズ４３で
集光された観測光を受光して、この観測光による二次元
画像を撮像するＣＣＤ素子（撮像素子）４５とを備えて
いる。また、演算制御部４０は、光学パラメータ制御手
段４４で焦点距離を変化させながら撮像された複数の二
次元画像を入力して、これらの二次元画像の焦点の合っ
た部位を組み合わせて、被観測孔Ａの三次元形状モデル
を求める画像処理手段４６と、画像処理手段４６で求め
た三次元形状モデルに基づいて、所定の視点からの被観
測孔Ａの画像を作成してディスプレイ２１に表示させる
表示制御手段４７とを備えている。Further, the arithmetic and control unit 40 receives the observation light condensed by the focus lens 43 and the optical parameter control means 44 for changing the focal length (optical parameter) of the focus lens 43 and receives the observation light. A CCD element (image pickup element) 45 for picking up a two-dimensional image. The arithmetic control unit 40 inputs a plurality of two-dimensional images captured while changing the focal length by the optical parameter control unit 44, combines the in-focus portions of these two-dimensional images, and Based on the image processing means 46 for obtaining a three-dimensional shape model of the hole A and the three-dimensional shape model obtained by the image processing means 46, an image of the observed hole A from a predetermined viewpoint is created and displayed on the display 21. And a display control means 47.
【００３７】さらに、図３に示すように、光学パラメー
タ制御手段４４は、フォーカスレンズ４３を駆動させる
駆動部４４ａと、駆動部４４ａを制御する制御部４４ｂ
とを備えている。なお、制御ノブ２２は、ディスプレイ
２１の表示方法の切替え以外に、挿入管１０の先端１１
に対するアングル操作を行ってもよい。また、ディスプ
レイ２１には、接眼レンズや液晶ディスプレイなどが用
いられることが好ましい。Further, as shown in FIG. 3, the optical parameter control means 44 includes a drive section 44a for driving the focus lens 43 and a control section 44b for controlling the drive section 44a.
And Note that the control knob 22 is used to switch the display method of the display 21, and to switch the display method of the display 21.
May be performed. Further, it is preferable that an eyepiece, a liquid crystal display, or the like be used for the display 21.
【００３８】図４に示すように、挿入管１０の先端１１
には、魚眼レンズあるいはそれに類似した球面形状を有
する集光レンズ（広視野レンズ）１３と、集光レンズ１
３で集光した光線を導光ファイバ１４に導く導光レンズ
１５とが組み込まれている。このように、挿入管１０の
先端１１に集光レンズ１３を組み込むことにより、広い
視野範囲の観測光を導光ファイバ１４に導入させること
ができる。[0038] As shown in FIG.
A focusing lens (wide-field lens) 13 having a spherical shape similar to a fish-eye lens or the like, and a focusing lens 1
A light guide lens 15 for guiding the light beam condensed in 3 to the light guide fiber 14 is incorporated. By incorporating the condenser lens 13 at the distal end 11 of the insertion tube 10 as described above, observation light in a wide visual field range can be introduced into the light guide fiber 14.
【００３９】図５（ａ）に示すように、ＣＣＤ素子４５
の受光面の画素密度は、中央部分に比べて周辺部分が高
い。集光レンズ１３で集光された観測光は、光軸と直交
する面における中央部分に比べて周辺部分の方が、画像
情報の密度が高い。従って、周辺部分の画素密度を高く
することにより、観測光の周辺部分を高画素で撮像する
ことができ、ＣＣＤ素子４５の解像度が向上する。As shown in FIG. 5A, the CCD element 45
The pixel density on the light receiving surface is higher at the peripheral portion than at the central portion. The observation light collected by the condenser lens 13 has a higher density of image information in a peripheral portion than in a central portion on a plane orthogonal to the optical axis. Therefore, by increasing the pixel density of the peripheral portion, the peripheral portion of the observation light can be imaged with high pixels, and the resolution of the CCD element 45 is improved.
【００４０】また、図５（ｂ）に示すように、ＣＣＤ素
子４５の受光面を球面形状にしてもよい。この場合、Ｃ
ＣＤ素子４５の画素密度が各部分で均一であることが好
ましい。このように、ＣＣＤ素子４５の受光面が球面形
状であれば、ＣＣＤ素子４５の周辺部分に対して観測光
が斜めに入射するので、観測光の周辺部分では、観測光
の単位面積当たりのＣＣＤ素子４５の数を増加できる。
その結果、観測光の周辺部分を高画素で撮像することが
でき、ＣＣＤ素子４５の解像度が向上する。Further, as shown in FIG. 5B, the light receiving surface of the CCD element 45 may have a spherical shape. In this case, C
It is preferable that the pixel density of the CD element 45 be uniform in each portion. As described above, if the light receiving surface of the CCD element 45 has a spherical shape, the observation light is obliquely incident on the peripheral portion of the CCD element 45. The number of the elements 45 can be increased.
As a result, the peripheral portion of the observation light can be imaged with high pixels, and the resolution of the CCD element 45 is improved.
【００４１】さらに、図６（ａ）に示すように、フォー
カスレンズ４３とＣＣＤ素子４５との間に導光レンズ
（拡散レンズ）４３ａを配置すると共に、ＣＣＤ素子４
５の受光面を球面形状にしてもよい。この場合、フォー
カスレンズ４３を通過した観測光は導光レンズ４３ａで
拡散され、ＣＣＤ素子４５の受光面に略垂直に入射す
る。このように、観測光がＣＣＤ素子４５の受光面に斜
めに入射されることがないので、ＣＣＤ素子４５の画素
密度が一定になる。その結果、観測光の周辺部分の解像
度を、中央部分の解像度とほぼ同一に保持させることが
できる。Further, as shown in FIG. 6A, a light guide lens (diffusion lens) 43a is arranged between the focus lens 43 and the CCD element 45, and the CCD element 4
The light receiving surface of No. 5 may have a spherical shape. In this case, the observation light that has passed through the focus lens 43 is diffused by the light guide lens 43a and is incident on the light receiving surface of the CCD element 45 substantially perpendicularly. As described above, since the observation light is not obliquely incident on the light receiving surface of the CCD element 45, the pixel density of the CCD element 45 becomes constant. As a result, the resolution of the peripheral portion of the observation light can be kept substantially the same as the resolution of the central portion.
【００４２】なお、図５（ｂ）及び図６（ａ）に示した
ＣＣＤ素子４５に代えて、図６（ｂ）（ｃ）に示すよう
な平面の素子を複数貼り合わせたＣＣＤ素子４５ａ，４
５ｂを用いてもよい。これらのＣＣＤ素子４５ａ，４５
ｂは、球面状のＣＣＤ素子４５に比べて加工性がよく、
コストを削減させることができる。Note that, instead of the CCD element 45 shown in FIGS. 5B and 6A, a CCD element 45a in which a plurality of flat elements as shown in FIGS. 4
5b may be used. These CCD elements 45a, 45
b has better workability than the spherical CCD element 45,
Costs can be reduced.
【００４３】図７に示すように、画像処理手段４６は、
三次元形状モデルに色彩情報を持たせる色彩画像作成部
４６ａを備えている。色彩画像作成部４６ａは、ＣＣＤ
素子４５から入力された複数の二次元画像から焦点の合
った画素の輝度を計算して求める。その結果、着色され
た画像を演算制御部４０から出力させることができ、視
覚性に優れた被観測孔Ａの画像をディスプレイ２１に表
示させることができる。また、より正確な色彩情報を求
めるには、複数の多重光学パラメータ画像を入力データ
とし、これらのデータから計算した壁面上の各点におけ
る鏡面反射係数、拡散反射係数、光吸収率などを色彩情
報として持たせてもよい。As shown in FIG. 7, the image processing means 46
A color image creating unit 46a for giving color information to the three-dimensional shape model is provided. The color image creation unit 46a is a CCD
The luminance of the focused pixel is calculated and obtained from the plurality of two-dimensional images input from the element 45. As a result, a colored image can be output from the arithmetic and control unit 40, and an image of the observed hole A with excellent visibility can be displayed on the display 21. In order to obtain more accurate color information, multiple multiplexed optical parameter images are used as input data, and the specular reflection coefficient, diffuse reflection coefficient, light absorption rate, etc. at each point on the wall surface calculated from these data are used as color information. You may have as.
【００４４】次に、実施の形態１に係る内視鏡装置１の
動作について、図１〜図３を用いて説明する。光源４１
から出射した照射光は、ハーフミラー４２で反射して、
導光ファイバ１４内に導入される。導光ファイバ１４内
を進行した照射光は集光レンズ１３で拡げられ、挿入管
１０の先端１１から広範囲に照射される。この広範囲の
照射光によって被観測孔Ａが照らし出され、被観測孔Ａ
で反射した観測光が集光レンズ１３に入射される。集光
レンズ１３では観測光を集光させて、導光レンズ１５を
介して導光ファイバ１４に導入させる。Next, the operation of the endoscope apparatus 1 according to the first embodiment will be described with reference to FIGS. Light source 41
Is reflected by the half mirror 42,
It is introduced into the light guide fiber 14. The irradiation light that has traveled through the light guide fiber 14 is expanded by the condenser lens 13 and is irradiated from the distal end 11 of the insertion tube 10 over a wide range. The observation hole A is illuminated by this wide range of irradiation light, and the observation hole A is illuminated.
The observation light reflected by the light enters the condenser lens 13. The condensing lens 13 condenses the observation light and introduces it into the light guide fiber 14 via the light guide lens 15.
【００４５】導光ファイバ１４を進行した観測光は、演
算制御部４０内に導出され、ハーフミラー４２を透過す
る。そして、ハーフミラー４２を透過した観測光はフォ
ーカスレンズ４３で集光されて、ＣＣＤ素子４５に入射
される。ここで、フォーカスレンズ４３は、光学パラメ
ータ制御手段４４の制御の下、観測光の結像条件を調整
している。また、光学パラメータ制御手段４４では、フ
ォーカスレンズ４３の焦点距離を少しずつ変化させてい
る。その結果、結像位置が少しずつずれた観測光がＣＣ
Ｄ素子４５に順次入射され、ＣＣＤ素子４５では、結像
条件の異なる複数の二次元画像が撮像される。The observation light that has traveled through the light guide fiber 14 is guided into the arithmetic and control unit 40 and passes through the half mirror 42. Then, the observation light transmitted through the half mirror 42 is condensed by the focus lens 43 and is incident on the CCD element 45. Here, the focus lens 43 adjusts the imaging condition of the observation light under the control of the optical parameter control means 44. In addition, the optical parameter control means 44 changes the focal length of the focus lens 43 little by little. As a result, the observation light whose imaging position is slightly shifted
The light is sequentially incident on the D element 45, and the CCD element 45 captures a plurality of two-dimensional images having different imaging conditions.
【００４６】ＣＣＤ素子４５で撮像された複数の二次元
画像は、画像処理手段４６に入力される。画像処理手段
４６では、これらの二次元画像に焦点の合った部位を組
み合わせて、被観測孔Ａの三次元形状モデルを求める。
具体的には、図８（ａ）に示すように、それぞれの二次
元画像６０に対して焦点の合った点群６１を求め、この
点群６１の光学距離を求める。次に、点群６１の光学距
離と既知の光学経路とに従って、点群６１の三次元の位
置を計算し、図８（ｂ）に示すように、点群６１を三次
元空間上に配置する。そして、この点群６１に面６２を
貼付することにより、図９に示す被観測孔Ａの三次元形
状モデルが求められる。The plurality of two-dimensional images picked up by the CCD element 45 are input to the image processing means 46. The image processing means 46 obtains a three-dimensional shape model of the observed hole A by combining the portions focused on these two-dimensional images.
Specifically, as shown in FIG. 8A, a focused point group 61 is determined for each two-dimensional image 60, and the optical distance of the point group 61 is determined. Next, the three-dimensional position of the point group 61 is calculated according to the optical distance of the point group 61 and the known optical path, and the point group 61 is arranged on the three-dimensional space as shown in FIG. . Then, by attaching the surface 62 to the point group 61, a three-dimensional shape model of the observed hole A shown in FIG. 9 is obtained.
【００４７】画像処理手段４６で求めた三次元形状モデ
ルは、表示制御手段４７に与えられ、表示制御手段４７
ではこれらの三次元形状モデルから被観測孔Ａの画像を
作成してディスプレイ２１に表示させる。ディスプレイ
２１に表示される画像は、被観測孔Ａの画像に付加情報
が統合された画像でもよい。例えば、形状や色彩の統計
情報を統合した画像や、ユーザが計算機あるいは制御ノ
ブ２２から入力したマーキングなどの情報を統合した画
像などでよい。The three-dimensional shape model obtained by the image processing means 46 is given to the display control means 47, and the display control means 47
Then, an image of the observation hole A is created from these three-dimensional shape models and displayed on the display 21. The image displayed on the display 21 may be an image in which additional information is integrated with the image of the observation hole A. For example, an image in which statistical information of shapes and colors is integrated, or an image in which information such as marking input by a user from a computer or the control knob 22 may be integrated.
【００４８】以上の動作により、被観測孔Ａ内壁の画像
がディスプレイ２１に表示される。そして、表示制御手
段４７に対して視点方向を指示することによって、表示
制御手段４７はディスプレイ２１に表示させる画像の視
点方向を自由に動かすことができる。その結果、被観測
孔Ａの内部が狭く、挿入管１０の先端１１を自由に動か
すことが困難な場合であっても、各視点方向からの画像
をディスプレイ２１に表示させることができる。By the above operation, an image of the inner wall of the hole to be observed A is displayed on the display 21. Then, by instructing the display control means 47 to specify the viewpoint direction, the display control means 47 can freely move the viewpoint direction of the image displayed on the display 21. As a result, even when the inside of the observation hole A is narrow and it is difficult to freely move the distal end 11 of the insertion tube 10, the image from each viewpoint direction can be displayed on the display 21.
【００４９】また、挿入管１０に物理的可動部分が存在
しないので、安全性が高く、視野移動に時間がかかるこ
ともない。さらに、挿入管１０の先端１１に集光レンズ
１３が組み込まれているので、広視野で被観測孔Ａを観
測することができ、観測性能が向上する。さらにまた、
ＣＣＤ素子４５の受光面の画素密度を、中央部分に比べ
て周辺部分を高くしているので、周辺部分の画像の分解
能が向上する。その結果、ディスプレイ２１に表示され
る画像の視覚性が向上する。Further, since there is no physically movable part in the insertion tube 10, the safety is high, and it does not take much time to move the visual field. Further, since the condenser lens 13 is incorporated in the distal end 11 of the insertion tube 10, the observation hole A can be observed in a wide field of view, and the observation performance is improved. Furthermore,
Since the pixel density on the light receiving surface of the CCD element 45 is higher in the peripheral portion than in the central portion, the resolution of the image in the peripheral portion is improved. As a result, the visibility of the image displayed on the display 21 is improved.
【００５０】次に、集光レンズ１３の他の例について説
明する。図１０は、挿入管１０の先端１１を示す図であ
り、挿入管１０の先端１１には、物質間の光伝達速度差
による屈折現象を利用して視野範囲を拡げる多層構造の
集光レンズ（広視野レンズ）１６が組み込まれている。
集光手段１６は、従来のレンズと同様に、図１１（ａ）
に示す屈折の原理に基づいている。この集光手段１６の
特徴は、多層構造レンズの境界面で屈折を２回以上行う
ことで、広視野の集光を実現している点である。その
際、図１１（ｂ）に示すように、物質間境界面が平行に
なるように重ねたのでは、屈折角度の比は最下層の光伝
達速度係数ｎi1と最上層の光伝達速度係数ｎj1の比に比
例して、屈折角度の観点からは多層構造にした意味がな
い。Next, another example of the condenser lens 13 will be described. FIG. 10 is a view showing a distal end 11 of the insertion tube 10. A condenser lens (multi-layer structure) that expands a visual field range by using a refraction phenomenon due to a difference in light transmission speed between substances is provided at the distal end 11 of the insertion tube 10. Wide field lens) 16 is incorporated.
The light condensing means 16 is similar to the conventional lens, as shown in FIG.
Based on the principle of refraction shown in FIG. A feature of the light condensing means 16 is that light is condensed in a wide field of view by performing refraction twice or more at the boundary surface of the multilayer structure lens. At this time, as shown in FIG. 11 (b), when the layers are overlapped so that the inter-substance interfaces are parallel, the ratio of the refraction angles is such that the light transmission velocity coefficient ni1 of the lowermost layer and the light transmission velocity coefficient nj1 of the uppermost layer In proportion to the ratio, there is no point in forming a multilayer structure from the viewpoint of the refraction angle.
【００５１】そこで、図１１（ｃ）に示すように、光伝
達速度係数の小さな物質から光伝達速度係数の大きな物
質への境界面が光学経路とほぼ直角になるように構成す
ることで、光線が光伝達速度係数の小さな物質から光伝
達速度係数の大きな物質へ入射する際の屈折を抑え、屈
折角度を増加させることができる。その結果、広視野で
被観測孔Ａを観測することができ、観測性能が向上す
る。Therefore, as shown in FIG. 11 (c), the boundary between a substance having a small light transmission velocity coefficient and a substance having a large light transmission velocity coefficient is formed so as to be substantially perpendicular to the optical path so that light rays Can be suppressed when entering from a substance having a small light transmission velocity coefficient to a substance having a large light transmission velocity coefficient, and the refraction angle can be increased. As a result, the observation hole A can be observed in a wide field of view, and the observation performance is improved.
【００５２】実施の形態２．次に、実施の形態２に係る
内視鏡装置を説明する。図１２は、実施の形態に係る内
視鏡装置２の構造を示すブロック図である。この実施の
形態２が図２に示す実施の形態１と異なるのは、フォー
カスレンズ４３の代わりに、絞り（光学部品）４８と集
光レンズ４９を備えている点である。その他の構成につ
いては実施の形態１と同一又は同等である。なお、実施
の形態１と同一又は同等な構成部分については同一符号
を付し、その説明は省略する。Embodiment 2 Next, an endoscope apparatus according to Embodiment 2 will be described. FIG. 12 is a block diagram illustrating a structure of the endoscope device 2 according to the embodiment. The second embodiment is different from the first embodiment shown in FIG. 2 in that an aperture (optical component) 48 and a condenser lens 49 are provided instead of the focus lens 43. Other configurations are the same as or equivalent to the first embodiment. The same or equivalent components as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
【００５３】図１２に示すように、導光ファイバ１４か
ら演算制御部４０内に導出された観測光はハーフミラー
４２を透過して、絞り４８で光量を制限される。そし
て、絞り４８を通過した観測光は、集光レンズ４９で集
光されて、ＣＣＤ素子４５に入射される。ここで、絞り
４８は、光学パラメータ制御手段４４の制御の下、光軸
方向にリニアに駆動して、焦点深度を少しずつ変化させ
る。その結果、ボケ程度の少しずつ異なる複数の二次元
画像がＣＣＤ素子４５で撮像される。As shown in FIG. 12, the observation light led into the arithmetic and control unit 40 from the light guide fiber 14 passes through the half mirror 42, and the amount of light is limited by the stop 48. Then, the observation light that has passed through the stop 48 is condensed by the condenser lens 49 and is incident on the CCD element 45. Here, the diaphragm 48 is driven linearly in the optical axis direction under the control of the optical parameter control means 44 to change the focal depth little by little. As a result, a plurality of two-dimensional images slightly different from each other with a degree of blur are captured by the CCD element 45.
【００５４】ＣＣＤ素子４５で撮像された複数の二次元
画像は、画像処理手段４６に入力される。画像処理手段
４６では、これらの二次元画像間におけるボケ程度の変
化量から、被観測孔Ａの各部位の三次元座標データを求
める。画像処理手段４６で求められた三次元座標データ
は、表示制御手段４７に与えられ、表示制御手段４７で
はこれらの三次元座標データから被観測孔Ａの画像を作
成してディスプレイ２１に表示させる。ディスプレイ２
１に表示される画像は、被観測孔Ａの画像に付加情報が
統合された画像でもよい。例えば、形状や色彩の統計情
報を統合した画像や、ユーザが計算機あるいは制御ノブ
２２から入力したマーキングなどの情報を統合した画像
などでよい。The plurality of two-dimensional images picked up by the CCD element 45 are input to the image processing means 46. The image processing means 46 obtains three-dimensional coordinate data of each part of the observed hole A from the amount of change in the degree of blur between these two-dimensional images. The three-dimensional coordinate data obtained by the image processing means 46 is given to the display control means 47, and the display control means 47 creates an image of the observation hole A from the three-dimensional coordinate data and displays the image on the display 21. Display 2
The image displayed in 1 may be an image in which additional information is integrated with the image of the observation hole A. For example, an image in which statistical information of shapes and colors is integrated, or an image in which information such as marking input by a user from a computer or the control knob 22 may be integrated.
【００５５】次に、画像処理手段４６の演算手法につい
て説明する。図１３に示すように、被観測孔Ａの対象点
Ｐを出射した光は、絞り４８を通過して集光レンズ４９
によって結像点Ｑに集光される。対象点Ｐを出射した光
は焦点合致画像面７０で一点に集中するので、焦点合致
画像面７０には鮮明な光の点が形成される。これに対し
て、対象点Ｐを出射した光は焦点ボケ画像面７１，７２
では集束しないので、焦点ボケ画像面７１，７２にはボ
ケた光の円が形成される。Next, the calculation method of the image processing means 46 will be described. As shown in FIG. 13, the light emitted from the target point P of the observation hole A passes through the stop 48 and the condensing lens 49.
Is focused on the image forming point Q. Since the light emitted from the target point P is concentrated on one point on the focused image plane 70, clear light points are formed on the focused image plane 70. On the other hand, the light emitted from the target point P is out of focus image planes 71 and 72.
In this case, since the light is not converged, blurred light circles are formed on the defocused image planes 71 and 72.
【００５６】このボケの程度は数学的に解析可能である
ため、焦点ボケ画像面７１，７２の焦点合致画像面７０
からの距離を変化させることでこのボケを変化させて２
枚以上の焦点ボケ画像を獲得し、それらより焦点位置を
計算できる。しかし、図１３の部品配置においては、焦
点ボケ画像面７１，７２の焦点合致画像面７０からの距
離の変化に伴い、ボケの変化と同時に対象点Ｐの投影中
心の位置移動も生じるため解析が困難になる。Since the degree of the blur can be mathematically analyzed, the focus-matching image plane 70 of the defocused image planes 71 and 72 can be used.
By changing this blur by changing the distance from
More than one defocused image can be obtained, and the focal position can be calculated from them. However, in the component arrangement shown in FIG. 13, as the distance between the out-of-focus image planes 71 and 72 and the in-focus image plane 70 changes, the position of the projection center of the target point P moves at the same time as the out-of-focus state. It becomes difficult.
【００５７】この焦点ボケ画像面７１，７２の焦点合致
画像面７０からの距離による対象点Ｐの投影中心の位置
ずれをなくした部品配置を図１４に示す。これは、テレ
セントリックレンズと呼ばれ、絞り４８と集光レンズ４
９との距離が焦点距離と等しくなるように配置されてい
る。このテレセントリックレンズにおいて、ボケ関数
（Ｄｅｆｏｃｕｓ ｆｕｎｃｔｉｏｎ、以下ＤＦと略
す）は以下のように記述できる。FIG. 14 shows a component arrangement in which the displacement of the projection center of the target point P due to the distance between the out-of-focus image planes 71 and 72 from the in-focus image plane 70 is eliminated. This is called a telecentric lens, and the diaphragm 48 and the condenser lens 4
9 is arranged so that the distance to the focal length is equal to the focal length. In this telecentric lens, a blur function (hereinafter, abbreviated as DF) can be described as follows.
【００５８】[0058]
【数１】 (Equation 1)
【００５９】ここで、ｘ，ｙは画像上の座標点、αは焦
点ボケ画像面７１の焦点合致画像面７０からの距離、ａ
は絞り４８の開口半径、ｆは焦点距離、IIは円形ステッ
プ関数、ｄは集光レンズ４９から対象点Ｐまでの距離で
ある。また、（１）式のフーリエ変換は次式で表せる。Here, x and y are coordinate points on the image, α is the distance of the out-of-focus image plane 71 from the in-focus image plane 70, and a
Is the aperture radius of the stop 48, f is the focal length, II is a circular step function, and d is the distance from the condenser lens 49 to the target point P. The Fourier transform of the equation (1) can be expressed by the following equation.
【００６０】[0060]
【数２】 (Equation 2)
【００６１】ここで、ｕ、ｖは二次元表面テクスチャの
空間周波数、Ｊ1は一次ベッセル関数である。ボケ程度
の変化量を焦点距離や開口値の変化量と対応させて上記
の関係式を計算すれば、各画素における物体までの光学
経路に沿った距離が求められる。次に、計算した距離と
既知である光学経路より、各画素に対応する対象点の位
置を計算する。これらを全ての画素に対して計算するこ
とによって、対象内壁の三次元形状を復元することがで
きる。Here, u and v are the spatial frequencies of the two-dimensional surface texture, and J1 is the linear Bessel function. If the above relational expression is calculated by associating the amount of change of the degree of blur with the amount of change of the focal length and the aperture value, the distance along the optical path to the object at each pixel is obtained. Next, the position of the target point corresponding to each pixel is calculated from the calculated distance and the known optical path. By calculating these for all pixels, the three-dimensional shape of the target inner wall can be restored.
【００６２】なお、対象点の位置を計算する手法につい
ては、文献「 [1] A. P. Pentland:■A New Sense for
Depth of Field■, IEEE Trans. Pattern Anal. and Ma
chine Intell., Vol. 9, No. 4, pp. 523 - 531, July
1987. [2] S. K. Nayar, Y. Nakagawa:■Shape from F
ocus■, IEEE Trans. Pattern Anal. and Machine Inte
ll., Vol. 16, No. 8, pp. 824 - 831, August 199
4.」に詳細に記載されている。The method of calculating the position of the target point is described in the document [1] AP Pentland: ■ A New Sense for
Depth of Field ■, IEEE Trans.Pattern Anal. And Ma
chine Intell., Vol. 9, No. 4, pp. 523-531, July
1987. [2] SK Nayar, Y. Nakagawa: ■ Shape from F
ocus ■, IEEE Trans. Pattern Anal. and Machine Inte
ll., Vol. 16, No. 8, pp. 824-831, August 199
See section 4. for details.
【００６３】以上の動作により、被観測孔Ａ内壁の画像
がディスプレイ２１に表示される。そして、表示制御手
段４７に対して視方向を指示することによって、表示制
御手段４７はディスプレイ２１に表示させる画像の視方
向を自由に動かすことができる。その結果、被観測孔Ａ
の内部が狭く、挿入管１０の先端１１を自由に動かすこ
とが困難な場合であっても、各視方向からの画像をディ
スプレイ２１に表示させることができる。また、挿入管
１０に物理的可動部分が存在しないので、安全性が高
く、視野移動に時間がかかることもない。With the above operation, an image of the inner wall of the observation hole A is displayed on the display 21. By instructing the display control means 47 to determine the viewing direction, the display control means 47 can freely move the viewing direction of the image displayed on the display 21. As a result, the observed hole A
Can be displayed on the display 21 even when it is difficult to freely move the distal end 11 of the insertion tube 10 because the inside is narrow. In addition, since there is no physically movable part in the insertion tube 10, the safety is high, and it does not take much time to move the visual field.
【００６４】実施の形態３．次に、実施の形態３に係る
内視鏡装置を説明する。図１５は、実施の形態３に係る
内視鏡装置３の構造を示すブロック図である。この実施
の形態３が図２に示す実施の形態１と異なるのは、ハー
フミラー４２とフォーカスレンズ４３との間に、フォー
カスレンズ４３と共に光学部品を構成する絞り４８を備
えている点である。その他の構成については実施の形態
１と同一又は同等である。なお、実施の形態１と同一又
は同等な構成部分については同一符号を付し、その説明
は省略する。Embodiment 3 Next, an endoscope apparatus according to Embodiment 3 will be described. FIG. 15 is a block diagram illustrating a structure of the endoscope device 3 according to the third embodiment. The third embodiment differs from the first embodiment shown in FIG. 2 in that a stop 48 that forms an optical component together with the focus lens 43 is provided between the half mirror 42 and the focus lens 43. Other configurations are the same as or equivalent to the first embodiment. The same or equivalent components as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
【００６５】図１５に示すように、導光ファイバ１４か
ら演算制御部４０内に導出された観測光はハーフミラー
４２を透過して、絞り４８で光量を制限される。そし
て、絞り４８を通過した観測光は、フォーカスレンズ４
３で集光されて、ＣＣＤ素子４５に入射される。ここ
で、絞り４８は、光学パラメータ制御手段４４の制御の
下、光軸方向にリニアに駆動して、焦点深度を少しずつ
変化させている。また、フォーカスレンズ４３は、光学
パラメータ制御手段４４の制御の下、焦点距離を少しず
つ変化させている。その結果、結像条件およびボケ程度
の少しずつ異なる複数の二次元画像がＣＣＤ素子４５で
撮像される。As shown in FIG. 15, the observation light led into the arithmetic and control unit 40 from the light guide fiber 14 passes through the half mirror 42, and the amount of light is limited by the stop 48. The observation light passing through the stop 48 is transmitted to the focus lens 4
The light is condensed at 3 and is incident on the CCD element 45. Here, the diaphragm 48 is driven linearly in the optical axis direction under the control of the optical parameter control means 44 to gradually change the depth of focus. The focus lens 43 changes the focal length little by little under the control of the optical parameter control means 44. As a result, a plurality of two-dimensional images slightly different from each other in the imaging conditions and the degree of blurring are captured by the CCD element 45.
【００６６】ＣＣＤ素子４５で撮像された複数の二次元
画像は、画像処理手段４６に入力される。画像処理手段
４６では、これらの二次元画像間における焦点の合った
位置およびボケ程度の変化量から、被観測孔Ａの各部位
の三次元形状モデルを求める。画像処理手段４６で求め
られた三次元形状モデルは、表示制御手段４７に与えら
れ、表示制御手段４７ではこれらの三次元形状モデルか
ら被観測孔Ａの画像を作成してディスプレイ２１に表示
させる。ディスプレイ２１に表示される画像は、被観測
孔Ａの画像に付加情報が統合された画像でもよい。例え
ば、形状や色彩の統計情報を統合した画像や、ユーザが
計算機あるいは制御ノブ２２から入力したマーキングな
どの情報を統合した画像などでよい。A plurality of two-dimensional images picked up by the CCD element 45 are input to the image processing means 46. The image processing means 46 obtains a three-dimensional model of each part of the observed hole A from the in-focus position between these two-dimensional images and the amount of change of the degree of blur. The three-dimensional shape model obtained by the image processing means 46 is given to the display control means 47, and the display control means 47 creates an image of the observation hole A from these three-dimensional shape models and displays the image on the display 21. The image displayed on the display 21 may be an image in which additional information is integrated with the image of the observation hole A. For example, an image in which statistical information of shapes and colors is integrated, or an image in which information such as marking input by a user from a computer or the control knob 22 may be integrated.
【００６７】以上の動作により、被観測孔Ａ内壁の画像
がディスプレイ２１に表示される。そして、表示制御手
段４７に対して視方向を指示することによって、表示制
御手段４７はディスプレイ２１に表示させる画像の視方
向を自由に動かすことができる。その結果、被観測孔Ａ
の内部が狭く、挿入管１０の先端１１を自由に動かすこ
とが困難な場合であっても、各視方向からの画像をディ
スプレイ２１に表示させることができる。また、挿入管
１０に物理的可動部分が存在しないので、安全性が高
く、視野移動に時間がかかることもない。By the above operation, an image of the inner wall of the hole to be observed A is displayed on the display 21. By instructing the display control means 47 to determine the viewing direction, the display control means 47 can freely move the viewing direction of the image displayed on the display 21. As a result, the observed hole A
Can be displayed on the display 21 even when it is difficult to freely move the distal end 11 of the insertion tube 10 because the inside is narrow. In addition, since there is no physically movable part in the insertion tube 10, the safety is high, and it does not take much time to move the visual field.
【００６８】実施の形態４．次に、実施の形態４に係る
内視鏡装置を説明する。図１６は、実施の形態４に係る
内視鏡装置４の構造を示すブロック図である。なお、実
施の形態１と同一又は同等な構成部分については同一符
号を付し、その説明は省略する。Embodiment 4 Next, an endoscope apparatus according to Embodiment 4 will be described. FIG. 16 is a block diagram showing the structure of the endoscope device 4 according to the fourth embodiment. The same or equivalent components as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
【００６９】図１６に示すように、内視鏡装置４は、被
観測孔Ａに先端１１を挿入させて、被観測孔Ａの内壁で
反射した観測光を先端１１から基端１２に導く挿入管１
０と、挿入管１０の基端１２が固定され、ユーザへのシ
ステム操作のインタフェースを提供する本体部２０と、
挿入管１０から導出された観測光を処理して、複数枚の
二次元画像から三次元形状モデルを作成する演算制御部
４０と、本体部２０と演算制御部４０とを光学的及び電
気的に接続する接続ケーブル３０とを備えている。As shown in FIG. 16, the endoscope apparatus 4 has the distal end 11 inserted into the observation hole A, and guides the observation light reflected on the inner wall of the observation hole A from the distal end 11 to the base end 12. Tube 1
0, a main body 20 to which the proximal end 12 of the insertion tube 10 is fixed and which provides an interface for system operation to a user;
An arithmetic control unit 40 that processes observation light derived from the insertion tube 10 to create a three-dimensional shape model from a plurality of two-dimensional images, and that the main unit 20 and the arithmetic control unit 40 are optically and electrically connected. And a connection cable 30 for connection.
【００７０】挿入管１０の先端１１には、魚眼レンズあ
るいはそれに類似した球面形状を有する集光レンズ（広
視野レンズ）１３が組み込まれている（図４参照）。こ
のように、挿入管１０の先端１１に集光レンズ１３を組
み込むことにより、広い視野範囲の観測光を挿入管１０
に導入させることができる。なお、集光レンズ１３の代
わりに、図１０に示すような多層構造の集光レンズ１６
が組み込まれていてもよい。この場合にも、集光レンズ
１３と同様、広い視野範囲の観測光を挿入管１０に導入
させることができる。A condensing lens (wide-field lens) 13 having a spherical shape similar to a fish-eye lens or a fish-eye lens is incorporated in the distal end 11 of the insertion tube 10 (see FIG. 4). As described above, by incorporating the condenser lens 13 at the distal end 11 of the insertion tube 10, observation light in a wide field of view can be obtained.
Can be introduced. Instead of the condenser lens 13, a condenser lens 16 having a multilayer structure as shown in FIG.
May be incorporated. Also in this case, similarly to the condenser lens 13, observation light in a wide visual field range can be introduced into the insertion tube 10.
【００７１】また、本体部２０は、挿入管１０から導出
された導光ファイバ１４と、被観測孔Ａの画像を表示す
るディスプレイ２１とを備えている。さらに、演算制御
部４０は、白色光や紫外線レーザ光など照射光を出射す
る光源４１と、光源４１からの照射光を挿入管１０の基
端１２に向けて反射させると共に、挿入管１０の基端１
２から導出された観測光を透過させるハーフミラー４２
と、ハーフミラー４２を透過した観測光を集光させる集
光レンズ４９と、集光レンズ４９で集光された観測光を
受光して、この観測光による二次元画像を撮像するＣＣ
Ｄ素子４５とを備えている。The main body 20 includes a light guide fiber 14 led out from the insertion tube 10 and a display 21 for displaying an image of the observation hole A. Further, the arithmetic and control unit 40 includes a light source 41 that emits irradiation light such as white light or ultraviolet laser light, reflects the irradiation light from the light source 41 toward the base end 12 of the insertion tube 10, and Edge 1
Half mirror 42 for transmitting observation light derived from 2
And a condenser lens 49 for condensing the observation light transmitted through the half mirror 42, and a CC for receiving the observation light condensed by the condenser lens 49 and capturing a two-dimensional image based on the observation light.
And a D element 45.
【００７２】また、演算制御部４０は、図１７（ａ）に
示すような略球形状のワイヤフレームモデル（フレーム
モデル）Ｂを記憶するフレームモデル記憶手段７０と、
ＣＣＤ素子４５で撮像された二次元画像を入力して、こ
の二次元画像をワイヤフレームモデルＢに貼付して被観
測孔Ａの三次元形状モデルを作成する画像処理手段７１
と、画像処理手段７１で求めた三次元形状モデルに基づ
いて、所定の視点からの画像を作成してディスプレイ２
１に表示させる表示制御手段４７とを備えている。The arithmetic control unit 40 includes a frame model storage means 70 for storing a substantially spherical wire frame model (frame model) B as shown in FIG.
Image processing means 71 for inputting a two-dimensional image picked up by the CCD element 45 and attaching the two-dimensional image to a wire frame model B to create a three-dimensional shape model of the observed hole A
And an image from a predetermined viewpoint based on the three-dimensional shape model obtained by the image processing means 71, and
1 is provided with a display control means 47 for causing the display unit 1 to display.
【００７３】なお、フレームモデル記憶手段７０を用い
ずに、画像処理手段７１でその都度ワイヤフレームモデ
ルＢを作成してもよい。The wireframe model B may be created each time by the image processing means 71 without using the frame model storage means 70.
【００７４】次に、実施の形態４に係る内視鏡装置４の
動作について、図１６、図１７（ａ）（ｂ）を用いて説
明する。光源４１から出射した照射光は、ハーフミラー
４２で反射して、導光ファイバ１４に導入される。導光
ファイバ１４を進行した照射光は集光レンズ１３で拡げ
られ、挿入管１０の先端１１から広範囲に照射される。
この広範囲の照射光によって被観測孔Ａが照らし出さ
れ、被観測孔Ａで反射した観測光が集光レンズ１３に入
射される。Next, the operation of the endoscope apparatus 4 according to the fourth embodiment will be described with reference to FIGS. 16, 17A and 17B. Irradiation light emitted from the light source 41 is reflected by the half mirror 42 and introduced into the light guide fiber 14. The irradiation light that has traveled through the light guide fiber 14 is expanded by the condenser lens 13 and is irradiated from the distal end 11 of the insertion tube 10 over a wide range.
The observation hole A is illuminated by the irradiation light of a wide range, and the observation light reflected by the observation hole A is incident on the condenser lens 13.
【００７５】集光レンズ１３では観測光を集光させて、
挿入管１０に導入させる。挿入管１０内を進行した観測
光は、導光ファイバ１４から演算制御部４０に導出さ
れ、ハーフミラー４２を透過する。そして、ハーフミラ
ー４２を透過した観測光は集光レンズ４９で集光され
て、ＣＣＤ素子４５に入射される。The condensing lens 13 condenses the observation light,
It is introduced into the insertion tube 10. The observation light traveling inside the insertion tube 10 is guided from the light guide fiber 14 to the arithmetic and control unit 40 and passes through the half mirror 42. Then, the observation light transmitted through the half mirror 42 is condensed by the condenser lens 49 and is incident on the CCD element 45.
【００７６】ＣＣＤ素子４５で撮像された二次元画像
は、画像処理手段７１に入力される。画像処理手段７１
では、フレームモデル記憶手段７０からワイヤフレーム
モデルＢを読み出して、このワイヤフレームモデルＢに
二次元画像を貼付する。ここで、ワイヤフレームモデル
Ｂは、集光レンズ４９の焦点Ｑからの距離が等しくなる
点群より構成される曲面を用いたモデルである。The two-dimensional image picked up by the CCD element 45 is input to the image processing means 71. Image processing means 71
Then, the wire frame model B is read from the frame model storage means 70, and a two-dimensional image is attached to the wire frame model B. Here, the wire frame model B is a model using a curved surface composed of a group of points at which the distance from the focal point Q of the condenser lens 49 is equal.
【００７７】即ち、図１７（ｂ）に示すように、ワイヤ
フレームモデルＢの中心と集光レンズ４９の焦点Ｑとを
一致させて、ワイヤフレームモデルＢの内面に観測光を
投影させれば、全ての観測光がワイヤフレームモデルＢ
の内面に対して垂直に入射することとなり、歪みのない
画像が得られる。しかしながら、実際には、平らな受光
面のＣＣＤ素子４５で観測光を受光しているので、観測
光の入射角度が斜めになり、ＣＣＤ素子４５で撮像され
た画像には歪みが生じてしまう。That is, as shown in FIG. 17B, if the center of the wire frame model B and the focal point Q of the condenser lens 49 are made to coincide with each other and the observation light is projected on the inner surface of the wire frame model B, All observation light is wireframe model B
Is perpendicularly incident on the inner surface of the lens, and an image without distortion can be obtained. However, since the observation light is actually received by the CCD element 45 having a flat light receiving surface, the incident angle of the observation light becomes oblique, and the image captured by the CCD element 45 is distorted.
【００７８】そこで、ＣＣＤ素子４５で撮像した二次元
画像を、画像処理手段７１によってワイヤフレームモデ
ルＢに貼付させることにより、ＣＣＤ素子４５で生じた
画像の歪みを効果的に矯正させているのである。その結
果、集光レンズ４９の焦点Ｑを通過した観測光をワイヤ
フレームモデルＢの内面に投影させるのと同様の画像が
作成でき、ほとんど歪みのない三次元形状モデルが得ら
れる。そして、この三次元形状モデルに対しては、画像
補間などの処理の必要もなく、高い処理性能が得られ
る。Therefore, the two-dimensional image picked up by the CCD element 45 is attached to the wire frame model B by the image processing means 71, thereby effectively correcting the image distortion caused by the CCD element 45. . As a result, an image similar to that in which the observation light passing through the focal point Q of the condenser lens 49 is projected on the inner surface of the wire frame model B can be created, and a three-dimensional model with almost no distortion can be obtained. Then, high processing performance can be obtained for this three-dimensional shape model without the need for processing such as image interpolation.
【００７９】画像処理手段７１で求めた三次元形状モデ
ルは、表示制御手段４７に与えられ、表示制御手段４７
ではこれらの三次元形状モデルから被観測孔Ａの画像を
作成してディスプレイ２１に表示させる。ここで、ディ
スプレイ２１に表示される画像は、その視方向（視野Ｃ
の位置）や視野範囲（視野Ｃの大きさ）などを自由に変
更することができる。The three-dimensional shape model obtained by the image processing means 71 is given to the display control means 47,
Then, an image of the observation hole A is created from these three-dimensional shape models and displayed on the display 21. Here, the image displayed on the display 21 is based on the viewing direction (field of view C).
) And the range of the visual field (the size of the visual field C) can be freely changed.
【００８０】その結果、被観測孔Ａの内部が狭く、挿入
管１０の先端１１を自由に動かすことが困難な場合であ
っても、各視方向からの画像をディスプレイ２１に表示
させることができる。また、挿入管１０に物理的可動部
分が存在しないので、安全性が高く、視野移動に時間が
かかることもない。さらに、挿入管１０の先端１１に集
光レンズ１３が組み込まれているので、広視野で被観測
孔Ａを観測することができ、観測性能が向上する。As a result, even when the inside of the observation hole A is narrow and it is difficult to freely move the distal end 11 of the insertion tube 10, images from each viewing direction can be displayed on the display 21. . In addition, since there is no physically movable part in the insertion tube 10, the safety is high, and it does not take much time to move the visual field. Further, since the condenser lens 13 is incorporated in the distal end 11 of the insertion tube 10, the observation hole A can be observed in a wide field of view, and the observation performance is improved.
【００８１】なお、上述した各実施の形態において、画
像処理手段４６，７１で形成する三次元形状モデルは、
Ｓｕｒｆａｃｅデータであってもよく、Ｖｏｘｅｌデー
タであってもよい。また、三次元形状モデルに対して、
付加情報を統合したものでもよく、さらに、ディスプレ
イ２１に表示される画像は、三次元形状モデルを移動、
回転、拡大／縮小したもの、或いはその全部や一部を非
表示ないし半透明表示するなどの加工をしたものであっ
てもよい。In each of the above embodiments, the three-dimensional model formed by the image processing means 46 and 71 is
It may be Surface data or Voxel data. Also, for a three-dimensional shape model,
The additional information may be integrated, and the image displayed on the display 21 moves the three-dimensional shape model,
It may be processed by rotating, enlarging / reducing, or displaying all or a part of it in a non-display or translucent manner.
【００８２】また、上述した各実施の形態で開示した技
術は、医学／医療分野あるいは工業／工学分野の視認や
三次元空間理解に労力を要する手術／治療／検査におけ
る支援システムなどへの応用において効果を発揮する。
具体例として、眼球手術における眼底三次元像の形成に
よる検査／手術支援システム、内視鏡手術や腹腔鏡手術
における腹部内画像構成による手術支援システム、或い
は航空機の動力部などの検査支援システムなどがある。Further, the technology disclosed in each of the above embodiments is applied to a support system in surgery / treatment / examination which requires labor for visual recognition and three-dimensional space understanding in the medical / medical field or the industrial / engineering field. It is effective.
Specific examples include an examination / surgery support system based on the formation of a three-dimensional fundus image in eye surgery, an surgery support system based on intra-abdominal image configuration in endoscopic surgery and laparoscopic surgery, and an examination support system for a power unit of an aircraft. is there.
【００８３】これらの応用において、本実施の形態は以
下の効果を持つ。（１）対象の外部観測画像上に内部の
半透明画像を重ねて表示できる。ユーザにユーザ位置か
ら見たときの透視画像を提示することで、ユーザはあた
かもその物体を透視しているかのように、容易に作業を
行える。（２）仮想視点からの画像が得られる。例え
ば、視線と直交する方向から見た画像を表示し、側方向
から見た対象形状や対象に対する内視鏡や処置具の奥行
き位置情報を得るなど、ユーザは従来には得られなかっ
た情報を確認しながら作業することができる。（３）上
記情報に加え、様々な付加情報、例えば物体表面曲率や
表面画像のフラクタル次元などの定量情報をモデルに追
加し、その情報を参照しながら作業することができる。
その際、従来のように付加情報と作業画像とを交互に参
照する必要がなく、ユーザは、あたかも対象表面にその
付加情報が描かれているかのような感覚で作業を行え
る。In these applications, the present embodiment has the following effects. (1) An internal translucent image can be superimposed and displayed on a target external observation image. By presenting a perspective image as viewed from the user position to the user, the user can easily work as if he / she were looking through the object. (2) An image from a virtual viewpoint is obtained. For example, an image viewed from a direction orthogonal to the line of sight is displayed, and a user can obtain information that has not been obtained conventionally, such as obtaining a target shape viewed from a side direction and depth position information of an endoscope or a treatment tool with respect to the target. You can work while checking. (3) In addition to the above information, various additional information, for example, quantitative information such as the curvature of the object surface and the fractal dimension of the surface image can be added to the model, and the user can work while referring to the information.
At this time, there is no need to alternately refer to the additional information and the work image as in the related art, and the user can work as if the additional information were drawn on the target surface.
【００８４】[0084]
【発明の効果】本発明による内視鏡装置は、以上のよう
に構成されているため次のような効果を得ることができ
る。即ち、撮像手段で作成された複数の二次元画像に基
づいて、被観測対象の三次元形状モデルが作成され、こ
の三次元形状モデルに対しては異なる視点の方向から観
測することが可能であるので、被観測対象の死角を取り
除くことができ、観測視野範囲が拡がる。その結果、観
測不能領域が大幅に減少して、従来では得られなかった
視方向からの画像取得が可能になる。Since the endoscope apparatus according to the present invention is configured as described above, the following effects can be obtained. That is, a three-dimensional shape model of the observation target is created based on the plurality of two-dimensional images created by the imaging unit, and the three-dimensional shape model can be observed from different viewpoint directions. Therefore, the blind spot of the observation target can be removed, and the observation field of view can be expanded. As a result, the unobservable region is greatly reduced, and an image can be obtained from a viewing direction that has not been obtained conventionally.
【００８５】また、挿入管にメカニカルな可動部分が存
在しないので、安全性が高く、視野移動に時間がかかる
こともない。さらに、挿入管の先端に広視野レンズが組
み込まれていれば、広視野で被観測対象を観測すること
ができ、観測性能が向上する。さらにまた、撮像素子の
受光面の画素密度を、中央部分に比べて周辺部分を高く
すれば、周辺部分の画像の分解能が向上する。Further, since there is no mechanically movable part in the insertion tube, the safety is high, and it does not take much time to move the visual field. Furthermore, if a wide-field lens is incorporated at the tip of the insertion tube, the observation target can be observed in a wide field of view, and the observation performance is improved. Furthermore, if the pixel density on the light receiving surface of the image sensor is higher in the peripheral portion than in the central portion, the resolution of the image in the peripheral portion is improved.
【００８６】また、単一の光学経路で三次元形状計測を
行っているため、従来の三次元距離あるいは形状計測機
能を備える内視鏡装置と比べて、内視鏡径を小さくでき
る。さらに、広視野での計測による形状計測を一度に行
え、且つその中での内視鏡の位置姿勢は一意に定まるた
め、対象内部のオリエンテーション（方位感覚）を付け
易く、容易にその全体像を把握できる。また、大局的な
データ解析や、時空間的に異なるデータの統合も可能で
ある。Further, since the three-dimensional shape measurement is performed using a single optical path, the diameter of the endoscope can be reduced as compared with a conventional endoscope apparatus having a three-dimensional distance or shape measurement function. Furthermore, since the shape measurement by measurement in a wide field of view can be performed at a time, and the position and orientation of the endoscope in it are uniquely determined, it is easy to give an orientation (sense of direction) inside the object, and the entire image can be easily obtained. I can understand. In addition, global data analysis and integration of data that differs spatiotemporally are also possible.
【図１】実施の形態１に係る内視鏡装置の外観を示す斜
視図である。FIG. 1 is a perspective view showing an appearance of an endoscope apparatus according to a first embodiment.
【図２】実施の形態１に係る内視鏡装置の構造を示すブ
ロック図である。FIG. 2 is a block diagram showing a structure of the endoscope apparatus according to the first embodiment.
【図３】光学パラメータ制御手段を示すブロック図であ
る。FIG. 3 is a block diagram showing optical parameter control means.
【図４】挿入管の先端を示す断面図である。FIG. 4 is a sectional view showing a distal end of an insertion tube.
【図５】（ａ）は、ＣＣＤ素子の受光面の画素配列を示
す図である。（ｂ）は、ＣＣＤ素子の受光面に対する観
測光の照射を示す図である。FIG. 5A is a diagram showing a pixel array on a light receiving surface of a CCD element. (B) is a diagram showing irradiation of observation light on a light receiving surface of the CCD element.
【図６】（ａ）は、ＣＣＤ素子の受光面に対する観測光
の照射を示す図である。（ｂ）は、ＣＣＤ素子の他の例
を示す図である。FIG. 6A is a diagram showing irradiation of observation light on a light receiving surface of a CCD element. (B) is a figure which shows other examples of a CCD element.
【図７】画像処理手段を示すブロック図である。FIG. 7 is a block diagram illustrating an image processing unit.
【図８】（ａ）は、複数の二次元画像における点群を示
す図である。（ｂ）は、複数の点群を三次元空間に配置
した状態を示す図である。FIG. 8A is a diagram illustrating a point cloud in a plurality of two-dimensional images. (B) is a diagram showing a state in which a plurality of point groups are arranged in a three-dimensional space.
【図９】複数の点群に面を貼付して得られた三次元形状
モデルを示す斜視図である。FIG. 9 is a perspective view showing a three-dimensional model obtained by attaching surfaces to a plurality of point clouds.
【図１０】挿入管の先端を示す断面図である。FIG. 10 is a sectional view showing a distal end of the insertion tube.
【図１１】（ａ）は、屈折現象の原理を示す図である。
（ｂ）（ｃ）は、多重屈折構造を示す図である。FIG. 11A is a diagram illustrating the principle of the refraction phenomenon.
(B), (c) is a figure which shows a multiple refraction structure.
【図１２】実施の形態２に係る内視鏡装置の構造を示す
ブロック図である。FIG. 12 is a block diagram showing a structure of an endoscope device according to a second embodiment.
【図１３】絞りと集光レンズとの関係を示す図である。FIG. 13 is a diagram showing a relationship between a stop and a condenser lens.
【図１４】絞りと集光レンズとの関係を示す図である。FIG. 14 is a diagram showing a relationship between a stop and a condenser lens.
【図１５】実施の形態３に係る内視鏡装置の構造を示す
ブロック図である。FIG. 15 is a block diagram showing a structure of an endoscope device according to a third embodiment.
【図１６】実施の形態４に係る内視鏡装置の構造を示す
ブロック図である。FIG. 16 is a block diagram showing a structure of an endoscope apparatus according to Embodiment 4.
【図１７】（ａ）は、略球形状のワイヤフレームモデル
を示す図である。（ｂ）は、ワイヤフレームモデルに貼
付した二次元画像を示す図である。FIG. 17A is a diagram showing a substantially spherical wire frame model. (B) is a figure which shows the two-dimensional image stuck on the wire frame model.
【図１８】従来の内視鏡装置を用いて被観測対象を観測
する様子を示す図である。FIG. 18 is a diagram showing a state of observing an observation target using a conventional endoscope apparatus.
【図１９】従来の内視鏡装置の外観を示す斜視図であ
る。FIG. 19 is a perspective view showing the appearance of a conventional endoscope device.
【図２０】従来の内視鏡装置の動作を示す図である。FIG. 20 is a diagram showing the operation of a conventional endoscope device.
【図２１】従来の内視鏡装置の動作を示す図である。FIG. 21 is a view showing the operation of a conventional endoscope device.
【図２２】（ａ）は、三次元形状色彩モデルを示す図で
ある。（ｂ）は、二次元観測画像を示す図である。
（ｃ）（ｄ）は、二次元推定画像を示す図である。FIG. 22A is a diagram illustrating a three-dimensional shape color model. (B) is a figure which shows a two-dimensional observation image.
(C), (d) is a figure which shows a two-dimensional estimation image.
１，２，３，４…内視鏡装置、１０…挿入管、１３，１
６…集光レンズ（広視野レンズ）、４３…フォーカスレ
ンズ（光学部品）、４３ａ…導光レンズ（拡散レン
ズ）、４４…光学パラメータ制御手段、４５…ＣＣＤ素
子（撮像素子）、４６…画像処理手段、４６ａ…色彩画
像作成部、４８…絞り（光学部品）、Ａ…被観測孔（被
観測対象）、Ｂ…ワイヤフレームモデル（フレームモデ
ル）。1, 2, 3, 4 ... endoscope device, 10 ... insertion tube, 13, 1
6: Condensing lens (wide-field lens), 43: Focus lens (optical component), 43a: Light guide lens (diffusion lens), 44: Optical parameter control means, 45: CCD element (imaging element), 46: Image processing Means, 46a: color image creation unit, 48: stop (optical component), A: observation hole (observation target), B: wire frame model (frame model).
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ａ６１Ｂ 1/31 Ｇ０２Ｂ 23/24 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 6 Identification code FI A61B 1/31 G02B 23/24
Claims (15)
観測対象からの観測光を先端から基端に導く挿入管と、 前記挿入管の基端から導出された観測光による二次元画
像を撮像する撮像素子と、 前記挿入管と前記撮像素子との間の観測光の光路上に設
けられ、この観測光の集光条件を調整する光学部品と、 前記光学部品の光学パラメータを変更する光学パラメー
タ制御手段と、 前記光学パラメータ制御手段で光学パラメータを変更し
ながら撮像された複数の二次元画像を前記撮像素子から
入力して、これらの二次元画像に基づいて前記被観測対
象の三次元形状モデルを作成する画像処理手段とを備え
ることを特徴とする内視鏡装置。1. An insertion tube for inserting an end into an object to be observed and guiding observation light from the object to be observed from the end to a base end, and a two-dimensional image by observation light derived from a base end of the insertion tube. An image pickup device that picks up an image, an optical component that is provided on an optical path of observation light between the insertion tube and the image pickup device, and adjusts a focusing condition of the observation light, and changes an optical parameter of the optical component. Optical parameter control means, a plurality of two-dimensional images taken while changing optical parameters in the optical parameter control means are input from the image sensor, and three-dimensional images of the object to be observed are obtained based on these two-dimensional images. An endoscope apparatus comprising: an image processing unit that creates a shape model.
と共に、前記光学パラメータ制御手段で変更する光学パ
ラメータが焦点距離であり、 前記画像処理手段は、前記光学パラメータ制御手段で焦
点距離を変更しながら撮像された複数の二次元画像を前
記撮像素子から入力して、これらの二次元画像に基づい
て前記被観測対象の三次元形状モデルを作成することを
特徴とする請求項１記載の内視鏡装置。2. The optical component is a focus lens, an optical parameter to be changed by the optical parameter control means is a focal length, and the image processing means captures an image while changing the focal length by the optical parameter control means. 2. The endoscope apparatus according to claim 1, wherein a plurality of the obtained two-dimensional images are input from the image sensor, and a three-dimensional shape model of the observation target is created based on the two-dimensional images. .
画像の焦点の合った部位の情報に基づいて前記被観測対
象の三次元形状モデルを作成することを特徴とする請求
項２記載の内視鏡装置。3. The image processing device according to claim 2, wherein the image processing unit creates a three-dimensional shape model of the observation target based on information on a focused part of the plurality of two-dimensional images. Endoscope device.
光学パラメータ制御手段で変更する光学パラメータが焦
点深度であり、 前記画像処理手段は、前記光学パラメータ制御手段で焦
点深度を変更しながら撮像された複数の二次元画像を前
記撮像素子から入力して、これらの二次元画像に基づい
て前記被観測対象の三次元形状モデルを作成することを
特徴とする請求項１記載の内視鏡装置。4. The optical component is a stop, and the optical parameter changed by the optical parameter control means is a depth of focus. The image processing means is imaged while changing the depth of focus by the optical parameter control means. The endoscope apparatus according to claim 1, wherein the plurality of two-dimensional images are input from the imaging device, and the three-dimensional shape model of the observation target is created based on the two-dimensional images.
画像間におけるボケ程度の変化量の情報に基づいて前記
被観測対象の三次元形状モデルを作成することを特徴と
する請求項４記載の内視鏡装置。5. The apparatus according to claim 4, wherein the image processing means creates a three-dimensional model of the observation target based on information on a change amount of a degree of blur between the plurality of two-dimensional images. Endoscope device.
絞りであると共に、前記光学パラメータ制御手段で変更
する光学パラメータが前記フォーカスレンズの焦点距離
および前記絞りの焦点深度であり、 前記画像処理手段は、前記光学パラメータ制御手段で焦
点距離および焦点深度を変更しながら撮像された複数の
二次元画像を前記撮像素子から入力して、これらの二次
元画像に基づいて前記被観測対象の三次元形状モデルを
作成することを特徴とする請求項１記載の内視鏡装置。6. The optical component is a focus lens and a diaphragm, and optical parameters to be changed by the optical parameter control means are a focal length of the focus lens and a depth of focus of the diaphragm. A plurality of two-dimensional images captured while changing the focal length and the focal depth by the optical parameter control means are input from the image sensor, and the three-dimensional shape model of the observation target is created based on these two-dimensional images. The endoscope apparatus according to claim 1, wherein
画像の焦点の合った部位の情報と、前記複数の二次元画
像間におけるボケ程度の変化量の情報とに基づいて前記
被観測対象の三次元形状モデルを作成することを特徴と
する請求項６記載の内視鏡装置。7. The object to be observed based on information on a focused part of the plurality of two-dimensional images and information on a change amount of a degree of blur between the plurality of two-dimensional images. The endoscope apparatus according to claim 6, wherein the three-dimensional shape model is created.
観測対象からの観測光を先端から基端に導く挿入管と、 前記挿入管の基端から導出された観測光による二次元画
像を撮像する撮像素子と、 前記撮像素子で撮像された二次元画像を略球形状のフレ
ームモデルに貼付して三次元形状モデルを作成する画像
処理手段とを備えることを特徴とする内視鏡装置。8. An insertion tube which inserts a tip into an object to be observed to guide observation light from the object to be observed from the tip to a base end, and a two-dimensional image formed by observation light derived from the base end of the insertion tube. An endoscope apparatus comprising: an imaging device that captures an image; and an image processing unit that creates a three-dimensional shape model by attaching a two-dimensional image captured by the imaging device to a substantially spherical frame model. .
からの観測光を広範囲に導入する広視野レンズが設けら
れていることを特徴とする請求項１から請求項８のいず
れか一項に記載の内視鏡装置。9. A wide-field lens for introducing observation light from the object to be observed into a wide area at a tip of the insertion tube. An endoscope apparatus according to the item.
であることを特徴とする請求項９記載の内視鏡装置。10. The endoscope apparatus according to claim 9, wherein the wide-field lens is a spherical lens.
ズであることを特徴とする請求項９記載の内視鏡装置。11. The endoscope apparatus according to claim 9, wherein the wide-field lens is a lens having a multilayer structure.
比べて周辺部分の画素密度が高いことを特徴とする請求
項１から請求項１１のいずれか一項に記載の内視鏡装
置。12. The endoscope apparatus according to claim 1, wherein the light receiving surface of the image sensor has a higher pixel density in a peripheral portion than in a central portion.
曲していることを特徴とする請求項１から請求項１１の
いずれか一項に記載の内視鏡装置。13. The endoscope apparatus according to claim 1, wherein a light receiving surface of the image sensor is curved in a spherical shape.
間の光路上には、観測光を拡散させる拡散レンズが設け
られ、前記撮像素子の受光面は、前記拡散レンズで拡散
された観測光を略垂直に入射させるように、球面状に湾
曲していることを特徴とする請求項１から請求項１１の
いずれか一項に記載の内視鏡装置。14. A diffusion lens for diffusing observation light is provided on an optical path between a base end of the insertion tube and the imaging device, and a light receiving surface of the imaging device is diffused by the diffusion lens. The endoscope apparatus according to any one of claims 1 to 11, wherein the endoscope apparatus is curved in a spherical shape so that the observation light is incident substantially perpendicularly.
各画素における輝度に基づいた色彩データを抽出し、こ
れらの色彩データを用いて前記三次元形状モデルに着色
する色彩画像作成部を備えることを特徴とする請求項１
から請求項１４のいずれか一項に記載の内視鏡装置。15. The image processing device according to claim 1, further comprising: a color image creating unit that extracts color data based on luminance of each pixel of the image sensor and colors the three-dimensional model using the color data. Claim 1 characterized by the following:
The endoscope apparatus according to any one of claims 1 to 14.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10142808A JPH11337845A (en) | 1998-05-25 | 1998-05-25 | Endoscope device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10142808A JPH11337845A (en) | 1998-05-25 | 1998-05-25 | Endoscope device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11337845A true JPH11337845A (en) | 1999-12-10 |
Family
ID=15324125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10142808A Pending JPH11337845A (en) | 1998-05-25 | 1998-05-25 | Endoscope device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11337845A (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002071794A1 (en) * | 2001-03-02 | 2002-09-12 | 3Shape Aps | Method for modelling customised earpieces |
| WO2004075742A1 (en) * | 2003-02-28 | 2004-09-10 | Riken | Hollow organ blood vessel extracting method, hollow organ blood vessel extraction processing program and image processing device |
| WO2005032355A1 (en) * | 2003-10-06 | 2005-04-14 | Emaki Incorporated | Luminal organ diagnosing device |
| WO2007102296A1 (en) * | 2006-03-08 | 2007-09-13 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| WO2007102295A1 (en) * | 2006-03-08 | 2007-09-13 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| WO2007111050A1 (en) | 2006-03-28 | 2007-10-04 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| WO2007139187A1 (en) | 2006-05-31 | 2007-12-06 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
| WO2008044365A1 (en) * | 2006-10-12 | 2008-04-17 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| WO2009013922A1 (en) | 2007-07-26 | 2009-01-29 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| WO2009069394A1 (en) * | 2007-11-29 | 2009-06-04 | Olympus Medical Systems Corp. | Endoscope system |
| US7625335B2 (en) | 2000-08-25 | 2009-12-01 | 3Shape Aps | Method and apparatus for three-dimensional optical scanning of interior surfaces |
| US8032337B2 (en) | 2001-03-02 | 2011-10-04 | 3Shape A/S | Method for modeling customized earpieces |
| US8086005B2 (en) | 2006-03-08 | 2011-12-27 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
| WO2020203405A1 (en) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | Medical observation system and method, and medical observation device |
| JPWO2021141048A1 (en) * | 2020-01-07 | 2021-07-15 |
-
1998
- 1998-05-25 JP JP10142808A patent/JPH11337845A/en active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7625335B2 (en) | 2000-08-25 | 2009-12-01 | 3Shape Aps | Method and apparatus for three-dimensional optical scanning of interior surfaces |
| WO2002071794A1 (en) * | 2001-03-02 | 2002-09-12 | 3Shape Aps | Method for modelling customised earpieces |
| US8032337B2 (en) | 2001-03-02 | 2011-10-04 | 3Shape A/S | Method for modeling customized earpieces |
| WO2004075742A1 (en) * | 2003-02-28 | 2004-09-10 | Riken | Hollow organ blood vessel extracting method, hollow organ blood vessel extraction processing program and image processing device |
| WO2005032355A1 (en) * | 2003-10-06 | 2005-04-14 | Emaki Incorporated | Luminal organ diagnosing device |
| JP2007236630A (en) * | 2006-03-08 | 2007-09-20 | Olympus Medical Systems Corp | Medical image processor and medical image processing method |
| WO2007102295A1 (en) * | 2006-03-08 | 2007-09-13 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| US8165367B2 (en) | 2006-03-08 | 2012-04-24 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method having three-dimensional model estimating |
| US8086005B2 (en) | 2006-03-08 | 2011-12-27 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
| WO2007102296A1 (en) * | 2006-03-08 | 2007-09-13 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| JP2007236629A (en) * | 2006-03-08 | 2007-09-20 | Olympus Medical Systems Corp | Medical image processor and medical image processing method |
| WO2007111050A1 (en) | 2006-03-28 | 2007-10-04 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| US7830378B2 (en) | 2006-03-28 | 2010-11-09 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
| US9247865B2 (en) | 2006-05-31 | 2016-02-02 | National University Corporation Chiba University | Three-dimensional-image forming device, three dimensional-image forming method and program |
| WO2007139187A1 (en) | 2006-05-31 | 2007-12-06 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
| WO2008044365A1 (en) * | 2006-10-12 | 2008-04-17 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| JP2009028248A (en) * | 2007-07-26 | 2009-02-12 | Olympus Medical Systems Corp | Medical image processing apparatus and medical image processing method |
| WO2009013922A1 (en) | 2007-07-26 | 2009-01-29 | Olympus Medical Systems Corp. | Medical image processing device and medical image processing method |
| US8121369B2 (en) | 2007-07-26 | 2012-02-21 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
| EP2172147A4 (en) * | 2007-07-26 | 2017-01-25 | Olympus Corporation | Medical image processing device and medical image processing method |
| WO2009069394A1 (en) * | 2007-11-29 | 2009-06-04 | Olympus Medical Systems Corp. | Endoscope system |
| JP5085662B2 (en) * | 2007-11-29 | 2012-11-28 | オリンパスメディカルシステムズ株式会社 | Endoscope system |
| US8147402B2 (en) | 2007-11-29 | 2012-04-03 | Olympus Medical Systems Corp. | Endoscope system |
| WO2020203405A1 (en) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | Medical observation system and method, and medical observation device |
| JPWO2021141048A1 (en) * | 2020-01-07 | 2021-07-15 | ||
| WO2021141048A1 (en) * | 2020-01-07 | 2021-07-15 | Hoya株式会社 | Endoscope system, processor device, diagnosis assistance method, and computer program |
| US11842815B2 (en) | 2020-01-07 | 2023-12-12 | Hoya Corporation | Endoscope system, processor, diagnostic support method, and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102397254B1 (en) | Quantitative three-dimensional imaging of surgical scenes | |
| US20220241013A1 (en) | Quantitative three-dimensional visualization of instruments in a field of view | |
| US6563105B2 (en) | Image acquisition with depth enhancement | |
| KR102373714B1 (en) | Quantitative three-dimensional imaging of surgical scenes from multiport perspectives | |
| CN110638527B (en) | Operation microscopic imaging system based on optical coherence tomography augmented reality | |
| CN106455944B (en) | The alignment of Q3D model and 3D rendering | |
| Geng et al. | Review of 3-D endoscopic surface imaging techniques | |
| JPH11337845A (en) | Endoscope device | |
| KR101772187B1 (en) | Method and device for stereoscopic depiction of image data | |
| US11822089B2 (en) | Head wearable virtual image module for superimposing virtual image on real-time image | |
| Smithwick et al. | Depth enhancement using a scanning fiber optical endoscope | |
| US20230032791A1 (en) | Measuring method and a measuring device | |
| Prakash | The active wave-front sampling based 3D endoscope | |
| CN117530645A (en) | Fluorescent navigation stereoscopic endoscope system and focusing method thereof | |
| Keller et al. | Switched pattern laser projection for real-time depth extraction and visualization through endoscopes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040621 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071030 |