JP5976436B2 - Endoscope apparatus and program - Google Patents
Endoscope apparatus and program Download PDFInfo
- Publication number
- JP5976436B2 JP5976436B2 JP2012168354A JP2012168354A JP5976436B2 JP 5976436 B2 JP5976436 B2 JP 5976436B2 JP 2012168354 A JP2012168354 A JP 2012168354A JP 2012168354 A JP2012168354 A JP 2012168354A JP 5976436 B2 JP5976436 B2 JP 5976436B2
- Authority
- JP
- Japan
- Prior art keywords
- corresponding point
- unit
- measurement
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 186
- 230000003287 optical effect Effects 0.000 claims description 60
- 238000004364 calculation method Methods 0.000 claims description 51
- 238000003780 insertion Methods 0.000 claims description 45
- 230000037431 insertion Effects 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 30
- 230000007613 environmental effect Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 22
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 44
- 238000012545 processing Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、計測機能を有する内視鏡装置に関する。また、本発明は、コンピュータに計測機能を実現させるためのプログラムに関する。 The present invention relates to an endoscope apparatus having a measurement function. The present invention also relates to a program for causing a computer to realize a measurement function.
ボイラー、タービン、エンジン、化学プラントなどの検査において、内部の傷や腐食を観察するのに工業用内視鏡が広く用いられている。工業用内視鏡では、多様な観察物を観察および検査することを可能にするため、計測対象物の内部に挿入する挿入部の先端に装着される光学アダプターとして複数種類の光学アダプターが用意されている。光学アダプターの1つとして、異なる視点に対応する左右の2つの被写体像を形成するための2つの光学系を有するステレオ計測用光学アダプター(以下、ステレオアダプターと記載)がある。また、ステレオアダプターを使用し、三角測量の原理を利用したステレオ計測により3次元計測を実現した内視鏡装置が使用されている(例えば特許文献1参照)。 In the inspection of boilers, turbines, engines, chemical plants, etc., industrial endoscopes are widely used to observe internal scratches and corrosion. In industrial endoscopes, multiple types of optical adapters are prepared as optical adapters that can be attached to the tip of the insertion section that is inserted into the measurement object in order to enable observation and inspection of various observation objects. ing. As one of the optical adapters, there is a stereo measurement optical adapter (hereinafter referred to as a stereo adapter) having two optical systems for forming two left and right subject images corresponding to different viewpoints. In addition, an endoscope apparatus that uses a stereo adapter and realizes three-dimensional measurement by stereo measurement using the principle of triangulation is used (for example, see Patent Document 1).
内視鏡装置で撮像された画像には光学系による光学的歪みが含まれており、この光学的歪みを補正する必要がある。この補正には、光学系の光学特性を示す光学データが使用される。光学データは工業用内視鏡の製造段階で生成される。製造段階で光学データの生成時に製造者が使用する挿入部と、計測時にユーザーが使用する挿入部とが異なる場合があるため、光学データの生成時と計測時とで同一のステレオアダプターが使用されたとしても、ステレオアダプターと挿入部との位置関係が異なる場合がある。このため、ユーザー側では、ステレオアダプターと挿入部との位置関係に応じて光学データを補正した環境データが生成される。この環境データを生成するための一連の処理はキャリブレーションと呼ばれている。計測時には、環境データを用いて画像の光学的歪みが補正される。 The image captured by the endoscope apparatus includes optical distortion due to the optical system, and it is necessary to correct this optical distortion. For this correction, optical data indicating the optical characteristics of the optical system is used. Optical data is generated at the manufacturing stage of an industrial endoscope. Since the insertion part used by the manufacturer when generating optical data at the manufacturing stage may be different from the insertion part used by the user during measurement, the same stereo adapter is used when generating optical data and when measuring. Even so, the positional relationship between the stereo adapter and the insertion portion may be different. Therefore, on the user side, environmental data in which optical data is corrected according to the positional relationship between the stereo adapter and the insertion unit is generated. A series of processes for generating this environmental data is called calibration. At the time of measurement, the optical distortion of the image is corrected using the environmental data.
ステレオ計測機能を搭載した内視鏡装置において、ステレオアダプターが挿入部に対して緩んだまま計測を行った場合、計測時のステレオアダプターと挿入部との位置関係が環境データの生成時の位置関係と異なっていることから計測精度が低下してしまうことがある。これに対して、特許文献1の第8の実施形態には、計測時に環境データを補正することにより、ステレオアダプターの緩みによる計測精度の低下を防止することが記載されている。 In an endoscopic device equipped with a stereo measurement function, when measurement is performed while the stereo adapter is loose with respect to the insertion part, the positional relation between the stereo adapter and the insertion part at the time of measurement is the positional relation when the environmental data is generated. Measurement accuracy may be reduced. On the other hand, in the eighth embodiment of Patent Document 1, it is described that the environmental data is corrected at the time of measurement to prevent a decrease in measurement accuracy due to the looseness of the stereo adapter.
特許文献1の第8の実施形態に記載された環境データの具体的な補正方法を説明する。ステレオアダプターには、光学系に入射した光を遮光するための構造物であるマスクが設けられており、マスクによって、左側の被写体像と右側の被写体像が仕切られている。予め光学データ内に、マスクライン(左右の被写体像に対応する左画像および右画像を含む画像におけるマスクの中心点を通りマスクの傾きを示す直線)とセンターライン(左画像と右画像の歪み中心点を結んだ直線)の2つの線が成す角度とマスクの中心点の情報とが記録される。 A specific correction method for environment data described in the eighth embodiment of Patent Document 1 will be described. The stereo adapter is provided with a mask which is a structure for shielding light incident on the optical system, and the left subject image and the right subject image are partitioned by the mask. In the optical data in advance, mask lines (straight lines indicating the inclination of the mask through the center point of the mask in the image including the left image and the right image corresponding to the left and right subject images) and the center line (distortion center of the left image and the right image) The angle formed by the two lines (the straight line connecting the points) and the information on the center point of the mask are recorded.
計測時には、左画像において、予め決められた中央付近の複数点が自動でサンプル点として指定され、画像のパターンマッチング(以下、マッチングと記載)により、左画像上のサンプル点の位置に対応する右画像上の対応点の位置が算出される。また、複数のサンプル点の重心と複数の対応点の重心とを結ぶ線(マッチングライン)と、予め光学データに記録された角度とから計測時のマスクラインが推定され、推定されたマスクラインに基づいて環境データが補正される。 At the time of measurement, a plurality of predetermined points near the center are automatically designated as sample points in the left image, and the right corresponding to the position of the sample point on the left image is determined by image pattern matching (hereinafter referred to as matching). The position of the corresponding point on the image is calculated. In addition, a mask line at the time of measurement is estimated from a line (matching line) connecting the centroids of a plurality of sample points and the centroids of a plurality of corresponding points, and an angle recorded in the optical data in advance. Based on this, the environmental data is corrected.
特許文献1では、環境データを計測の度に自動で書き換えることにより、ステレオアダプターの緩みによる計測精度の低下の防止を図っている。特許文献1に記載された方法は、計測時のステレオアダプターと挿入部との位置関係が正確に検出されている場合には有効であるが、この位置関係が正確に検出されていないと、補正前の環境データを使用する場合よりも計測精度が低下することも考えられる。 In Patent Document 1, environmental data is automatically rewritten every time measurement is performed, thereby preventing a decrease in measurement accuracy due to loosening of the stereo adapter. The method described in Patent Document 1 is effective when the positional relationship between the stereo adapter and the insertion portion at the time of measurement is accurately detected, but if this positional relationship is not accurately detected, correction is performed. It is conceivable that the measurement accuracy is lower than when the previous environmental data is used.
具体的には、ステレオアダプターと挿入部との位置関係を検出する過程で、画像の状態にかかわらず自動で左画像上の所定位置のサンプル点が指定され、マッチングにより右画像上の対応点の位置が検出される。このマッチングでは、環境データに基づいて、右画像におけるエピポーララインが設定される。2つの視点の位置関係が固定されたステレオ計測では、左画像上の点に対応する右画像上の対応点は、右画像上のある直線上に必ず存在する、という幾何学的な性質がある。この直線がエピポーララインと呼ばれている。対応点の位置は、通常、エピポーララインを基準とする所定の探索範囲内に存在するため、マッチングはこの探索範囲内で行われる。 Specifically, in the process of detecting the positional relationship between the stereo adapter and the insertion portion, a sample point at a predetermined position on the left image is automatically specified regardless of the state of the image, and matching is performed on the corresponding point on the right image. The position is detected. In this matching, an epipolar line in the right image is set based on the environmental data. In stereo measurement in which the positional relationship between two viewpoints is fixed, there is a geometric property that a corresponding point on the right image corresponding to a point on the left image always exists on a certain straight line on the right image. . This straight line is called an epipolar line. Since the position of the corresponding point normally exists within a predetermined search range with reference to the epipolar line, matching is performed within this search range.
しかし、ステレオアダプターの取り付け時の不良あるいは観察中の何らかの原因によりステレオアダプターが緩んだ場合に、真の対応点が探索範囲外に存在することにより、探索範囲内から、真の対応点と異なる偽の対応点が検出される誤対応が発生することがある。あるいは、画像のコントラストが低い等のため画像のテクスチャが適していない場合、探索範囲内から、真の対応点と異なる偽の対応点が検出される誤対応が発生することもある。誤対応が発生した場合、ステレオアダプターと挿入部との位置関係が正確に検出されず、誤った位置関係に基づいて環境データが補正されるため、この環境データを用いて計測を行うと、計測精度が低下する。 However, if the stereo adapter is loosened due to a fault during installation of the stereo adapter or for some reason during observation, the true corresponding point exists outside the search range. There is a case where an erroneous correspondence is detected in which the corresponding point is detected. Alternatively, when the image texture is not suitable due to the low contrast of the image, a false correspondence may occur in which a false corresponding point different from the true corresponding point is detected from within the search range. If an incorrect response occurs, the positional relationship between the stereo adapter and the insertion part is not accurately detected, and the environmental data is corrected based on the incorrect positional relationship. Accuracy is reduced.
本発明は、上述した課題に鑑みてなされたものであって、計測精度の低下を低減することができる内視鏡装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object thereof is to provide an endoscope apparatus and a program that can reduce a decrease in measurement accuracy.
本発明は、上記の課題を解決するためになされたもので、光学系によって結像された被写体像に基づく撮像信号を生成する内視鏡を有し、前記光学系を交換可能な挿入部と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、前記光学系の光学特性と、前記光学系および前記挿入部の位置関係とに基づく環境データを記憶する記憶部と、前記映像信号に基づいて、第1の被写体像において指定された計測点の位置から、前記第1の被写体像に対して視差を有する第2の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、前記位置関係を示す指標値を算出する指標値算出部と、前記指標値に基づいて、前記位置関係の変化を判定する判定部と、前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、を備えたことを特徴とする内視鏡装置である。 The present invention has been made to solve the above-described problems, and includes an endoscope that generates an imaging signal based on a subject image formed by an optical system, and an insertion unit that can replace the optical system. A video signal generation unit that generates a video signal based on the imaging signal, a storage unit that stores environmental data based on optical characteristics of the optical system, and a positional relationship between the optical system and the insertion unit, and the video Based on the signal, the position of the corresponding point corresponding to the measurement point in the second subject image having a parallax with respect to the first subject image is calculated from the position of the measurement point designated in the first subject image. A corresponding point calculation unit, an index value calculation unit that calculates an index value indicating the positional relationship, a determination unit that determines a change in the positional relationship based on the index value, and an image based on the video signal The measurement point and the front A display unit that superimposes corresponding points, a request unit that requests the user to confirm the position of the corresponding point when it is determined that the positional relationship has changed, and a position of the corresponding point. An input unit for inputting a result of the validity of the position of the corresponding point determined by the confirmed user, and a change in the positional relationship based on the index value when it is determined that the position of the corresponding point is valid. A correction unit that corrects a measurement parameter generated from the environment data, and a measurement unit that measures the size of a subject based on the parameter corrected by the correction unit. Is an endoscope apparatus.
また、本発明の内視鏡装置において、前記位置関係に変化が生じていないと判定された場合に、前記計測部は、前記補正部によって補正される前の前記パラメータに基づいて、被写体の大きさを計測することを特徴とする。 In the endoscope apparatus of the present invention, when it is determined that the positional relationship has not changed, the measurement unit determines the size of the subject based on the parameters before correction by the correction unit. It measures the thickness.
また、本発明の内視鏡装置において、前記対応点算出部は、第1の条件に基づいて前記計測点に対する第1の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第1の対応点を重畳して表示し、前記第1の対応点の位置が妥当でないと判断された場合に、前記対応点算出部は、前記第1の条件と異なる第2の条件に基づいて前記計測点に対する第2の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第2の対応点を重畳して表示することを特徴とする。 In the endoscope apparatus of the present invention, the corresponding point calculation unit calculates a position of the first corresponding point with respect to the measurement point based on a first condition, and the display unit is based on the video signal. When the measurement point and the first corresponding point are superimposed on the image and displayed, and it is determined that the position of the first corresponding point is not valid, the corresponding point calculating unit The position of the second corresponding point with respect to the measurement point is calculated based on a second condition different from the condition, and the display unit displays the measurement point and the second corresponding point with respect to the image based on the video signal. It is characterized by being displayed superimposed.
また、本発明の内視鏡装置において、前記対応点算出部は、第1の条件に基づいて前記計測点に対する第1の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第1の対応点を重畳して表示し、前記要求部は、前記第1の対応点の位置の確認をユーザーに要求し、前記入力部は、前記第1の対応点の位置を確認したユーザーが前記第1の対応点の位置の妥当性を判断した結果を入力し、前記補正部は、前記第1の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする。 In the endoscope apparatus of the present invention, the corresponding point calculation unit calculates a position of the first corresponding point with respect to the measurement point based on a first condition, and the display unit is based on the video signal. The measurement point and the first corresponding point are displayed superimposed on the image, the request unit requests the user to confirm the position of the first corresponding point, and the input unit includes the first corresponding point. The user who has confirmed the position of the corresponding point of the user inputs the result of determining the validity of the position of the first corresponding point, and the correction unit determines that the position of the first corresponding point is valid In this case, the measurement parameter generated from the environmental data is corrected by the change in the positional relationship based on the index value.
また、本発明の内視鏡装置において、前記対応点算出部は、前記第1の対応点の位置が妥当でないと判断された場合に、前記第1の条件と異なる第2の条件に基づいて前記計測点に対する第2の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第2の対応点を重畳して表示し、前記要求部は、前記第2の対応点の位置の確認をユーザーに要求し、前記補正部は、前記第2の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする。 Further, in the endoscope apparatus according to the present invention, the corresponding point calculation unit, based on a second condition different from the first condition, when it is determined that the position of the first corresponding point is not valid. The position of a second corresponding point with respect to the measurement point is calculated, the display unit displays the measurement point and the second corresponding point superimposed on an image based on the video signal, and the request unit includes , Requesting the user to confirm the position of the second corresponding point, and when the correction unit determines that the position of the second corresponding point is valid, the positional relationship based on the index value is determined. The measurement parameter generated from the environmental data is corrected by the amount of change.
また、本発明の内視鏡装置において、前記指標値算出部は、前記位置関係を示す2種類の指標値を算出し、前記判定部は、2種類の前記指標値に基づいて、前記位置関係の変化を判定することを特徴とする。 In the endoscope apparatus of the present invention, the index value calculation unit calculates two types of index values indicating the positional relationship, and the determination unit determines the positional relationship based on the two types of the index values. It is characterized by determining a change in the above.
また、本発明の内視鏡装置において、前記指標値算出部は、前記第2の被写体像における前記対応点とエピポーララインのずれの値を前記指標値として算出することを特徴とする。 In the endoscope apparatus of the present invention, the index value calculation unit calculates a deviation value between the corresponding point and the epipolar line in the second subject image as the index value.
また、本発明の内視鏡装置において、前記指標値算出部は、前記第2の被写体像における前記対応点とエピポーララインのずれの値を第1の指標値として算出し、さらに、前記第1の被写体像と前記第2の被写体像との相関を示す相関値を第2の指標値として算出することを特徴とする。 In the endoscope apparatus of the present invention, the index value calculation unit calculates a deviation value between the corresponding point and the epipolar line in the second subject image as a first index value, and further includes the first index value. A correlation value indicating a correlation between the subject image and the second subject image is calculated as a second index value.
また、本発明の内視鏡装置において、前記計測用のパラメータは、前記エピポーララインの式を示すパラメータであることを特徴とする。 In the endoscope apparatus according to the present invention, the measurement parameter is a parameter indicating an equation of the epipolar line.
また、本発明は、光学系によって結像された被写体像に基づく撮像信号を生成する内視鏡を有し、前記光学系を交換可能な挿入部と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、を有する内視鏡装置における前記光学系の光学特性と、前記光学系および前記挿入部の位置関係とに基づく環境データを記憶する記憶部と、前記映像信号に基づいて、第1の被写体像において指定された計測点の位置から、前記第1の被写体像に対して視差を有する第2の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、前記位置関係を示す指標値を算出する指標値算出部と、前記指標値に基づいて、前記位置関係の変化を判定する判定部と、前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、としてコンピュータを機能させるためのプログラムである。 In addition, the present invention includes an endoscope that generates an imaging signal based on a subject image formed by an optical system, and generates an image signal based on the imaging unit and an insertion unit that can replace the optical system. A video signal generating unit, and a storage unit for storing environmental data based on the optical characteristics of the optical system and the positional relationship between the optical system and the insertion unit based on the video signal. Corresponding point calculation for calculating the position of the corresponding point corresponding to the measurement point in the second subject image having a parallax with respect to the first subject image from the position of the measurement point designated in the first subject image An index value calculation unit that calculates an index value indicating the positional relationship, a determination unit that determines a change in the positional relationship based on the index value, and the measurement point for an image based on the video signal And the corresponding points A display unit that displays the corresponding position, a request unit that requests the user to confirm the position of the corresponding point when it is determined that the positional relationship has changed, and a user who confirms the position of the corresponding point The input unit for inputting the result of determining the validity of the position of the corresponding point, and when the position of the corresponding point is determined to be valid, the change in the positional relationship based on the index value A program for causing a computer to function as a correction unit that corrects a measurement parameter generated from environmental data, and a measurement unit that measures the size of a subject based on the parameter corrected by the correction unit. is there.
本発明によれば、光学系および挿入部の位置関係に変化が生じていると判定された場合に、対応点の位置の確認がユーザーに要求され、対応点の位置が妥当であるとユーザーが判断した場合に、環境データから生成される計測用のパラメータが補正される。これによって、位置関係に変化が生じている場合に計測用のパラメータを補正しつつ、誤対応が発生した場合に計測用のパラメータが補正されることを回避することが可能となるので、計測精度の低下を低減することができる。 According to the present invention, when it is determined that the positional relationship between the optical system and the insertion portion has changed, the user is required to confirm the position of the corresponding point, and the user determines that the position of the corresponding point is valid. When the determination is made, the measurement parameters generated from the environmental data are corrected. This makes it possible to correct the measurement parameters when the positional relationship has changed, and to avoid correcting the measurement parameters when an incorrect response occurs. Can be reduced.
以下、図面を参照し、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(装置構成)
まず、以下の第1〜第6の動作例で共通する内視鏡装置の構成を説明する。図1は、本実施形態による内視鏡装置の全体構成を示している。図1に示すように、内視鏡装置1は、内視鏡2と、この内視鏡2に接続された装置本体3とを備えている。内視鏡2は、細長な挿入部20と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部6とを備えている。装置本体3は、内視鏡2で撮像された被写体の画像や操作制御内容(例えば処理メニュー)等を表示するモニタ4と、内部に制御ユニット10(図2参照)を有する筐体5とを備えている。
(Device configuration)
First, the configuration of the endoscope apparatus common to the following first to sixth operation examples will be described. FIG. 1 shows the overall configuration of the endoscope apparatus according to the present embodiment. As shown in FIG. 1, the endoscope apparatus 1 includes an
挿入部20は、硬質な先端部21と、例えば上下左右に湾曲可能な湾曲部22と、柔軟性を有する可撓管部23とを先端側から順に連設して構成されている。先端部21には、観察視野を2つ有するステレオアダプターや観察視野が1つの通常観察光学アダプター等、各種光学アダプターが着脱自在になっている。
The
図2に示すように筐体5内には、CCU9(カメラコントロールユニット)および制御ユニット10が設けられている。挿入部20の基端部は内視鏡ユニット8に接続されている。内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置(不図示)と、挿入部20を構成する湾曲部22を湾曲させる湾曲装置(不図示)とを備えて構成されている。CCU9は、撮像素子28を駆動する駆動装置(不図示)を備えて構成されている。
As shown in FIG. 2, a CCU 9 (camera control unit) and a
先端部21には撮像素子28が内蔵されている。撮像素子28は、光学アダプターを介して結像された被写体像を光電変換し、撮像信号を生成する。この撮像信号は、CCU9内で例えばNTSC信号等の映像信号(画像データ)に変換されて、制御ユニット10へ供給される。
An
制御ユニット10内には、映像信号が入力される映像信号処理回路12、ROM13、RAM14、カードI/F15(カードインターフェイス)、USB I/F16(USBインターフェイス)、RS−232C I/F17(RS−232Cインターフェイス)、およびCPU18が設けられている。
In the
RS−232C I/F17には、CCU9および内視鏡ユニット8が接続されると共に、これらCCU9や内視鏡ユニット8等の制御および動作指示を行う操作部6が接続されている。ユーザーが操作部6を操作すると、その操作内容に基づいて、CCU9および内視鏡ユニット8を動作制御する際に必要な通信が行われる。
The RS-232C I /
USB I/F16は、制御ユニット10とパーソナルコンピュータ31とを電気的に接続するためのインターフェイスである。このUSB I/F16を介して制御ユニット10とパーソナルコンピュータ31とを接続することによって、パーソナルコンピュータ31側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示に基づく制御を行うことが可能になると共に、制御ユニット10とパーソナルコンピュータ31との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
The USB I /
また、カードI/F15には、メモリカード32を自由に着脱することができるようになっている。メモリカード32をカードI/F15に装着することにより、CPU18による制御に従って、このメモリカード32に記憶されている制御処理情報や画像情報等のデータの制御ユニット10への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード32への記録を行うことが可能になる。
Further, the
映像信号処理回路12は、CCU9から供給された映像信号に基づく内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、CPU18により生成される、操作メニューに基づくグラフィック画像信号とCCU9からの映像信号を合成する処理や、モニタ4の画面上に表示するのに必要な処理等を行い、表示信号をモニタ4に供給する。また、この映像信号処理回路12は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ4の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。
The video
CPU18は、ROM13に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、内視鏡装置1全体の動作制御を行う。RAM14は、CPU18によって、データの一時格納用の作業領域として使用される。
The
CPU18が実行するプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを内視鏡装置1以外のコンピュータに読み込ませ、実行させてもよい。例えば、パーソナルコンピュータ31がプログラムを読み込んで実行し、プログラムに従って、内視鏡装置1を制御するための制御情報を内視鏡装置1に送信して内視鏡装置1を制御し、内視鏡装置1から映像信号を取得して、取得した映像信号を用いて計測を行ってもよい。
The program executed by the
ここで、「コンピュータ」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM、DVD−ROM、フラッシュメモリ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。 Here, the “computer” includes a homepage providing environment (or display environment) if the WWW system is used. The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, a DVD-ROM, and a flash memory, and a storage device such as a hard disk built in the computer. Say. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 The program described above may be transmitted from a computer storing the program in a storage device or the like to another computer via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above-described program may be for realizing a part of the above-described function. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer, what is called a difference file (difference program) may be sufficient.
図3は、内視鏡装置1のうち、本実施形態の説明の中心となる部分の機能構成を示している。映像信号生成部41はCCU9の機能に対応する。この映像信号生成部41は、撮像素子28から出力された撮像信号に基づいて映像信号を生成する。先端部21にステレオアダプターが装着された場合に生成される映像信号は、左側の視野に対応する光学系により得られた第1の被写体像を含む左画像と、右側の視野に対応する光学系により得られた、第1の被写体像に対して視差を有する第2の被写体像を含む右画像とを構成する。
FIG. 3 shows a functional configuration of a portion of the endoscope apparatus 1 that is the center of the description of the present embodiment. The video
操作検出部42、対応点算出部43、計測処理部44、指標値算出部45、判定部46、補正部47、グラフィック画像生成部48、制御部49はCPU18の機能に対応する。操作検出部42は、ユーザーによる操作部6の操作を検出し、操作内容を制御部49に通知する。操作部6が操作され、モニタ4の画面に表示される画像における被写体上の計測位置を示す計測点の位置が指定された場合、操作検出部42は画像における計測点の2次元座標を算出し、制御部49に通知する。本実施形態では、一例として、左画像上で計測点の位置が指定される。
The
対応点算出部43は、マッチングにより、左画像上の計測点の2次元座標に対応する右画像上の対応点の2次元座標を算出する。計測処理部44は計測処理を実行する。計測処理は、ユーザーが指定した計測点およびその対応点の2次元座標に基づいて実空間上の3次元座標を算出し、被写体の実空間上の長さや面積等を計算する処理である。指標値算出部45は、対応点の2次元座標に基づいて、ステレオアダプターと挿入部20との位置関係を示す指標値を算出する。本実施形態の指標値は、ステレオアダプターにどの程度の緩みが生じているのかを示す指標である。この指標値は、例えば対応点とエピポーララインのずれやマッチング結果の相関値等に基づいている。
The corresponding
判定部46は、指標値に基づいて、ステレオアダプターと挿入部20との位置関係に所定の変化が生じているか否か、すなわちステレオアダプターに緩みが生じているか否かを判定する。補正部47は、ステレオアダプターに緩みが生じていると判定された場合に、計測精度の低下を防止するため、環境データから生成される計測用のパラメータを補正する。本実施形態の計測用のパラメータは、例えばエピポーララインの式を決定する係数である。グラフィック画像生成部48は、モニタ4の画面上に表示する操作メニューや、計測点および対応点のマーク、メッセージ等を含むグラフィック画像信号を生成する。制御部49は、操作検出部42、対応点算出部43、計測処理部44、指標値算出部45、判定部46、補正部47、グラフィック画像生成部48のそれぞれへの処理の割り当てを制御すると共に、内視鏡装置1全体の動作を制御する。
Based on the index value, the
表示信号生成部50は映像信号処理回路12の機能に対応する。この表示信号生成部50は、映像信号生成部41によって生成された映像信号と、グラフィック画像生成部48によって生成されたグラフィック画像信号とを合成し、表示信号を生成する。モニタ4は、表示信号生成部50によって生成された表示信号に基づいて画像を表示する。
The display
RAM14は、本発明の内視鏡装置における記憶部に対応する。モニタ4は、本発明の内視鏡装置における表示部に対応する。対応点算出部43および計測処理部44は、本発明の内視鏡装置における計測部に対応する。グラフィック画像生成部48、表示信号生成部50、およびモニタ4は、本発明の内視鏡装置における要求部に対応する。操作部6は、本発明の内視鏡装置における入力部に対応する。
The
次に、本実施形態の計測の原理を説明する。左右2つの視野を形成するステレオアダプターを使用し、被写体像を左右の光学系で捉えたときの左右の光学測距点の座標に基づいて、三角測量の原理を使用して被写体の3次元空間座標を求めることで、各種計測(ステレオ計測)が可能となる。図17は、ステレオ計測による計測点の3次元座標の求め方を示している。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、左側の光学中心63と右側の光学中心64とを結ぶ線分の中点を原点Oとして、点60の3次元座標(X,Y,Z)が以下の(1)式〜(3)式で計算される。ただし、歪み補正が施された左右の画像上の計測点61および対応点62の座標を、左右それぞれの光学系の光軸と画像面との交点OL、ORを原点として、それぞれ(XL,YL)、(XR,YR)とし、左側と右側の光学中心63,64の距離をDとし、焦点距離をFとし、t=D/(XR−XL)とする。
X=t×XR+D/2 ・・・(1)
Y=−t×YR ・・・(2)
Z=t×F ・・・(3)
Next, the principle of measurement of this embodiment will be described. Using a stereo adapter that forms two left and right fields of view, based on the coordinates of the left and right optical ranging points when the subject image is captured by the left and right optical systems, the three-dimensional space of the subject using the principle of triangulation By obtaining the coordinates, various measurements (stereo measurement) can be performed. FIG. 17 shows how to obtain the three-dimensional coordinates of measurement points by stereo measurement. For the images captured by the left and right optical systems, a triangulation method is used to determine the three-
X = t × XR + D / 2 (1)
Y = −t × YR (2)
Z = t × F (3)
上記のように元画像上の計測点61および対応点62の座標が決定されると、パラメータDおよびFを用いて点60の3次元座標が求まる。いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心63または右側の光学中心64から被写体までの距離(物体距離)を求めることも可能となる。物体距離は、先端部21から被写体までの距離であって、例えば撮像素子28または観察光学系から被写体までの距離である。上記のステレオ計測を行うためには、先端部21とステレオ光学アダプターを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細や、環境データの生成方法、ステレオアダプターと挿入部20との位置関係による計測精度への影響については、例えば特許文献1に記載されているので、その説明を省略する。
When the coordinates of the
次に、内視鏡装置1の動作の概要を説明する。図4は、内視鏡装置1の概略動作の手順を示している。本実施形態では、既にキャリブレーションが行われて環境データが生成され、メモリカード32に環境データが記録されているものとする。ステレオアダプターが装着された挿入部20が検査対象物に挿入され、環境データがメモリカード32からRAM14に読み込まれた後、被写体の観察が開始される。
Next, an outline of the operation of the endoscope apparatus 1 will be described. FIG. 4 shows a schematic operation procedure of the endoscope apparatus 1. In the present embodiment, it is assumed that the environment data is generated by performing calibration and the environment data is recorded in the
被写体の観察が開始されると、被写体を撮像した動画像(ライブ画像)がモニタ4に表示される(ステップS1)。ユーザーが計測したい被写体が見つかった場合、静止画像の画像データがRAM14に保存される(ステップS2)。続いて、ユーザーによって左画像上で計測点の位置が指定されると、対応点算出部43は、マッチングを行い、計測点に対応する右画像上の対応点の2次元座標を算出し、指標値算出部45は、対応点の2次元座標に基づいて、ステレオアダプターと挿入部20との位置関係を示す指標値を算出する(ステップS3)。
When the observation of the subject is started, a moving image (live image) obtained by imaging the subject is displayed on the monitor 4 (step S1). When the subject that the user wants to measure is found, the image data of the still image is stored in the RAM 14 (step S2). Subsequently, when the position of the measurement point is designated on the left image by the user, the corresponding
続いて、判定部46は、ステレオアダプターと挿入部20との位置関係に所定の変化が生じているか否か、すなわちステレオアダプターに緩みが生じているか否かを指標値に基づいて判定する(ステップS4)。ステレオアダプターと挿入部20との位置関係の変化は、所定の基準状態における位置関係からの変化を指す。所定の基準状態は、ステレオアダプターが挿入部20に緩みなく装着された理想的な状態である。
Subsequently, the
ステレオアダプターに緩みが生じていると判定された場合、対応点の位置の確認をユーザーに要求するためのメッセージがモニタ4に表示される(ステップS5)。マッチングの結果を利用して算出した指標値に基づいてステレオアダプターの緩みを判定する場合、実際にはステレオアダプターに緩みが生じていないにもかかわらず、画像のテクスチャが不適切であることが原因で、探索範囲内から、計測点に対応する真の対応点と異なる偽の対応点が検出される誤対応が発生し、ステレオアダプターに緩みが生じていると判定されることがある。このため、本実施形態では、対応点の位置が妥当であるか否かの確認が行われる。 If it is determined that the stereo adapter is loose, a message for requesting the user to confirm the position of the corresponding point is displayed on the monitor 4 (step S5). When judging the looseness of the stereo adapter based on the index value calculated using the matching result, the cause is that the texture of the image is inappropriate even though the stereo adapter is not actually loosened Thus, there is a case in which a false correspondence is detected in which a false corresponding point different from the true corresponding point corresponding to the measurement point is detected from within the search range, and it is determined that the stereo adapter is loose. For this reason, in this embodiment, it is confirmed whether or not the position of the corresponding point is valid.
図5は、ステップS5でモニタ4に表示されるメッセージの一例である。例えば、図5(a)のようにステレオアダプターに緩みが生じていることを伝えるメッセージM1が表示された後、図5(b)のようにマッチングが正確に行われたか否かの確認を促すメッセージM2が表示される。
FIG. 5 is an example of a message displayed on the
メッセージの表示後、ユーザーは画像上の対応点の位置を確認する。図6は、ユーザーが対応点の位置を確認するときにモニタ4に表示される画像の一例である。左画像L1上の計測点の位置にマークMA1が表示されると共に、右画像R1上の対応点の位置にマークMA2が表示される。図6(a)のように計測点と対応点が被写体上のほぼ同様の位置にある場合、誤対応は発生していないので、対応点の位置が妥当であると判断される。また、図6(b)のように計測点と対応点が被写体上の異なる位置にある場合、誤対応が発生しているので、対応点の位置が妥当でないと判断される。ユーザーが対応点の位置を確認するときには、図5に示したメッセージは非表示となるか、ユーザーが対応点の位置を確認するのを妨げない位置に表示される。
After displaying the message, the user confirms the position of the corresponding point on the image. FIG. 6 is an example of an image displayed on the
ユーザーは、操作部6を操作し、対応点の位置を確認した結果、すなわち対応点の位置が妥当か否かを判断した結果を入力する(ステップS6)。画像のテクスチャが不適切であることによる誤対応が発生しており、対応点の位置が妥当でないと判断された場合には、ステレオアダプターと挿入部20との位置関係が正しく検出されていないので、計測用のパラメータを補正すると計測精度が低下する可能性がある。この場合、ステレオアダプターと挿入部20との位置関係を再度検出するために、計測点の変更をユーザーに要求するためのメッセージがモニタ4に表示される(ステップS7)。図7は、ステップS7でモニタ4に表示されるメッセージの一例である。例えば、図7(a)のように計測点の変更を促すメッセージM3が表示される。メッセージの表示後、再度ステップS3で計測点が指定され、指標値が算出される。部分的な画像のテクスチャが不適切であることによる誤対応が発生している場合には、計測点を変更することで、誤対応が発生しにくくなると考えられる。
The user operates the operation unit 6 and inputs the result of confirming the position of the corresponding point, that is, the result of determining whether the position of the corresponding point is appropriate (step S6). Incorrect correspondence due to improper texture of the image has occurred, and if it is determined that the position of the corresponding point is not valid, the positional relationship between the stereo adapter and the
図4では、対応点の位置が妥当でないと判断された場合、計測点の変更が行われるが、対応点の位置が妥当でないと判断された場合に画像の撮影が再度行われるようにしてもよい。例えば、図7(b)のように画像の再撮影を促すメッセージM4がステップS7で表示された後、処理がステップS1に戻り、モニタ4に動画像が表示されるようにしてもよい。画像全体のテクスチャが不適切であることによる誤対応が発生している場合には、画像を変更することで、誤対応が発生しにくくなると考えられる。
In FIG. 4, when it is determined that the position of the corresponding point is not valid, the measurement point is changed. However, when it is determined that the position of the corresponding point is not valid, the image is captured again. Good. For example, as shown in FIG. 7B, after the message M4 that prompts the user to reshoot the image is displayed in step S7, the process may return to step S1 and the moving image may be displayed on the
あるいは、対応点の位置が妥当でないと判断された場合にステレオアダプターの装着をやり直すようにしてもよい。例えば、図7(c)のようにステレオアダプターの装着のやり直しを促すメッセージM5がステップS7で表示された後、ユーザーによって挿入部20が検査対象物から引き抜かれ、ステレオアダプターの装着がやり直された後、挿入部20が検査対象物に挿入される。この後、ステップS1からの処理が再度行われる。ステレオアダプターが大きく緩んでいることによる誤対応が発生している場合には、ステレオアダプターの装着をやり直すことで、誤対応が発生しにくくなると考えられる。
Alternatively, when it is determined that the position of the corresponding point is not appropriate, the stereo adapter may be attached again. For example, as shown in FIG. 7C, after the message M5 prompting the user to reattach the stereo adapter is displayed in step S7, the
一方、対応点の位置が妥当であると判断された場合、補正部47は、計測精度の低下を防止するため、ステレオアダプターの緩みの度合いに応じて計測用のパラメータを補正する(ステップS8)。計測用のパラメータの補正後、計測処理部44は、前述したステップS3における計測点および対応点の2次元座標に基づいて実空間上の3次元座標を算出する(ステップS9)。その後、計測点の指定が終了したか否かが判定され(ステップS10)、計測点の指定が終了していない場合には、再度ステップS3で計測点が指定され、指標値が算出される。
On the other hand, when it is determined that the position of the corresponding point is appropriate, the
また、計測点の指定が終了した場合には、計測処理部44は、指定された計測点に基づく3次元座標に基づいて被写体の実空間上の長さ等を算出する(ステップS11)。続いて、ステップS11で算出された長さ等の計測結果がモニタ4に表示され(ステップS12)、計測の処理が終了する。また、ステップS4でステレオアダプターに緩みが生じていないと判定された場合、計測処理部44は、計測用のパラメータの補正を行わずに、ステップS11で被写体の実空間上の長さ等を算出する。
When the measurement point designation is completed, the
上記のように、ステレオアダプターと挿入部20との位置関係に変化が生じ、ステレオアダプターに緩みが生じていると判定された(ステップS4)場合に、対応点の位置の確認がユーザーに要求され(ステップS5)、対応点の位置が妥当であるとユーザーが判断した(ステップS6)場合のみ、計測用のパラメータが補正される(ステップS8)。これによって、ステレオアダプターと挿入部20との位置関係に変化が生じている場合に計測用のパラメータを補正しつつ、誤対応が発生した場合に計測用のパラメータが補正されることを回避することが可能となるので、計測精度の低下を低減することができる。また、ステレオアダプターに緩みが生じていないと判定された(ステップS4)場合には、対応点の位置の確認をユーザーに要求する処理や、計測用のパラメータを補正する処理を省くことができる。
As described above, when it is determined that the positional relationship between the stereo adapter and the
マッチングを行う際の対応点の探索範囲はエピポーララインを基準に設定されるため、計測用のパラメータをエピポーララインの式としている本実施形態では、計測用のパラメータが補正されると、ステレオアダプターの緩みを考慮してマッチングが行われるようになる。このため、マッチングの結果を利用して算出した指標値に基づいてステレオアダプターの緩みを検出する場合、ステレオアダプターの緩みが生じていないと判定されやすくなるので、ユーザーが対応点の位置を確認する手間が発生しにくくなる。 Since the search range of corresponding points when performing matching is set based on the epipolar line, in this embodiment in which the measurement parameter is an epipolar line equation, when the measurement parameter is corrected, the stereo adapter Matching is performed in consideration of looseness. For this reason, when the looseness of the stereo adapter is detected based on the index value calculated using the matching result, it is easy to determine that the stereo adapter is not loosened, so the user confirms the position of the corresponding point. Time and effort is less likely to occur.
図4では、計測点が指定されるごとにステップS4の判定が行われているが、例えば計測点が2点、5点等の複数点指定されたらステップS4の判定が行われるようにしてもよい。 In FIG. 4, the determination in step S4 is performed every time a measurement point is designated. However, for example, when a plurality of measurement points such as two points and five points are designated, the determination in step S4 is performed. Good.
次に、内視鏡装置1の詳細な動作を説明する。以下では第1〜第6の動作例を説明する。 Next, detailed operation of the endoscope apparatus 1 will be described. Hereinafter, first to sixth operation examples will be described.
(第1の動作例)
図8および図9は、第1の動作例における内視鏡装置1の動作の手順を示している。ステレオアダプターが装着された挿入部20が検査対象物に挿入され、環境データがメモリカード32からRAM14に読み込まれた後、被写体の観察が開始される。
(First operation example)
FIG. 8 and FIG. 9 show the operation procedure of the endoscope apparatus 1 in the first operation example. After the
被写体の観察が開始されると、被写体を撮像した動画像(ライブ画像)がモニタ4に表示される(ステップS100)。ユーザーが計測したい被写体が見つかった場合、静止画像の画像データがRAM14に保存される(ステップS101)。 When the observation of the subject is started, a moving image (live image) obtained by imaging the subject is displayed on the monitor 4 (step S100). When the subject that the user wants to measure is found, the image data of the still image is stored in the RAM 14 (step S101).
より具体的には、ステップS101では、ユーザーによって操作部6が操作され、静止画像を保存する指示が入力されると、操作検出部42はこの指示を検出し、制御部49に指示を通知する。制御部49は、この指示に基づいて、映像信号生成部41で生成された映像信号を構成する画像データを取り込み、RAM14に保存する。このとき、制御部49が取り込んだ画像データと同じ画像データに基づく画像がモニタ4に表示され、以後は、映像の同期信号に基づくタイミングで、同じ画像データに基づいて画像の表示が更新される。
More specifically, in step S101, when the operation unit 6 is operated by the user and an instruction to save a still image is input, the
画像データがRAM14に保存された後、ユーザーによって左画像上で計測点の位置が指定される(ステップS102)。より具体的には、ステップS102では、ユーザーによって操作部6が操作され、左画像上の計測点の位置を指定する指示が入力されると、操作検出部42はこの指示を検出して計測点の2次元座標を算出し、制御部49に計測点の2次元座標を通知する。制御部49は対応点算出部43に計測点の2次元座標を通知する。
After the image data is stored in the
計測点の位置が指定された後、対応点算出部43は対応点の探索範囲を設定してマッチングを行い、計測点に対応する右画像上の対応点の2次元座標を算出し、指標値算出部45に対応点の2次元座標を通知する(ステップS103)。対応点算出部43がマッチングを行う際の対応点の探索範囲は以下のようにして決定される。対応点算出部43は、環境データ内の複数のパラメータを用いて、エピポーララインの式を算出する。エピポーララインの式は一般的な一次関数「y=ax+b」で表せる(aは傾き、bは切片)。対応点算出部43は、計測点の2次元座標と環境データ内の複数のパラメータにより、a,bの値を決定する。対応点算出部43は、生成したエピポーララインの式を用いて探索範囲を決定する。エピポーララインの式を構成するa,bの値は指標値算出部45に通知される。
After the position of the measurement point is designated, the corresponding
指標値算出部45は、対応点の2次元座標とエピポーララインの式に基づいて、対応点とエピポーララインのずれ量を算出し、判定部46にずれ量を通知する(ステップS104)。図10に示すように、対応点P1とエピポーララインEL1のずれ量は、エピポーララインEL1上で対応点P1とx座標が等しい点のy座標と対応点P1のy座標との差D1である。判定部46は、対応点とエピポーララインのずれ量が所定値以上であるか否かを判定し、判定結果を制御部49に通知する(ステップS105)。
The index
対応点とエピポーララインのずれ量が所定値以上である場合、ステレオアダプターに緩みが生じている可能性がある。対応点とエピポーララインのずれ量が所定値以上である場合、対応点の位置の確認をユーザーに要求するためのメッセージがモニタ4に表示される(ステップS106)。より具体的には、ステップS106では、制御部49は、対応点の位置の確認をユーザーに要求するためのメッセージの生成をグラフィック画像生成部48に指示する。グラフィック画像生成部48は、メッセージを含むグラフィック画像信号を生成し、表示信号生成部50に出力する。表示信号生成部50は、制御部49が取り込んだ画像データと同じ画像データと、グラフィック画像生成部48によって生成されたグラフィック画像信号とを合成し、表示信号を生成する。モニタ4は、この表示信号に基づいて、メッセージが重畳された画像を表示する。
If the amount of deviation between the corresponding point and the epipolar line is equal to or greater than a predetermined value, the stereo adapter may be loose. If the amount of deviation between the corresponding point and the epipolar line is greater than or equal to a predetermined value, a message for requesting the user to confirm the position of the corresponding point is displayed on the monitor 4 (step S106). More specifically, in step S106, the
ユーザーは、操作部6を操作し、対応点の位置を確認した結果、すなわち対応点の位置が妥当か否かを判断した結果を入力する(ステップS107)。より具体的には、ステップS107では、ユーザーによって操作部6が操作され、判断結果が入力されると、操作検出部42はこの判断結果を検出し、制御部49に判断結果を通知する。制御部49は、判断結果に基づいて、以降の処理を決定する。
The user operates the operation unit 6 and inputs the result of confirming the position of the corresponding point, that is, the result of determining whether the position of the corresponding point is appropriate (step S107). More specifically, in step S <b> 107, when the operation unit 6 is operated by the user and a determination result is input, the
ステップS107でモニタ4に表示されている画像には、図6に示したように、計測点および対応点の位置を示すマークが重畳されている。この画像は、以下のようにして表示される。制御部49は、対応点算出部43が算出した計測点および対応点の2次元座標を取得し、グラフィック画像生成部48に通知する。グラフィック画像生成部48は、計測点および対応点の位置を示すマークを含むグラフィック画像信号を生成し、表示信号生成部50に出力する。これ以降は、前述した処理と同様の処理が行われ、モニタ4に画像が表示される。
In the image displayed on the
画像のテクスチャが不適切であることによる誤対応が発生しており、対応点の位置が妥当でないと判断された場合には、ステレオアダプターと挿入部20との位置関係が正しく検出されていないので、計測用のパラメータを補正すると計測精度が低下する可能性がある。この場合、以下のように、探索範囲を変更してマッチングが再度行われ、誤対応が発生していないことが確認されてから、計測用のパラメータが補正される。
Incorrect correspondence due to improper texture of the image has occurred, and if it is determined that the position of the corresponding point is not valid, the positional relationship between the stereo adapter and the
対応点の位置が妥当でないと判定された場合、制御部49は対応点算出部43にマッチングの実行を指示する。対応点算出部43は、探索範囲を拡大し(ステップS108)、マッチングを行う(ステップS109)。図11は、ステップS109のマッチングにおける探索範囲を示している。拡大される前の探索範囲A1(第1の処理条件)がy方向に拡大され、探索範囲A2(第2の処理条件)となる。ステップS109のマッチングでは、ステップS102で指定された計測点に対応する右画像上の対応点の2次元座標が算出され、指標値算出部45に対応点の2次元座標が通知される。この後、処理がステップS103に戻ってマッチングが行われる際の探索範囲は、拡大される前の探索範囲となる。
When it is determined that the position of the corresponding point is not appropriate, the
続いて、対応点の位置の確認をユーザーに要求するためのメッセージがモニタ4に表示される(ステップS110)。ステップS110で行われる処理は、ステップS106で行われる処理と同様である。ユーザーは、操作部6を操作し、対応点の位置を確認した結果、すなわち対応点の位置が妥当か否かを判断した結果を入力する(ステップS111)。ステップS111で行われる処理は、ステップS107で行われる処理と同様である。 Subsequently, a message for requesting the user to confirm the position of the corresponding point is displayed on the monitor 4 (step S110). The process performed in step S110 is the same as the process performed in step S106. The user operates the operation unit 6 and inputs the result of confirming the position of the corresponding point, that is, the result of determining whether the position of the corresponding point is appropriate (step S111). The process performed in step S111 is the same as the process performed in step S107.
画像のテクスチャが不適切であることによる誤対応が発生しており、対応点の位置が妥当でないと判断された場合には、ステレオアダプターと挿入部20との位置関係が正しく検出されていないので、計測用のパラメータを補正すると計測精度が低下する可能性がある。この場合、ステレオアダプターと挿入部20との位置関係を再度検出するために、計測点の変更をユーザーに要求するためのメッセージがモニタ4に表示される(ステップS112)。ステップS112で行われる処理は、ステップS106で行われる処理と同様である。メッセージの表示後、再度ステップS102で計測点が指定される。
Incorrect correspondence due to improper texture of the image has occurred, and if it is determined that the position of the corresponding point is not valid, the positional relationship between the stereo adapter and the
図8および図9では、ステップS111で対応点の位置が妥当でないと判断された場合、計測点の変更が行われるが、前述したように、画像の撮影が再度行われるようにしたり、ステレオアダプターの装着をやり直したりするようにしてもよい。例えば、画像の再撮影を促すメッセージがステップS112で表示された後、処理がステップS100に戻り、モニタ4に動画像が表示される。あるいは、ステレオアダプターの装着のやり直しを促すメッセージがステップS112で表示された後、ユーザーによって挿入部20が検査対象物から引き抜かれ、ステレオアダプターの装着がやり直された後、挿入部20が検査対象物に挿入される。この後、ステップS100からの処理が再度行われる。
8 and 9, when it is determined in step S111 that the position of the corresponding point is not valid, the measurement point is changed. However, as described above, the image is taken again, or the stereo adapter is used. You may make it re-mount. For example, after a message that prompts the user to reshoot the image is displayed in step S112, the process returns to step S100, and the moving image is displayed on the
一方、ステップS111で対応点の位置が妥当であると判断された場合、指標値算出部45は、ステップS109で再度算出された対応点の2次元座標とエピポーララインの式に基づいて、対応点とエピポーララインのずれ量を算出し、制御部49を介して補正部47にずれ量を通知する(ステップS113)。ステップS113でずれ量を算出する処理は、ステップS104でずれ量を算出する処理と同様である。
On the other hand, when it is determined in step S111 that the position of the corresponding point is valid, the index
続いて、補正部47は、計測精度の低下を防止するため、対応点とエピポーララインのずれ量に応じてエピポーララインの式を補正する(ステップS114)。ステップS114では、エピポーララインの式の切片bの値に対してずれ量を加算または減算することにより、エピポーララインの式が補正される。また、ステップS107で対応点の位置が妥当であると判断された場合も、補正部47はステップS114でエピポーララインの式を補正する。
Subsequently, the
エピポーララインの式の補正後、計測処理部44は、ステップS109における計測点および対応点の2次元座標に基づいて実空間上の3次元座標を算出する(ステップS116)。その後、計測点の指定が終了したか否かが判定され(ステップS117)、計測点の指定が終了していない場合には、再度ステップS103で計測点が指定される。
After correcting the epipolar line equation, the
また、計測点の指定が終了した場合には、計測処理部44は、指定された計測点に基づく3次元座標に基づいて被写体の実空間上の長さ等を算出する(ステップS118)。続いて、ステップS118で算出された長さ等の計測結果がモニタ4に表示され(ステップS119)、計測の処理が終了する。また、ステップS105でずれ量が所定値未満である場合、計測処理部44はステップS116で3次元座標を算出する。
When the measurement point designation is completed, the
上記のように、ステレオアダプターと挿入部20との位置関係に変化が生じ、対応点とエピポーララインのずれ量が所定値以上であると判定された(ステップS105)場合に、対応点の位置の確認がユーザーに要求され(ステップS106,S110)、対応点の位置が妥当であるとユーザーが判断した(ステップS107,S111)場合のみ、エピポーララインの式が補正される(ステップS114)。これによって、ステレオアダプターと挿入部20との位置関係に変化が生じている場合にエピポーララインの式を補正しつつ、誤対応が発生した場合にエピポーララインの式が補正されることを回避することが可能となるので、計測精度の低下を低減することができる。また、対応点とエピポーララインのずれ量が所定値未満であると判定された(ステップS105)場合には、対応点の位置の確認をユーザーに要求する処理や、エピポーララインの式を補正する処理を省くことができる。
As described above, when the positional relationship between the stereo adapter and the
また、対応点の位置が妥当でないとユーザーが判断した(ステップS107)場合に探索範囲を広げて再度マッチングを行い(ステップS109)、対応点の位置の確認をユーザーに再度要求する(ステップS110)ことによって、誤対応の発生を低減することができる。 When the user determines that the position of the corresponding point is not valid (step S107), the search range is expanded and matching is performed again (step S109), and the user is requested to confirm the position of the corresponding point again (step S110). As a result, the occurrence of erroneous correspondence can be reduced.
(第2の動作例)
図12および図9は、第2の動作例における内視鏡装置1の動作の手順を示している。図9に示す動作は第1の動作例と共通である。第1の動作例では、ステレオアダプターに緩みが生じている場合でも、マッチングにより偽の対応点が検出され、その偽の対応点が偶然エピポーララインの近傍に存在していると、ステレオアダプターに緩みが生じていることを検出することができない。このため、第2の動作例では、ステレオアダプターと挿入部20との位置関係を示す指標値として、対応点とエピポーララインのずれ量と、左右の画像の相関を示す相関値との両方を使用する。
(Second operation example)
FIG. 12 and FIG. 9 show an operation procedure of the endoscope apparatus 1 in the second operation example. The operation shown in FIG. 9 is common to the first operation example. In the first operation example, even if the stereo adapter is loose, if a false corresponding point is detected by matching, and the false corresponding point is in the vicinity of the epipolar line, the stereo adapter is loosened. Cannot be detected. For this reason, in the second operation example, as the index value indicating the positional relationship between the stereo adapter and the
ステップS103では、対応点算出部43は、左画像上の計測点の位置を基準とするパターンエリアの画像と、右画像上の探索範囲のうちパターンエリアと同じサイズの画像との間で、探索範囲内で画像の位置をずらしながら各位置で、公知の正規化相互相関によるマッチングを行う。このマッチングに利用する正規化相互相関関数M(u,v)には、一般的に以下の式を用いる。すなわち、t(x,y)をテンプレートとし、g(x,y)を画像データとし、t’をテンプレートの平均輝度とし、さらに、g’を画像の平均輝度として、以下の(4)式が適用される。ここでΣΣSは画素の和をとることを表す。
M(u,v)={ΣΣS(g(x+u,y+v)−g’)(t(x,y)−t’)}/{ΣΣS(g(x+u,y+v)−g’)2×ΣΣS(t(x,y)−t’)2}1/2 ・・・(4)
In step S103, the corresponding
M (u, v) = {ΣΣ S (g (x + u, y + v) −g ′) (t (x, y) −t ′)} / {ΣΣ S (g (x + u, y + v) −g ′) 2 × ΣΣ S (t (x, y) −t ′) 2 } 1/2 (4)
最も正規化相互相関係数が大きくなる座標(X,Y)が対応点の2次元座標であり、正規化相互相関係数の最大値(−1〜1のいずれかの値)が本実施形態の相関値である。本実施形態の対応点算出部43は、本発明の内視鏡装置における対応点算出部と指標値算出部の両方に対応する。対応点算出部43が算出した相関値は判定部46に通知される。
The coordinate (X, Y) at which the normalized cross-correlation coefficient is the largest is the two-dimensional coordinate of the corresponding point, and the maximum value of the normalized cross-correlation coefficient (any value of −1 to 1) is the present embodiment. Is the correlation value. The corresponding
ステップS105で対応点とエピポーララインのずれ量が所定値未満である場合、判定部46は、相関値が所定値以上であるか否かを判定する(ステップS120)。相関値が所定値未満である場合、ステレオアダプターに緩みが生じている可能性があるため、ステップS106で対応点の位置の確認をユーザーに要求するためのメッセージがモニタ4に表示される。また、相関値が所定値以上である場合、計測処理部44はステップS116で3次元座標を算出する。
If the deviation amount between the corresponding point and the epipolar line is less than the predetermined value in step S105, the
上記のように、対応点とエピポーララインのずれ量が所定値未満であると判定された(ステップS105)場合に、相関値が所定値以上であるか否かが判定され(ステップS120)、相関値が所定値以下である場合に、ステレオアダプターに緩みが生じていると判定され、対応点の位置の確認がユーザーに要求される(ステップS106)。これによって、ステレオアダプターに緩みが生じているか否かの判定の精度を向上させることができる。 As described above, when it is determined that the amount of deviation between the corresponding point and the epipolar line is less than the predetermined value (step S105), it is determined whether or not the correlation value is greater than or equal to the predetermined value (step S120). When the value is equal to or smaller than the predetermined value, it is determined that the stereo adapter is loose, and the user is requested to confirm the position of the corresponding point (step S106). Thereby, it is possible to improve the accuracy of determining whether or not the stereo adapter is loose.
上記では正規化相互相関係数に基づく相関値を用いて、ステレオアダプターに緩みが生じているか否かを判定しているが、画像のコントラスト値を用いて同様の判定を行ってもよい。 In the above description, it is determined whether or not the stereo adapter is loosened using the correlation value based on the normalized cross-correlation coefficient. However, the same determination may be performed using the contrast value of the image.
(第3の動作例)
第3の動作例では、ステップS108,S109,S111で行われる処理が、第1の動作例の各ステップで行われる処理と異なる。ステップS108では、ステップS103で設定される探索範囲よりも広い範囲に対して複数の探索範囲が設定される。図13は、ステップS108で設定される探索範囲の一例を示している。図13に示す例では、5つの探索範囲A10〜A14が設定される。設定される探索範囲の数は複数であればよい。ステップS109では、ステップS108で設定された探索範囲毎にマッチングが行われる。
(Third operation example)
In the third operation example, the processing performed in steps S108, S109, and S111 is different from the processing performed in each step of the first operation example. In step S108, a plurality of search ranges are set for a range wider than the search range set in step S103. FIG. 13 shows an example of the search range set in step S108. In the example shown in FIG. 13, five search ranges A10 to A14 are set. The number of search ranges to be set may be plural. In step S109, matching is performed for each search range set in step S108.
ステップS111では、探索範囲毎のマッチングで求められた各対応点の位置を示すマークが重畳された画像が表示される。つまり、モニタ4に表示される画像には複数のマークが表示される。ユーザーは、操作部6を操作し、最も正確な(妥当な)対応点を選択した結果を入力する。また、全ての対応点が正確でないと判断される場合、ユーザーは、操作部6を操作し、その旨を示す情報を入力する。
In step S111, an image on which a mark indicating the position of each corresponding point obtained by matching for each search range is superimposed is displayed. That is, a plurality of marks are displayed on the image displayed on the
全ての対応点が正確でないと判断された場合、ステップS112で計測点の変更をユーザーに要求するためのメッセージがモニタ4に表示される。また、最も正確な対応点が選択された場合、ステップS113でエピポーララインと、選択された対応点とのずれ量が算出される。
If it is determined that all the corresponding points are not accurate, a message for requesting the user to change the measurement point is displayed on the
上記のように、複数の探索範囲でマッチングを行うと、第1の動作例にように探索範囲を広げてマッチングを行うことと比較して、より正確な対応点が求まる場合がある。例えば、ステップS103で設定される探索範囲の外に、真の対応点と、真の対応点で得られる相関値よりも高い相関値が得られる偽の対応点とが存在している場合に、第1の動作例のように単純に探索範囲を広げてマッチングを行うと、偽の対応点が検出される場合がある。しかし、上記のように複数の探索範囲を設定した場合に、真の対応点と偽の対応点とが異なる探索範囲内に存在していれば、それぞれが別々に検出され、ユーザーによって真の対応点が選択される。したがって、より正確な対応点をユーザーが選択することができる。 As described above, when matching is performed in a plurality of search ranges, more accurate corresponding points may be obtained as compared to performing matching by expanding the search range as in the first operation example. For example, when there is a true corresponding point and a false corresponding point at which a correlation value higher than the correlation value obtained at the true corresponding point exists outside the search range set in step S103, If matching is performed by simply expanding the search range as in the first operation example, a false corresponding point may be detected. However, when multiple search ranges are set as described above, if the true corresponding point and the false corresponding point exist in different search ranges, each is detected separately, and the true response by the user A point is selected. Therefore, the user can select a more accurate corresponding point.
(第4の動作例)
図14および図9は、第4の動作例における内視鏡装置1の動作の手順を示している。図9に示す動作は第1の動作例と共通である。図14に示す動作では、図8に示す動作と比較して、ステップS130〜S133の処理が追加されている点が異なる。ステップS101で画像データがRAM14に保存された後、判定部46は、以後の判定で使用する変数iの値を0に初期化する(ステップS130)。続いて、ステップS102で計測点の位置が指定される。
(Fourth operation example)
FIG. 14 and FIG. 9 show an operation procedure of the endoscope apparatus 1 in the fourth operation example. The operation shown in FIG. 9 is common to the first operation example. The operation shown in FIG. 14 is different from the operation shown in FIG. 8 in that the processes in steps S130 to S133 are added. After the image data is stored in the
ステップS105で対応点とエピポーララインのずれ量が所定値以上であると判定された場合、判定部46は変数iの値を1増加する(ステップS131)。また、ステップS105で対応点とエピポーララインのずれ量が所定値未満であると判定された場合、判定部46は変数iの値を0に初期化する(ステップS132)。ステップS132で変数iの値が0に初期化された後、計測処理部44はステップS116で3次元座標を算出する。
If it is determined in step S105 that the amount of deviation between the corresponding point and the epipolar line is greater than or equal to a predetermined value, the
ステップS131で変数iの値が1増加された後、判定部46は、変数iの値が所定値(2以上の整数)以上であるか否かを判定する(ステップS133)。変数iの値が所定値以上である場合、ステップS106で対応点の位置の確認をユーザーに要求するためのメッセージがモニタ4に表示される。また、変数iの値が所定値未満である場合、計測処理部44はステップS116で3次元座標を算出する。
After the value of the variable i is incremented by 1 in step S131, the
上記の処理では、所定回数連続で計測点が指定され(ステップS102)、それらの計測点に対応する対応点とエピポーララインのずれ量が全て所定値以上であると判定された(ステップS105)場合に、変数iの値が所定値以上となり、ステレオアダプターに緩みが生じていると判定され(ステップS133)、対応点の位置の確認がユーザーに要求される(ステップS106)。このように、対応点とエピポーララインのずれ量が所定値以上であることが所定回数続く場合には、ステレオアダプターに緩みが生じていると判定される。 In the above processing, when measurement points are designated consecutively a predetermined number of times (step S102), and it is determined that the deviations between corresponding points corresponding to these measurement points and the epipolar line are all greater than or equal to a predetermined value (step S105). In addition, it is determined that the value of the variable i is equal to or greater than the predetermined value and the stereo adapter is loose (step S133), and the user is requested to confirm the position of the corresponding point (step S106). In this way, when the deviation amount between the corresponding point and the epipolar line continues to be a predetermined value or more for a predetermined number of times, it is determined that the stereo adapter is loose.
また、対応点とエピポーララインのずれ量が所定値未満であると判定される(ステップS105)と、変数iの値が0に初期化される(ステップS132)。したがって、対応点とエピポーララインのずれ量が所定値以上であることが所定回数続かない場合には、仮にずれ量が一定値以上であっても、その原因はステレオアダプターの緩みではなく、部分的な画像のテクスチャが不適切であることによる誤対応であると考えられるため、エピポーララインの式の補正は行われない。これによって、エピポーララインの式が誤って補正されることを回避することができる。この場合、計測結果の信頼性が低いことをユーザーに通知してもよい。 If it is determined that the amount of deviation between the corresponding point and the epipolar line is less than a predetermined value (step S105), the value of the variable i is initialized to 0 (step S132). Therefore, if the deviation amount between the corresponding point and the epipolar line does not continue for a predetermined number of times, even if the deviation amount exceeds a certain value, the cause is not a loosening of the stereo adapter, but a partial The epipolar line equation is not corrected because it is considered to be a false response due to the inappropriate texture of the correct image. As a result, it is possible to avoid erroneous correction of the epipolar line equation. In this case, the user may be notified that the reliability of the measurement result is low.
(第5の動作例)
第5の動作例は第4の動作例の変形である。図15および図9は、第5の動作例における内視鏡装置1の動作の手順を示している。図9に示す動作は第1の動作例と共通である。図15に示す動作では、図14に示す動作と比較して、ステップS103のマッチング時に相関値が算出され、ステップS104の処理が削除され、ステップS105の処理がステップS140の処理に変更されている点が異なる。
(Fifth operation example)
The fifth operation example is a modification of the fourth operation example. FIG. 15 and FIG. 9 show the procedure of the operation of the endoscope apparatus 1 in the fifth operation example. The operation shown in FIG. 9 is common to the first operation example. In the operation illustrated in FIG. 15, compared with the operation illustrated in FIG. 14, the correlation value is calculated at the time of matching in step S <b> 103, the process in step S <b> 104 is deleted, and the process in step S <b> 105 is changed to the process in step S <b> 140. The point is different.
ステップS103の処理が行われた後、判定部46は、相関値が所定値以下であるか否かを判定する(ステップS140)。相関値が所定値以下である場合、判定部46は変数iの値を1増加する(ステップS131)。また、相関値が所定値を超えている場合、判定部46は変数iの値を0に初期化する(ステップS132)。
After the process of step S103 is performed, the
上記の処理では、所定回数連続で計測点が指定され(ステップS102)、それらの計測点に対応する対応点を算出したときの相関値が全て所定値以下であると判定された(ステップS140)場合に、変数iの値が所定値以上となり、ステレオアダプターに緩みが生じていると判定され(ステップS133)、対応点の位置の確認がユーザーに要求される(ステップS106)。このように、相関値が所定値以下であることが所定回数続く場合には、ステレオアダプターに緩みが生じていると判定される。 In the above processing, measurement points are designated a predetermined number of times in succession (step S102), and it is determined that all correlation values when calculating corresponding points corresponding to these measurement points are equal to or less than a predetermined value (step S140). In this case, the value of the variable i becomes equal to or greater than the predetermined value, it is determined that the stereo adapter is loose (step S133), and the user is requested to confirm the position of the corresponding point (step S106). As described above, when the correlation value is less than or equal to the predetermined value for a predetermined number of times, it is determined that the stereo adapter is loose.
また、相関値が所定値を超えていると判定される(ステップS140)と、変数iの値が0に初期化される(ステップS133)。したがって、相関値が所定値以下であることが所定回数続かない場合には、仮に相関値が一定値以下であっても、その原因はステレオアダプターの緩みではなく、部分的な画像のテクスチャが不適切であることであると考えられるため、エピポーララインの式の補正は行われない。これによって、エピポーララインの式が誤って補正されることを回避することができる。この場合、計測結果の信頼性が低いことをユーザーに通知してもよい。 If it is determined that the correlation value exceeds the predetermined value (step S140), the value of the variable i is initialized to 0 (step S133). Therefore, if the correlation value does not continue below the predetermined value for a predetermined number of times, even if the correlation value is below the predetermined value, the cause is not the looseness of the stereo adapter, but the texture of the partial image is not good. The epipolar line equation is not corrected because it is considered appropriate. As a result, it is possible to avoid erroneous correction of the epipolar line equation. In this case, the user may be notified that the reliability of the measurement result is low.
(第6の動作例)
第6の動作例は第4の動作例および第5の動作例の変形である。図16および図9は、第6の動作例における内視鏡装置1の動作の手順を示している。図9に示す動作は第1の動作例と共通である。図16に示す動作では、図14に示す動作と比較して、ステップS103のマッチング時に相関値が算出され、ステップS105の処理がステップS150の処理に変更されている点が異なる。
(Sixth operation example)
The sixth operation example is a modification of the fourth operation example and the fifth operation example. FIGS. 16 and 9 show the procedure of the operation of the endoscope apparatus 1 in the sixth operation example. The operation shown in FIG. 9 is common to the first operation example. The operation shown in FIG. 16 differs from the operation shown in FIG. 14 in that a correlation value is calculated at the time of matching in step S103, and the processing in step S105 is changed to the processing in step S150.
ステップS104の処理が行われた後、判定部46は、対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下であるか否かを判定する(ステップS150)。対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下である場合、判定部46は変数iの値を1増加する(ステップS131)。また、対応点とエピポーララインのずれ量が所定値未満であるか、対応点の位置を算出したときの相関値が所定値を超えている場合、判定部46は変数iの値を0に初期化する(ステップS132)。
After the process of step S104 is performed, the
上記の処理では、所定回数連続で計測点が指定され(ステップS102)、それらの計測点に対応する対応点とエピポーララインのずれ量が全て所定値以上であり、対応点を算出したときの相関値が全て所定値以下であると判定された(ステップS150)場合に、変数iの値が所定値以上となり、ステレオアダプターに緩みが生じていると判定され(ステップS133)、対応点の位置の確認がユーザーに要求される(ステップS106)。このように、対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下であることが所定回数続く場合には、ステレオアダプターに緩みが生じていると判定される。 In the above processing, measurement points are designated a predetermined number of times in succession (step S102), and the deviations between the corresponding points corresponding to these measurement points and the epipolar line are all greater than or equal to a predetermined value, and the correlation when the corresponding points are calculated. When it is determined that all the values are less than or equal to the predetermined value (step S150), it is determined that the value of the variable i is equal to or greater than the predetermined value and the stereo adapter is loosened (step S133). Confirmation is requested from the user (step S106). As described above, when the deviation amount between the corresponding point and the epipolar line is not less than the predetermined value and the correlation value is not more than the predetermined value continues for a predetermined number of times, it is determined that the stereo adapter is loose.
また、対応点とエピポーララインのずれ量が所定値未満であるか相関値が所定値を超えていると判定される(ステップS150)と、変数iの値が0に初期化される(ステップS133)。したがって、対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下であることが所定回数続かない場合には、仮に対応点とエピポーララインのずれ量が所定値以上かつ相関値が一定値以下であっても、その原因はステレオアダプターの緩みではなく、部分的な画像のテクスチャが不適切であることであると考えられるため、エピポーララインの式の補正は行われない。これによって、エピポーララインの式が誤って補正されることを回避することができる。この場合、計測結果の信頼性が低いことをユーザーに通知してもよい。 If it is determined that the amount of deviation between the corresponding point and the epipolar line is less than a predetermined value or the correlation value exceeds a predetermined value (step S150), the value of the variable i is initialized to 0 (step S133). ). Therefore, if the deviation between the corresponding point and the epipolar line is not less than the predetermined value and the correlation value is not more than the predetermined value, the deviation between the corresponding point and the epipolar line is not less than the predetermined value and the correlation value is Even if it is less than a certain value, the cause is not the looseness of the stereo adapter, but the partial image texture is considered to be inappropriate, so the epipolar line equation is not corrected. As a result, it is possible to avoid erroneous correction of the epipolar line equation. In this case, the user may be notified that the reliability of the measurement result is low.
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the above-described embodiments, and includes design changes and the like without departing from the gist of the present invention. .
1・・・内視鏡装置、2・・・内視鏡ユニット、3・・・装置本体、4・・・モニタ、5・・・筐体、6・・・操作部、8・・・内視鏡ユニット、9・・・CCU、10・・・制御ユニット、12・・・映像信号処理回路、13・・・ROM、14・・・RAM、18・・・CPU、28・・・撮像素子、41・・・映像信号生成部、42・・・操作検出部、43・・・対応点算出部、44・・・計測処理部、45・・・指標値算出部、46・・・判定部、47・・・補正部、48・・・グラフィック画像生成部、49・・・制御部、50・・・表示信号生成部 DESCRIPTION OF SYMBOLS 1 ... Endoscope apparatus, 2 ... Endoscope unit, 3 ... Apparatus main body, 4 ... Monitor, 5 ... Case, 6 ... Operation part, 8 ... Inside Endoscopic unit, 9 ... CCU, 10 ... control unit, 12 ... video signal processing circuit, 13 ... ROM, 14 ... RAM, 18 ... CPU, 28 ... imaging device , 41 ... Video signal generation unit, 42 ... Operation detection unit, 43 ... Corresponding point calculation unit, 44 ... Measurement processing unit, 45 ... Index value calculation unit, 46 ... Determination unit , 47... Correction unit, 48... Graphic image generation unit, 49... Control unit, 50.
Claims (10)
前記撮像信号に基づいて映像信号を生成する映像信号生成部と、
前記光学系の光学特性と、前記光学系および前記挿入部の位置関係とに基づく環境データを記憶する記憶部と、
前記映像信号に基づいて、第1の被写体像において指定された計測点の位置から、前記第1の被写体像に対して視差を有する第2の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、
前記位置関係を示す指標値を算出する指標値算出部と、
前記指標値に基づいて、前記位置関係の変化を判定する判定部と、
前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、
前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、
前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、
前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、
前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、
を備えたことを特徴とする内視鏡装置。 An endoscope that generates an imaging signal based on a subject image formed by the optical system, and an insertion unit that can replace the optical system;
A video signal generation unit that generates a video signal based on the imaging signal;
A storage unit that stores environmental data based on optical characteristics of the optical system and a positional relationship between the optical system and the insertion unit;
Based on the video signal, the position of the corresponding point corresponding to the measurement point in the second subject image having a parallax with respect to the first subject image from the position of the measurement point designated in the first subject image A corresponding point calculation unit for calculating
An index value calculation unit for calculating an index value indicating the positional relationship;
A determination unit that determines a change in the positional relationship based on the index value;
A display unit that superimposes and displays the measurement points and the corresponding points on an image based on the video signal;
When it is determined that the positional relationship has changed, a request unit that requests the user to confirm the position of the corresponding point; and
An input unit for inputting a result of determining the validity of the position of the corresponding point by the user who has confirmed the position of the corresponding point;
When it is determined that the position of the corresponding point is appropriate, a correction unit that corrects a measurement parameter generated from the environmental data by the change in the positional relationship based on the index value;
A measurement unit that measures the size of the subject based on the parameters corrected by the correction unit;
An endoscope apparatus comprising:
前記第1の対応点の位置が妥当でないと判断された場合に、前記対応点算出部は、前記第1の条件と異なる第2の条件に基づいて前記計測点に対する第2の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第2の対応点を重畳して表示することを特徴とする請求項1または請求項2に記載の内視鏡装置。 The corresponding point calculation unit calculates a position of the first corresponding point with respect to the measurement point based on a first condition, and the display unit calculates the measurement point and the first point for the image based on the video signal. Corresponding points of
When it is determined that the position of the first corresponding point is not valid, the corresponding point calculation unit determines the position of the second corresponding point with respect to the measurement point based on a second condition different from the first condition. The display unit displays the measurement point and the second corresponding point superimposed on an image based on the video signal. Endoscopic device.
前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第1の対応点を重畳して表示し、
前記要求部は、前記第1の対応点の位置の確認をユーザーに要求し、
前記入力部は、前記第1の対応点の位置を確認したユーザーが前記第1の対応点の位置の妥当性を判断した結果を入力し、
前記補正部は、前記第1の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする請求項1または請求項2に記載の内視鏡装置。 The corresponding point calculation unit calculates a position of the first corresponding point with respect to the measurement point based on a first condition,
The display unit superimposes and displays the measurement point and the first corresponding point on an image based on the video signal,
The request unit requests the user to confirm the position of the first corresponding point;
The input unit inputs a result of determining the validity of the position of the first corresponding point by the user who confirmed the position of the first corresponding point;
When the position of the first corresponding point is determined to be valid, the correction unit corrects the measurement parameter generated from the environmental data by the change in the positional relationship based on the index value. The endoscope apparatus according to claim 1 or 2, characterized in that:
前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第2の対応点を重畳して表示し、
前記要求部は、前記第2の対応点の位置の確認をユーザーに要求し、
前記補正部は、前記第2の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする請求項4に記載の内視鏡装置。 The corresponding point calculation unit determines the position of the second corresponding point relative to the measurement point based on a second condition different from the first condition when it is determined that the position of the first corresponding point is not valid. To calculate
The display unit superimposes and displays the measurement point and the second corresponding point on an image based on the video signal,
The request unit requests the user to confirm the position of the second corresponding point;
When the position of the second corresponding point is determined to be valid, the correction unit corrects the measurement parameter generated from the environmental data by the change in the positional relationship based on the index value. The endoscope apparatus according to claim 4, wherein:
前記判定部は、2種類の前記指標値に基づいて、前記位置関係の変化を判定する
ことを特徴とする請求項1〜請求項5のいずれか一項に記載の内視鏡装置。 The index value calculation unit calculates two types of index values indicating the positional relationship,
The endoscope apparatus according to any one of claims 1 to 5, wherein the determination unit determines a change in the positional relationship based on two types of index values.
前記映像信号に基づいて、第1の被写体像において指定された計測点の位置から、前記第1の被写体像に対して視差を有する第2の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、
前記位置関係を示す指標値を算出する指標値算出部と、
前記指標値に基づいて、前記位置関係の変化を判定する判定部と、
前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、
前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、
前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、
前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、
前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、
としてコンピュータを機能させるためのプログラム。 An endoscope that generates an imaging signal based on a subject image formed by the optical system, an insertion unit that can replace the optical system, and a video signal generation unit that generates a video signal based on the imaging signal; A storage unit that stores environmental data based on the optical characteristics of the optical system in the endoscope apparatus having the positional relationship between the optical system and the insertion unit;
Based on the video signal, the position of the corresponding point corresponding to the measurement point in the second subject image having a parallax with respect to the first subject image from the position of the measurement point designated in the first subject image A corresponding point calculation unit for calculating
An index value calculation unit for calculating an index value indicating the positional relationship;
A determination unit that determines a change in the positional relationship based on the index value;
A display unit that superimposes and displays the measurement points and the corresponding points on an image based on the video signal;
When it is determined that the positional relationship has changed, a request unit that requests the user to confirm the position of the corresponding point; and
An input unit for inputting a result of determining the validity of the position of the corresponding point by the user who has confirmed the position of the corresponding point;
When it is determined that the position of the corresponding point is appropriate, a correction unit that corrects a measurement parameter generated from the environmental data by the change in the positional relationship based on the index value;
A measurement unit that measures the size of the subject based on the parameters corrected by the correction unit;
As a program to make the computer function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012168354A JP5976436B2 (en) | 2012-07-30 | 2012-07-30 | Endoscope apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012168354A JP5976436B2 (en) | 2012-07-30 | 2012-07-30 | Endoscope apparatus and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016142318A Division JP2016186662A (en) | 2016-07-20 | 2016-07-20 | Endoscope apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014026217A JP2014026217A (en) | 2014-02-06 |
JP5976436B2 true JP5976436B2 (en) | 2016-08-23 |
Family
ID=50199875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012168354A Active JP5976436B2 (en) | 2012-07-30 | 2012-07-30 | Endoscope apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5976436B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6635450B2 (en) | 2016-07-12 | 2020-01-22 | オリンパス株式会社 | Endoscope device |
JP2016186662A (en) * | 2016-07-20 | 2016-10-27 | オリンパス株式会社 | Endoscope apparatus and program |
WO2018037778A1 (en) * | 2016-08-26 | 2018-03-01 | オリンパス株式会社 | Measurement processing device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4632577B2 (en) * | 2001-05-30 | 2011-02-16 | オリンパス株式会社 | Measuring endoscope device |
JP4373037B2 (en) * | 2001-08-31 | 2009-11-25 | オリンパス株式会社 | Measuring endoscope device |
JP4759184B2 (en) * | 2001-08-31 | 2011-08-31 | オリンパス株式会社 | Measuring endoscope device |
JP5231173B2 (en) * | 2007-12-27 | 2013-07-10 | オリンパス株式会社 | Endoscope device for measurement and program |
JP5073564B2 (en) * | 2008-04-15 | 2012-11-14 | オリンパス株式会社 | Endoscope device for measurement and program |
JP5231075B2 (en) * | 2008-04-17 | 2013-07-10 | オリンパス株式会社 | Endoscope apparatus and program |
JP2011027912A (en) * | 2009-07-23 | 2011-02-10 | Olympus Corp | Endoscope, measuring method, and program |
JP2011170276A (en) * | 2010-02-22 | 2011-09-01 | Olympus Corp | Endoscope device and program |
-
2012
- 2012-07-30 JP JP2012168354A patent/JP5976436B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014026217A (en) | 2014-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7564626B2 (en) | Stereo-measurement borescope with 3-D viewing | |
JP4343341B2 (en) | Endoscope device | |
JP5361592B2 (en) | Endoscope apparatus, measurement method, and program | |
JP4885479B2 (en) | Endoscope device for measurement and program for endoscope | |
JP5113990B2 (en) | Endoscope device for measurement | |
JP2011182977A (en) | Endoscope apparatus and program | |
JP6810587B2 (en) | Endoscope device, how to operate the endoscope device | |
WO2017199285A1 (en) | Image processing device and image processing method | |
JP5231173B2 (en) | Endoscope device for measurement and program | |
JP2020126208A (en) | Three-dimensional image display method, three-dimensional image display device, and program | |
JP5976436B2 (en) | Endoscope apparatus and program | |
JP6789899B2 (en) | Measuring device and operating method of measuring device | |
JP2006329684A (en) | Image measuring instrument and method | |
US20200053296A1 (en) | Measurement device, method of operating measurement device, and recording medium | |
US9345394B2 (en) | Medical apparatus | |
WO2015159835A1 (en) | Image processing device, image processing method, and program | |
JP2011170276A (en) | Endoscope device and program | |
JP4750197B2 (en) | Endoscope device | |
CN110873717B (en) | Image acquisition device and method for operating image acquisition device | |
JP6081209B2 (en) | Endoscope apparatus and program | |
JP6806633B2 (en) | Measuring device and operating method of measuring device | |
JPWO2021064867A5 (en) | Image processing equipment, control methods and programs | |
JP2016186662A (en) | Endoscope apparatus and program | |
JP6400767B2 (en) | Measuring endoscope device | |
WO2017199657A1 (en) | Endoscope device, measurement method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160720 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5976436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |