JPWO2018159292A1 - 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ - Google Patents

Abstract

本発明は、簡易な構成で正確な指標を表示できる計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサを提供することを目的とする。本発明の一の態様に係る計測支援装置では、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶部に記憶しておき、計測したスポットの座標に基づいて記憶部を参照して円形マーカを示す点の座標を取得し、取得した座標に基づいて円形マーカを表示するので、距離計測が不要であり、構成が簡易で処理負荷が低い。また、スポットの近傍に円形マーカを表示する（例えば、スポット位置を中心とする）ので、スポット位置とマーカ位置とのずれが少ないため指標として正確であり、また指標を広範囲に表示しないので処理負荷が少ない。

Description

本発明は計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサに係り、特に計測補助光を用いて被検体の大きさを計測する計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサに関する。

内視鏡等の計測装置の分野では、被検体までの距離を計測したり、被検体の長さ、大きさを算出したりすることが行われている。例えば特許文献１では、ステレオカメラで被写体距離を計測し、被写体距離と内視鏡の視野角とに基づいて被写体の大きさの目安となる目印の大きさを計算し、被写体の画像とともに目印を表示することが記載されており、この目印により被写体の大きさを知ることができる。

また、特許文献２には測定光を用いて観察部（観察対象）までの距離及び観察部の大きさを求める技術が記載されている。特許文献２では、照明光の照射方向に対して測定光を斜めに照射することで、内視鏡挿入部の先端から観察部までの距離及び観察部の位置の分解能の向上を計っている。また特許文献２では、取得した画像に物差しの画像（スケール画像）を重畳表示して計測に用いることが記載されている。

また、特許文献３には計測指標となる目盛に光学系の歪曲収差と同等の歪みを与え、歪曲させた目盛をリアルタイムで撮影画像と合成表示することが記載されている。Zhangの手法等により歪曲収差補正用のパラメータ、マトリクスを求め、これに対する逆変換を行うパラメータ、マトリクスを求めることで、目盛の歪曲を計算できる旨が記載されている。

特開２００８−１２２７５９号公報 特開平７−１３６１０１号公報 特開２０１１−６９９６５号公報

上述の特許文献１ではステレオカメラにより距離を計測するため２台のカメラが必要であり、内視鏡先端部が大きくなるため被検体への負担が高くなる。さらに、距離計測を行いその結果に基づいて目印の大きさを算出するため、システム構成及び処理が複雑になる。

内視鏡による観察の場合は被写体に凹凸があることが多く、この場合撮像光学系が被写体に正対しない。このため、計測用の指標は計測光のスポットが当たっている位置において大きさの指標として最も確からしく、スポットの位置から離れるほど指標として不正確になるため、特許文献２のように物差し画像を任意の位置及び角度に移動、回転させると指標として不正確になり易い。

また、特許文献３では距離センサでレーザ受光量を計測して撮像フレームレートで距離を計算し、その距離における目盛幅を算出するので、システム構成及び処理が複雑になる。また、画面の広い範囲に目盛を表示する場合、広い範囲で歪みを補正する必要があるため変換パラメータ、マトリクスの計算量が多くなり負荷が高くなる上に、Zhangの手法は画面全体を一組（６個）のパラメータで表現するため補正の精度が低い。さらに、画面の広い範囲に目盛を表示する場合、特許文献２について上述したのと同様に目盛の周辺部はスポットから遠くなるため指標として不正確になり易い。

このように、従来の技術では指標の生成による負荷が高く、また正確な指標を表示することが困難であった。

本発明はこのような事情に鑑みてなされたもので、簡易な構成で正確な指標を表示できる計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る計測支援装置は、計測補助光を出射するヘッドと、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、画像におけるスポットの座標を計測する計測部と、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶する記憶部であって、画像の撮像距離を変化させた場合にスポットが画像を移動する軌跡における複数の点に対して円形マーカを示す点の座標を記憶する記憶部と、計測したスポットの座標に基づいて記憶部を参照して、スポットの座標に対応する円形マーカを示す点の座標を取得する座標取得部と、取得した座標に基づいて画像におけるスポットの近傍に円形マーカを表示させる表示制御部と、を備え、ヘッドは、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し０度でない傾き角を有し撮像光学系の画角を横切る計測補助光を出射する。

第１の態様によれば、スポットの座標に基づいて記憶部を参照して円形マーカ（歪曲円形マーカ）を示す点の座標を取得し、取得した座標に基づいて円形マーカを表示するので、距離計測が不要であり、構成が簡易で処理負荷が低い。また、スポットの近傍に円形マーカを表示する（例えば、スポット位置を中心とする）ので、スポット位置とマーカ位置とのずれが少ないため指標として正確であり、また指標を広範囲に表示しないので処理負荷が少ない。

第１の態様において、撮像距離を変化させた場合にスポットが画像を移動する軌跡は撮像光学系の光軸と計測補助光の光軸との関係に応じて一意に決まるので、この軌跡上の点に対してマーカの座標を求めれば良い。なお、軌跡におけるスポットの位置は撮像距離に対応しているので、スポット位置が異なる場合は実寸サイズが同一でも画像におけるマーカの表示サイズが異なる。

また、第１の態様において「軌跡における複数の点に対して円形マーカを示す点の座標を記憶する」については、軌跡上の多くの点（例えば、全ての画素）に対してデータを記憶してもよいし、軌跡上の一部の点（画素）に対してのみデータを記憶してもよい。「円形マーカを示す点の座標を取得する」には、記憶されている座標をそのまま用いる態様と、記憶されている座標に基づいて表示に用いる座標を算出する態様とが含まれる。

また、第１の態様によれば、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し０度でない傾き角を有し、撮像光学系の画角を横切るので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助光を撮像光学系の視野に入れることができる。さらに、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し０度でない傾き角を有するので、観察距離の変化に対するスポットの位置変化の感度が高く、計測精度が高い。

このように、第１の態様に係る計測支援装置によれば、簡易な構成で正確な指標を表示することができる。なお第１の態様において、マーカの表示はリアルタイム（スポット画像を取得するフレームごとに、あるいは複数フレームに対して１回）で行ってもよいし、オフラインで行ってもよい（スポットが形成された画像を取得しておけば、事後的なマーカ表示が可能である）。

第２の態様に係る計測支援装置は第１の態様において、座標取得部は、複数の点のうちスポットとの距離がしきい値以下の点に対応した円形マーカを示す点の座標を取得する。スポットと離れた点について円形マーカを示す点の座標を取得すると不正確なマーカ（本来表示すべきマーカと形状、大きさが異なるマーカ）になるので、第２の態様のように軌跡における複数の点のうちスポットとの距離がしきい値以下の点に対応した円形マーカを示す点の座標を取得することで、正確なマーカを表示することができる。しきい値は、正確なマーカを表示できるように決める。なお第２の態様において、スポットの位置に対してマーカを示す点の座標が記憶されていれば、上述した「距離」はゼロである。

第３の態様に係る計測支援装置は第１の態様において、座標取得部は、複数の点のうちスポットを挟む２つ以上の点に対応した座標を内挿して円形マーカを示す点の座標を取得する。第３の態様は座標取得の１つの態様であり、軌跡における全ての点（画素）についてマーカを示す点の座標が記憶されていない場合にこのような処理を行うことができる。

第４の態様に係る計測支援装置は第１の態様において、座標取得部は、複数の点のうちスポットを挟まない２つ以上の点に対応した座標を外挿して円形マーカを示す点の座標を取得する。第４の態様は、座標取得の他の態様であり、軌跡における全ての点（画素）についてマーカを示す点の座標が記憶されていない場合にこのような処理を行うことができる。

第５の態様に係る計測支援装置は第１から第４の態様のいずれか１つにおいて、記憶部は、画像において円形マーカによる計測対象の大きさ計測が有効な範囲に対応して円形マーカを示す点の座標を記憶する。撮像光学系の歪曲収差は一般に画角の周辺部で大きくなるので、画像の周辺部では被写体の歪曲が大きくなりマーカによる計測精度が悪化することが多い。また、画像の周辺部では完全なマーカを表示できない（例えば、マーカの一部が画面からはみ出す）場合もある。そこで第５の態様では、このような問題が生じず円形マーカによる計測対象の大きさ計測が有効な範囲に対応して円形マーカを示す点の座標を記憶することとしている。なお「大きさ計測が有効な範囲」は計測精度を考慮して決めることができる。

第６の態様に係る計測支援装置は第１から第５の態様のいずれか１つにおいて、記憶部は、スポットを中心とした円に対応して実測した複数の第１の点の座標と、複数の第１の点を補間して生成した複数の第２の点の座標と、を円形マーカを示す点の座標として記憶し、座標取得部は複数の第１の点の座標と複数の第２の点の座標とを円形マーカを示す点の座標として取得する。第６の態様は座標取得の１つの態様であり、実測した座標（第１の点の座標）及び補間により求めた座標（第２の点の座標）をマーカを示す点の座標として記憶する。すなわち、マーカ表示に用いる点の全てについて座標を実測しなくてもよい。

第７の態様に係る計測支援装置は第６の態様において、記憶部は、複数の第１の点を円の角度方向及び径方向に線形補間した点の座標を複数の第２の点の座標として記憶する。第７の態様は、第６の態様における「補間」の具体的な一態様である。

第８の態様に係る計測支援装置は第１から第５の態様のいずれか１つにおいて、記憶部は、画像においてスポットを中心とした円形マーカを含む歪曲格子領域を正方格子領域に射影変換する変換行列を記憶し、座標取得部は、変換行列により変換された正方格子領域における円形マーカを示す点の座標を取得し、取得した座標を変換行列の逆行列により逆変換して歪曲格子領域における円形マーカを示す点の座標を取得する。第８の態様は座標取得の他の態様であり、正方格子領域では円形マーカを示す点の座標が正確かつ容易に取得できるので、正方格子領域で取得した座標を逆変換することにより、歪曲格子領域における座標を正確かつ容易に算出することができる。変換行列としては射影変換行列を用いることができる。なお、変換行列の逆行列についても記憶しておいてよいし、変換行列から求めてもよい。

第９の態様に係る計測支援装置は第８の態様において、記憶部は、ｍ及びｎを正の整数とした場合に歪曲格子領域及び正方格子領域を２×ｍ×ｎ個に分割した複数の小領域のそれぞれについて変換行列を記憶し、座標取得部は、画像の画素のうち同一の小領域に属する画素に対しては、複数の変換行列のうちの同一の変換行列及び複数の逆行列のうちの同一の逆行列を適用する。第９の態様のように小領域ごとに同一の変換行列、逆行列を適用することで記憶量を削減することができる。

第１０の態様に係る計測支援装置は第９の態様において、記憶部は、撮像距離が計測距離範囲の最遠端である場合の歪曲格子領域及び計測距離範囲の至近端である場合の歪曲格子領域を含む、画像における一部の領域を分割した複数の領域であって、最遠端における歪曲格子領域の格子の大きさよりも小さく分割された複数の領域を複数の小領域として変換行列を記憶し、座標取得部は、複数の小領域に対して記憶された変換行列を用いて円形マーカを示す点の座標を取得する。第１０の態様では、撮像画像の一部の領域について領域を分割して変換行列を記憶するので、画像全体に対して変換行列を記憶する必要がなく、処理負荷が低い。また、円形マーカによる計測が有効な距離範囲（計測距離範囲）の最遠端での格子の大きさ（最遠端なので、格子の大きさは最も小さくなる）よりも小さく分割した複数の領域に対して変換行列を記憶することで、正確なマーカを表示することができる。

第１１の態様に係る計測支援装置は第８から第１０の態様のいずれか１つにおいて、変換行列はアフィン変換行列である。第１１の態様は変換行列の１つの態様を示すものであり、歪曲画像の３点を１つのアフィン変換行列で正方格子の画像に変換することができる。

上述した目的を達成するため、本発明の第１２の態様に係る内視鏡システムは、第１から第１１の態様のいずれか１つに係る計測支援装置を備える。第１２の態様に係る内視鏡システムでは、第１から第１１の態様のいずれか１つに係る計測支援装置を備えるので、簡易な構成で正確な指標を表示することができる。

第１３の態様に係る内視鏡システムは第１２の態様において、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡を備え、ヘッドと、スポットの光学像を撮像素子に結像させる撮像レンズと、が先端硬質部に設けられる。第１３の態様は、内視鏡の先端硬質部の構成の一態様を規定するものである。

上述した目的を達成するため、本発明の第１４の態様に係る内視鏡システムのプロセッサは、第１２または第１３の態様に係る内視鏡システムのプロセッサであって、計測部と、記憶部と、座標取得部と、表示制御部と、を備える。第１４の態様によれば、第１の態様と同様に簡易な構成で正確な指標を表示することができる。

以上説明したように、本発明の計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサによれば、簡易な構成で正確な指標を表示することができる。

図１は、本発明の第１の実施形態に係る内視鏡システムの全体構成を示す図である。 図２は、本発明の第１の実施形態に係る内視鏡システムの構成を示すブロック図である。 図３は、先端硬質部の先端側端面の構成を示す図である。 図４は、レーザモジュールの構成を示す図である。 図５は、レーザ光源モジュールの構成を示す断面図である。 図６は、撮像光学系の光軸と計測補助光の光軸との関係を示す図である。 図７は、内視鏡の挿入部を被検体内に挿入した様子を示す図である。 図８は、計測支援方法の処理を示すフローチャートである。 図９は、計測補助光の光軸が撮像光学系の撮像画角を横切る様子を示す図である。 図１０は、撮影距離によりスポット位置が変化する様子を示す図である。 図１１は、波長とカラーフィルタの感度との関係を示す図である。 図１２は、スポットの移動軌跡における複数の点に対して円形マーカを示す点の座標を記憶する様子を示す図である。 図１３は、スポット位置と歪曲円形マーカを示す点の座標との関係を示す図である。 図１４は、スポット位置と歪曲円形マーカを示す点の座標とを関連づけて記憶する様子を示す図である。 図１５は、スポットとの距離がしきい値以下の点について記憶されたマーカの座標を取得する図である。 図１６は、スポット位置を挟む２点の座標を内挿してマーカ座標を取得する様子を示す図である。 図１７は、スポット位置を挟まない２点の座標を外挿してマーカ座標を取得する様子を示す図である。 図１８は、座標生成及び記憶の実施例１の処理を示すフローチャートである。 図１９は、第１の点の位置を実測する様子を示す図である。 図２０は、第１の点を補間して第２の点を生成する様子を示す図である。 図２１は、座標生成及び記憶の実施例１の処理を示すフローチャートである。 図２２は、スポット位置を中心とした歪曲格子領域を示す図である。 図２３は、歪曲格子領域を正方格子領域に変換する様子を示す図である。 図２４は、変換行列及び逆行列を記憶する領域を示す図である。 図２５は、小領域への分割を示す図である。 図２６は、小領域の大きさと格子の大きさとの関係を示す図である。 図２７は、正方格子領域で円形マーカを示す点の座標を算出する様子を示す図である。 図２８は、円形マーカを示す点の座標を歪曲格子領域に座標変換する様子を示す図である。 図２９は、歪曲円形マーカを撮像画像に重畳表示する様子を示す図である。

以下、添付図面を参照しつつ、本発明に係る計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサの実施形態について、詳細に説明する。

＜第１の実施形態＞
図１は、第１の実施形態に係る内視鏡システム１０（計測支援装置、内視鏡システム、内視鏡システムのプロセッサ）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１及び図２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（内視鏡システムのプロセッサ）、光源装置３００、及びモニタ４００（表示装置）を備える。

＜内視鏡本体の構成＞
内視鏡本体１００は、手元操作部１０２（操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者は手元操作部１０２を把持して内視鏡本体１００を操作し、挿入部１０４を被検体の体内に挿入して観察する。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。手元操作部１０２を操作することにより、湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮像光学系１３０（撮像部）、照明部１２３、鉗子口１２６、レーザモジュール５００等が設けられる（図１〜３参照）。

観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから可視光と赤外光のいずれか、または両方を照射することができる。また、操作部２０８の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像光学系１３０の撮像レンズ１３２（撮像レンズ）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。

図１〜図３に示すように、先端硬質部１１６の先端側端面１１６Ａには撮像レンズ１３２が配設されており、この撮像レンズ１３２の奥にＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、カラー撮像素子）、駆動回路１３６、ＡＦＥ１３８（AFE：Analog Front End）が配設されて画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備え、各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮像光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。

なお第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。

被検体（腫瘍部、病変部）の画像、スポット（後述）の光学像は撮像レンズ１３２により撮像素子１３４の受光面（結像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像、歪曲円形マーカ等が表示される。

また、先端硬質部１１６の先端側端面１１６Ａには、撮像レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

先端側端面１１６Ａには、さらにレーザモジュール５００のレーザヘッド５０６（ヘッド）が設けられて、プリズム５１２（図４参照）を介してスポット光（計測補助光）が照射される。レーザモジュール５００の構成は後述する。なお、第１の実施形態では図３に示すようにレーザヘッド５０６が鉗子口１２６とは別に設けられているが、先端硬質部１１６で開口する鉗子口１２６に連通する管路（不図示）にレーザヘッド５０６を挿抜可能に挿通してもよい。また、撮像レンズ１３２と鉗子口１２６との間にレーザヘッド５０６を設けてもよい。

＜レーザモジュールの構成＞
図２及び図４に示すように、レーザモジュール５００はレーザ光源モジュール５０２と、光ファイバー５０４と、レーザヘッド５０６（ヘッド）とを備える。光ファイバー５０４の基端側（レーザ光源モジュール５０２側）はファイバー外皮５０１で被覆され、先端側（レーザ光を出射する側）はフェルール５０８（フェルール：ferrule）に挿入されて接着剤で接着され、端面が研磨される。フェルール５０８の先端側にＧＲＩＮレンズ５１０（GRIN：Graded Index）が装着され、ＧＲＩＮレンズ５１０の先端側にプリズム５１２が装着されて接合体を形成する。フェルール５０８は光ファイバー５０４を保持、接続するための部材であり、中心部には光ファイバー５０４を挿通するための穴が軸方向（図４の左右方向）に空けられている。フェルール５０８及びファイバー外皮５０１の外側に補強材５０７が設けられて光ファイバー５０４等を保護する。フェルール５０８，ＧＲＩＮレンズ５１０，及びプリズム５１２はハウジング５０９に収納され、補強材５０７及びファイバー外皮５０１と一体になってレーザヘッド５０６を構成する。

レーザヘッド５０６において、フェルール５０８は例えば直径が０．８ｍｍ〜１．２５ｍｍのものを用いることができる。小型化のためには細径のものの方が好ましい。上述の構成により、レーザヘッド５０６全体としての直径を１．０ｍｍ〜１．５ｍｍにすることができる。

このように構成されたレーザモジュール５００は挿入部１０４に装着される。具体的には、図２に示すようにレーザ光源モジュール５０２が手元操作部１０２に設けられ、レーザヘッド５０６が先端硬質部１１６に設けられて、光ファイバー５０４がレーザ光をレーザ光源モジュール５０２からレーザヘッド５０６まで導光する。なお、レーザ光源モジュール５０２を光源装置３００内に設け、レーザ光を光ファイバー５０４により先端硬質部１１６まで導光してもよい。

図５に示すように、レーザ光源モジュール５０２は、図示せぬ電源から電力が供給されて可視波長域のレーザ光（計測補助光）を出射するＶＬＤ（Visible Laser Diode）と、ＶＬＤから出射されたレーザ光を集光する集光レンズ５０３とを備えるピグテール型モジュール（ＴＯＳＡ；Transmitter Optical Sub Assembly）である。レーザ光はプロセッサ２００（ＣＰＵ２１０）の制御により必要に応じて出射することができ、計測を行う場合（計測モード）のみレーザ光を出射させることで、非出射時には通常の内視鏡と同様に使用することができる（通常モード）。

第１の実施形態において、ＶＬＤが出射するレーザ光は半導体レーザによる波長６５０ｎｍの赤色レーザ光とすることができる。ただし本発明におけるレーザ光の波長はこの態様に限定されるものではない。集光レンズ５０３で集光されたレーザ光は、光ファイバー５０４によりＧＲＩＮレンズ５１０まで導光される。光ファイバー５０４はレーザ光をシングル横モードで伝搬させる光ファイバーであり、径が小さく鮮明なスポットを形成することができるので、被写体（計測対象）の大きさを正確に計測することができる。光ファイバー５０４の途中に中継コネクタを設けてもよい。なお、被写体の種類、大きさ等の観察条件によってスポット径の大きさ、鮮明さが計測上問題とならない場合は、光ファイバー５０４として、レーザ光をマルチモードで伝搬させる光ファイバーを用いてもよい。また、光源としては半導体レーザの代わりにＬＥＤ（Light-Emitting Diode）を用いてもよく、半導体レーザを発振しきい値以下のＬＥＤ発光状態で使用してもよい。

ＧＲＩＮレンズ５１０は、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少する円筒型のグレーデッドインデックス型レンズ（ラジアル型）であり、光ファイバー５０４により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。ＧＲＩＮレンズ５１０から出射される光束の広がりはＧＲＩＮレンズ５１０の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには（λ／４）ピッチ（λはレーザ光の波長）程度にすればよい。

ＧＲＩＮレンズ５１０の先端側にはプリズム５１２が装着されている。このプリズム５１２は計測補助光の出射方向を変更するための光学部材であり、出射方向を変更することにより、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸が撮像光学系の光軸に対し０度でない傾き角を有し、計測補助光が撮像光学系の画角を横切る。プリズム５１２はＧＲＩＮレンズ５１０のレンズ径に近い大きさに形成されており、先端面が斜めにカットされて上述した傾き角に応じた頂角ＡＬ１を有する。頂角ＡＬ１の値はレーザ光の出射方向その他の条件に応じて設定することができる。

＜撮像光学系の光軸と計測補助光の光軸の関係＞
図６は第１の実施形態に係る先端硬質部１１６を前方（被写体側）から見た状態を示す図であり、図３の構成に対応する図である。第１の実施形態では、計測補助光の光軸Ｌ１と撮像光学系の光軸Ｌ２とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部１１６を前方（被写体側）から見ると、図６のように光軸Ｌ１が光軸Ｌ２上を通るように見える。

なお、本発明における計測補助光の光軸Ｌ１と撮像光学系の光軸Ｌ２との関係は、上述した「計測補助光の光軸と撮像光学系の光軸とが同一平面上に存在し、その同一平面上で交差する」態様に限定されるものではなく、計測補助光の光軸が撮像光学系の光軸と同一平面上に存在しなくてもよい。しかしながらこのような場合においても、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し０度でない傾き角を有し撮像光学系の画角を横切るものとする。

計測補助光を用いた計測を行う場合、計測補助光の光軸が撮像光学系の光軸と平行（傾き角が０度）であると、光軸同士の間隔によっては計測補助光の光軸が撮像光学系の画角を横切る点までの距離が遠くなり、その結果至近距離ではスポットが撮影できず計測が困難になる。また、計測補助光の光軸が撮像光学系の光軸と平行であると、観察距離の変化に対するスポット位置変化の感度が低く、十分な計測精度が得られない場合がある。これに対し第１の実施形態のように「計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し０度でない傾き角を有し撮像光学系の画角を横切る」という構成によれば、至近距離から遠距離まで広範囲の観察距離で計測でき、また距離変化に対するスポット位置変化の感度が高いため高精度に計測することができる。

＜光源装置の構成＞
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、照明光（可視光または赤外光）をライトガイド１７０に入射させる。光源３１０は、可視光源３１０Ａ及び赤外光源３１０Ｂを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源３１０Ａ及び赤外光源３１０Ｂによる照明光の照度は、光源制御部３５０により制御され、スポットを撮像して計測する際（計測モード時）に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。

ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することで、光源装置３００から照射された照明光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

＜プロセッサの構成＞
次に、図２に基づきプロセッサ２００（計測部、記憶部、座標取得部、表示制御部）の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４（計測部、座標取得部、表示制御部）で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像が表示される。これらの処理はＣＰＵ２１０（CPU：Central Processing Unit；中央処理装置）の制御下で行われる。すなわち、ＣＰＵ２１０は計測部、座標取得部、及び表示制御部としての機能を有する。画像処理部２０４では、ホワイトバランス調整等の画像処理の他、モニタ４００に表示する画像の切替、重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分（例えば輝度信号）の抽出等を行う。また画像処理部２０４では、撮像素子１３４の結像面におけるスポット位置の測定、測定した位置に基づくマーカの大きさ（ピクセル数）の算出等が行われる（後述）。画像処理部２０４における各種の処理を実行するためのハードウェア的な構造としては、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等のプロセッサ（電気回路）を挙げることができる。画像処理部２０４は１つのプロセッサで構成されていてもよいし、複数のプロセッサを組み合わせて構成されていてもよい。メモリ２１２（記憶部）は各種処理の際の一時記憶用の記憶素子と不揮発性の記憶素子（非一時的記録媒体）とを含み、ＣＰＵ２１０及び／または画像処理部２０４の制御により、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系１３０の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、が関連づけて記憶される（後述）。また、メモリ２１２には後述する計測支援方法をＣＰＵ２１０及び／または画像処理部２０４に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。

また、プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ、送水指示ボタン等を備えており、また可視光及び／または赤外光の照射を操作することができる。また、操作部２０８は図示せぬキーボード、マウス等のデバイスを含み、ユーザはこれらデバイスを介して各種処理条件、表示条件の等を入力することができる。

＜内視鏡による観察＞
図７は内視鏡本体１００の挿入部１０４を被検体内に挿入した状態を示す図であり、撮像光学系１３０を介して撮像範囲ＩＡについて観察画像を取得する様子を示している。図７では、スポットＳＰ０が腫瘍ｔｍ（黒色で隆起している部分）の付近に形成されている様子を示す。

＜計測処理の流れ＞
次に、内視鏡システム１０を用いた被検体の計測支援方法について説明する。図８は計測支援方法の処理を示すフローチャートである。

まず、内視鏡本体１００の挿入部１０４を被検体に挿入し、内視鏡システム１０を通常観察モードに設定する（ステップＳ１０）。通常観察モードは、光源装置３００から照射される照明光を被写体に照射して画像を取得し、被写体を観察するモードである。通常観察モードへの設定は内視鏡システム１０の起動時にプロセッサ２００が自動的に行ってもよいし、ユーザによる操作部２０８の操作に応じて行ってもよい。

内視鏡システム１０が通常観察モードに設定されたら、照明光を照射して被写体を撮像し、モニタ４００に表示する（ステップＳ１２）。被写体の画像としては静止画を撮像してもよいし、動画を撮像してもよい。撮像の際は、被写体の種類、観察の目的等に応じて照明光の種類（可視光または赤外光）を切り換えることが好ましい。ユーザはモニタ４００に表示される画像を見ながら挿入部１０４を進退及び／または屈曲操作して先端硬質部１１６を観察対象に向け、計測したい被写体を撮像する。

次に、通常観察モードから計測モードに移行するか否かを判断する（ステップＳ１４）。この判断は操作部２０８を介したユーザ操作の有無に基づいて行ってもよいし、プロセッサ２００からの切替指令の有無に基づいて行ってもよい。また、プロセッサ２００が一定のフレーム間隔（１フレームごと、２フレームごと等）で通常観察モードと計測モードとを交互に設定してもよい。ステップＳ１４の判断が否定されるとステップＳ１２へ戻って通常観察モードでの撮像を継続し、判断が肯定されるとステップＳ１６へ進んで計測モードに切り替える。

計測モードは、レーザヘッド５０６からレーザ光（計測補助光）を照射して被写体にスポットを形成し、スポットが形成された被写体の画像に基づいて被写体の大きさ（長さ）を計測するためのマーカを生成及び表示するモードである。第１の実施形態では計測補助光として赤色レーザ光を用いるが、内視鏡画像では消化管に赤みがかったものが多いので、計測条件によってはスポットを認識しにくくなる場合がある。そこで計測モードでは、スポットの画像取得及び位置計測の際に照明光を消灯するか、スポットの認識に影響が出ない程度に照度を下げ（ステップＳ１８）、レーザヘッド５０６から計測補助光を照射する（ステップＳ２０）。このような制御は、プロセッサ２００及び光源制御部３５０により行うことができる。

ステップＳ２２では、計測補助光によりスポットが形成された被写体の画像を撮像する。観察距離が計測範囲内である場合、撮像光学系１３０の撮影画角内にスポットが形成される。以下に詳細を説明するように、観察距離に応じて画像内の（撮像素子上の）スポットの位置が異なり、表示すべきマーカの大きさ（ピクセル数）がスポットの位置に応じて異なる。

＜観察距離に応じたスポット位置の変化＞
第１の実施形態では、計測補助光の光軸Ｌ１を撮像光学系の光軸Ｌ２を含む平面に射影した場合に、光軸Ｌ１が光軸Ｌ２に対し０度でない傾き角を有し、撮像光学系１３０の画角を横切る。したがって、画像（撮像素子）におけるスポットの位置は被写体までの距離によって異なる。例えば、図９（光軸Ｌ１及び光軸Ｌ２を含む平面内において、先端硬質部１１６を側面方向から見た状態を示す図）に示すように、観察距離の範囲Ｒ１において観察可能であるとすると、範囲Ｒ１の至近端Ｅ１、中央付近の距離Ｅ２、及び最遠端Ｅ３では、各点での撮像範囲（矢印Ｑ１，Ｑ２，Ｑ３で示す）におけるスポットの位置（各矢印と光軸Ｌ１が交わる点）が異なることが分かる。なお、図９において実線の内側が撮像光学系１３０の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系１３０の撮像画角のうち収差の少ない中央部分で計測を行っている。図９における範囲Ｒ１及び計測画角が「撮像画像において、円形マーカによる計測対象の大きさ計測が有効な範囲」に対応する。

図１０は図６と同様に先端硬質部１１６を正面から見た状態を示す図であり、撮像光学系１３０の光軸Ｌ２、計測補助光の光軸Ｌ１、及び撮像素子１３４の撮像範囲Ｒ２の関係を仮想的に示した図である。図１０は光軸Ｌ１，Ｌ２が同一平面上に存在し、その平面上で交差する場合を示している。図１０の例では、観察距離に応じたスポット位置Ｐ４，Ｐ５，Ｐ６（観察距離がそれぞれ至近端付近、中央付近、最遠端付近の場合に対応）を示している。

図１０に示すように、観察距離が至近端付近の場合のスポット位置Ｐ４と最遠端付近の場合のスポット位置Ｐ６とは、撮像光学系１３０の光軸Ｌ２に対し反対側に位置することが分かる。したがって第１の実施形態では観察距離の変化に対するスポット位置の移動の感度が高く、被写体の大きさを高精度に計測することができる。

このように、撮像画像内（撮像素子１３４上）のスポット位置は撮像光学系１３０の光軸Ｌ２と計測補助光の光軸Ｌ１との関係、及び観察距離に応じて異なるが、観察距離が近ければ同一の実寸サイズ（例えば直径５ｍｍ）を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、詳細を後述するように、スポットの位置（座標）と、被写体における計測対象の実寸サイズを示し撮像光学系１３０の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶しておき、計測したスポット位置（座標）に応じて記憶された情報を参照することで、円形マーカを示す点の座標を取得することができる。円形マーカを示す点の座標を取得する際に観察距離そのものを測定する必要がないので、構成が簡易で処理負荷が低い。

図８のフローチャートに戻り、撮像素子１３４の撮像面におけるスポットの位置計測（ステップＳ２４）について説明する。ステップＳ２４におけるスポットの位置計測は、赤（Ｒ）色のフィルタ色のカラーフィルタが配設された画素の画素信号により生成される画像により行う。ここで、撮像素子１３４の各画素に配設されている各色（赤，緑，青）のカラーフィルタにおける波長と感度との関係は図１１の通りであり、また上述のように、レーザヘッド５０６から出射されるレーザ光は波長６５０ｎｍの赤色レーザ光である。即ち、スポット位置の測定は（赤，緑，青）のカラーフィルタのうちレーザ光の波長に対する感度が最も高い赤色のカラーフィルタが配設された画素（Ｒ画素）の画像信号により生成される画像に基づいて行われる。この際、画素信号のビットマップデータまたはＲＡＷ（Raw image format）データのＲ画素の信号強度にしきい値を設けて二値化し、白部分（信号強度がしきい値より高い画素）の重心を算出することで、スポットの位置を高速に認識することができる。なお、実画像（全ての色の画素信号により生成される画像）によりスポットを認識する場合は、緑色及び青色のカラーフィルタが配設された画素（Ｇ画素、Ｂ画素）の画素信号にしきい値を設け、ビットマップデータがあるＧ画素及びＢ画素の画素信号の値がしきい値以下の画素のみを抽出することが好ましい。

なお、計測モードでは上述のようにスポットの画像取得（ステップＳ２２）及び位置計測（ステップＳ２４）に際して照明光を消灯するかスポットの認識に影響が出ない程度に照度を下げて（ステップＳ１８）、レーザヘッド５０６から計測補助光を照射する（ステップＳ２０）。これによりスポットが鮮明な画像を取得することができ、スポットの位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。

ステップＳ２６では、プロセッサ２００（ＣＰＵ２１０，画像処理部２０４）は、被写体における計測対象の実寸サイズを示し撮像光学系１３０の歪曲収差に応じて歪曲した円形マーカ（歪曲円形マーカ）を示す点の座標を取得する。上述のように、モニタ４００上でのマーカの大きさは画像内の（即ち、撮像素子１３４の撮像面上の）スポットの位置に応じて異なるので、スポットの座標と、被写体における計測対象の実寸サイズを示し撮像光学系１３０の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけてメモリ２１２に記憶しておき、ステップＳ２４で計測したスポット位置に応じてプロセッサ２００がメモリ２１２を参照し、歪曲円形マーカを示す点の座標を取得する。スポット位置と歪曲円形マーカを示す点の座標との関係を求める手順については、詳細を後述する。

ステップＳ２８では、観察画像及び歪曲円形マーカをモニタ４００に表示する（例えば、図２９の例を参照）。この際、歪曲円形マーカがスポットから離れた位置に表示されると指標として不正確になるので、観察画像におけるスポットの近傍に（例えば、スポットを中心として）歪曲円形マーカを表示する。なお、観察画像及び歪曲円形マーカを表示する際に画像の歪曲収差を補正する必要はない。このため補正により画像の見た目が変わることがなく、観察者が違和感を覚えずに画像を観察することができる。実寸サイズの異なる歪曲円形マーカ（例えば、３ｍｍ，５ｍｍ等）を同心円状に表示してもよいし、歪曲円形マーカに加え他のマーカ（例えば、十字型マーカ）を表示してもよい。また、表示条件（マーカの種類、数、実寸サイズ、色等）は、操作部２０８を介したユーザの操作により設定することができる。

ステップＳ３０では計測モードを終了するか否かを判断する。この判断は操作部２０８を介したユーザ操作に基づいて行ってもよいし、プロセッサ２００からの切替指令の有無に基づいて行ってもよい。また、計測モードへの移行の際と同様に、一定フレーム数が経過したら自動的に計測モードを終了して通常観察モードに復帰してもよい。ステップＳ３０の判断が否定されるとステップＳ２０へ戻り、ステップＳ２０からステップＳ２８の処理を繰り返す。ステップＳ３０の判断が肯定されるとステップＳ３２に進んで計測補助光を消灯し、続いてステップＳ３４で照明光の照度を通常照度に戻して通常観察モードに復帰する（ステップＳ１０へ戻る）。なお、通常観察モードでの観察に支障がなければ、計測補助光を消灯しなくてもよい。

以上説明したように、第１の実施形態に係る内視鏡システム１０では簡易な構成で正確な指標（歪曲円形マーカ）を表示でき、これにより被写体の大きさを正確かつ容易に計測することができる。

＜歪曲円形マーカを示す点の座標＞
第１の実施形態では、撮像素子１３４の撮像面におけるスポットの位置と歪曲円形マーカを示す点の座標とを関連づけてメモリ２１２（記憶部）に記憶しておき、計測したスポット位置に応じてメモリ２１２を参照して座標を取得する。以下、座標の記憶について説明する。

＜マーカ座標の記憶＞
第１の実施形態では、観察距離（撮像距離）を変化させた場合にスポットが撮像画像を移動する軌跡における複数の点に対して、歪曲円形マーカを示す点の座標を記憶する。撮像距離を変化させた場合の撮像画像におけるスポットの移動軌跡は計測補助光の光軸Ｌ１と撮像光学系１３０の光軸Ｌ２との関係により定まり、図１０に示す関係の場合は直線となるが、撮像光学系１３０に歪曲収差がある場合はその歪曲収差に応じて歪曲する。

図１２は座標記憶の様子を示す図であり、スポットの軌跡Ｔ１におけるＫ個の点（点Ｐ１〜ＰＫ；Ｋは２以上の整数）について歪曲円形マーカを示す点の座標を記憶する様子を示す。点Ｐ１〜点ＰＫは歪曲円形マーカによる大きさ計測が有効な範囲（軌跡Ｔ１の実線部分；図９における一点鎖線の内側に対応）であり、点Ｐ１が計測有効範囲の至近端である場合のスポット位置を示し、点ＰＫが最遠端である場合のスポット位置を示す。なお、図１２における軌跡Ｔ１は仮想的に示したものである。

スポットが軌跡Ｔ１の点線部分（撮像画像の周辺部分）に存在する場合は歪曲収差が大きくなり、またスポットが軌跡Ｔ１の至近端側（点線Ｔ１Ｎ部分）に存在する場合は歪曲円形マーカの一部が画像外となる、あるいは最遠端側（点線Ｔ１Ｆ部分）に存在する場合はマーカが小さくなる等の問題があり、いずれも計測に適さない。そこで第１の実施形態では、歪曲円形マーカによる計測対象の大きさ計測が有効なスポット位置の範囲に対応して座標を記憶する。

図１３はスポット位置と歪曲円形マーカを示す点の座標との関係を示す図であり、点Ｐｉ（スポットの位置）を中心としたＬ個の点（点Ｐｉ１，Ｐｉ２，…，Ｐｉｊ，…，ＰｉＬ；Ｌは整数）により歪曲円形マーカを示している。Ｌの値はマーカの形状精度の要求に基づいて決めることができ、数が多いほど正確なマーカを表示することができる。Ｌ個の点の間を直線または曲線でつないでもよい。また、図１４はスポット位置と歪曲円形マーカを示す点の座標とを関連づけて記憶する様子を示す。歪曲円形マーカを示す点の座標（例えば、点Ｐｉに対し点Ｐｉ１〜ＰｉＬの座標）の生成については後述する。

＜座標の取得＞
歪曲円形マーカを表示する場合は、プロセッサ２００（ＣＰＵ２１０，画像処理部２０４）が、計測したスポットの座標に基づいてメモリ２１２（記憶部）を参照して歪曲円形マーカを示す点の座標を取得する。ここでいう「取得」は、記憶された座標を用いること、及び記憶された座標に基づいて生成した座標を用いることを含む。以下、座標取得の具体的態様を説明する。

＜座標取得の態様１＞
図１５は、スポットが移動する軌跡Ｔ１において歪曲円形マーカを示す点の座標が記憶された複数の点（図１２〜１４の例ではＫ個）のうち、計測されたスポットとの距離がしきい値以下の点に対応して歪曲円形マーカを示す点の座標を取得する様子を示す図である。図１５の例では、点Ｐ２とスポットが存在する点Ｐｉとの距離がＤ１であり、点Ｐ３と点Ｐｉとの距離がＤ２である（点Ｐ２，Ｐ３に対し、歪曲円形マーカを示す点の座標が記憶されている）。また、スポットとの距離に対するしきい値をＴＨとすると、ＴＨ＜Ｄ１、ＴＨ＞Ｄ２であるものとする。この場合、態様１ではスポットとの距離がしきい値以下である点Ｐ２に対し記憶されている座標（図１２〜１４の例ではＬ個）を、点Ｐｉにおける歪曲円形マーカを示す座標として取得する。スポットとの距離がしきい値以下の点が複数ある場合は、スポットとの距離が最も近い点に対応する座標を取得してマーカの精度を向上させることが好ましい。なお、スポットとの距離の算出、及びしきい値との比較はプロセッサ２００（ＣＰＵ２１０，画像処理部２０４）により行うことができる。また、しきい値は歪曲円形マーカの精度、計測精度等に応じて決めることができる。

＜座標取得の態様２＞
態様２では、スポットが移動する軌跡における複数の点のうち、計測されたスポットを挟む２つ以上の点に対応した座標を内挿して歪曲円形マーカを示す点の座標を取得する。図１６の例では、点Ｐ２に対する座標（Ｌ個；図１３，１４参照）と、点Ｐ３に対する座標（Ｌ個；図１３，１４参照）とを対応する点同士（例えば、図１４に示す点Ｐ２１と点Ｐ３１）で内挿して、点Ｐｉに対するＬ個の点の座標を取得する。内挿の計算はプロセッサ２００（ＣＰＵ２１０，画像処理部２０４）により行うことができる。

＜座標取得の態様３＞
態様３では、軌跡における複数の点のうちスポットを挟まない２つ以上の点に対応した座標を外挿して歪曲円形マーカを示す点の座標を取得する。図１７の例では、点Ｐ１に対する座標（Ｌ個；図１３，１４参照）と、点Ｐ２に対する座標（Ｌ個；図１３，１４参照）とを対応する点同士（例えば、図１４に示す点Ｐ１１と点Ｐ２１）で外挿して点Ｐｉに対するＬ個の点の座標を取得する。外挿の計算はプロセッサ２００（ＣＰＵ２１０，画像処理部２０４）により行うことができる。

＜その他の態様＞
上述した態様１〜３では、歪曲円形マーカを示す点の座標は軌跡上の一部の点について記憶しておけばよい。これに対し、軌跡上の全ての点（画素）に対して座標を記憶しておき、記憶された座標をそのまま取得してもよい。このような態様の場合、点同士の距離の計算、補間計算等を省略することができる。

＜歪曲円形マーカを示す点の座標生成及び記憶＞
次に、歪曲円形マーカを示す点の座標生成及び記憶の具体的態様について説明する。

＜実施例１＞
＜実測点の補間による座標生成及び記憶＞
図１８は、実施例１における座標生成及び記憶の処理を示すフローチャートである。実施例１では、実測した点（第１の点）及び実測した点を補間して生成した点（第２の点）を、歪曲円形マーカを示す点の座標として記憶する。座標の実測、変換等（図１８のフローチャートにおける各処理）はプロセッサ２００（ＣＰＵ２１０、画像処理部２０４）により行うことができ、生成された座標はメモリ２１２（記憶部）に記憶される。

まず、処理対象とする実寸サイズ（以下では直径５ｍｍとして説明するが、計測目的に応じて異なる値でもよい）に対し、歪曲円形マーカによる計測が有効な距離範囲（図９の範囲Ｒ１を参照）において設定した撮像距離で、計測補助光を照射して方眼紙のような正方格子状のチャートを撮像する（ステップＳ１００）。撮像するチャートは、格子の間隔が実寸サイズ以下であり、かつ間隔ができるだけ細かいことが好ましい。また、格子の間隔が所望の実寸サイズの（１／整数）の間隔である（歪曲円形マーカの実寸サイズが直径５ｍｍの場合、格子の間隔が０．５ｍｍ，１ｍｍ，１．２５ｍｍ，２．５ｍｍ等）ことが好ましい。また、手元操作部１０２を操作して先端硬質部１１６の向きを変えスポットが格子の交点に位置した状態で撮像することにより、以下に示す第１の点の特定を容易にすることが好ましい。

次に、撮像画像におけるスポットの位置を計測する（ステップＳ１０２）。図１９は０．５ｍｍ間隔の正方格子状のチャートを撮影した場合の例を示す図であり、点ＳＰ１がレーザ光（計測補助光）により形成されたスポットを示す。撮像画像において、正方格子状のチャートは撮像光学系１３０の歪曲収差により歪曲している。このような画像において、スポットの位置（点ＳＰ１の位置）を計測し（ステップＳ１０２）、続いて第１の点の位置を計測（実測）する（ステップＳ１０４）。図１９の例において第１の点は点ＳＰ１を中心とした円上の４点（点ＳＰａ，ＳＰｂ，ＳＰｃ，ＳＰｄ）であり、正方格子で見たときに点ＳＰ１の上下左右に存在する４点である。図１９の例では実寸サイズが直径５ｍｍ、格子の間隔が０．５ｍｍなので、上述した４点は点ＳＰ１から上下左右に格子５個分離れた点であり、ユーザは撮像画像で容易にこれらの４点を特定することができる（例えば、操作部２０８が有するマウスでこれら４点をクリックする）。この特定結果に基づいて第１の点の位置を計測することができる。

第１の点の座標を計測したら、第１の点の座標を補間して第２の点の座標を生成する（ステップＳ１０６）。図２０は第２の点の座標を生成する様子を説明するための図であり、点ＳＰ１を中心として第１の点（点ＳＰａ，ＳＰｂ，ＳＰｃ，ＳＰｄ）を相対的に表示している。第２の点の座標は、例えば第１の点を円の角度方向及び径方向に線形補間（θ、ｒ（θ）を等間隔に補間）して生成することができる。具体的には、点ＳＰａと点ＳＰｂとの間ではこれら２点の座標（（Ｘａ，Ｙａ）,（Ｘｂ，Ｙｂ））を用いて以下のように第２の点（点ＳＰｉ）の座標（極座標系では（θｉ，ｒ（θｉ））、直交座標系では（Ｘｉ，Ｙｉ））を算出することができる。なお、以下の式において点ＳＰａ，ＳＰｂの間に（ｎ−１）個（ｎは２以上の整数）の第２の点を生成するものとし、ｉは０以上ｎ以下の整数とする。

同様に、点ＳＰｂと点ＳＰｃの間、点ＳＰｃと点ＳＰｄの間、及び点ＳＰｄと点ＳＰａの間についても補間により第２の点の座標を生成することができる。第２の点の座標が生成されたら、歪曲円形マーカを示す点の座標として、第１の点及び第２の点の座標をスポットの位置（図２０の例では点ＳＰ１の実際の位置）と関連づけてメモリ２１２に記憶する（ステップＳ１０８）。記憶の様子は例えば図１４のようになり、この場合第１の点及び第２の点の合計数はＬ個である。設定した撮像距離について座標取得、生成、及び記憶が終了したらステップＳ１００に戻り、距離範囲（図９の範囲Ｒ１）における異なる撮像距離について処理を繰り返す。また、実寸サイズを変えて上述の処理を繰り返し、複数の実寸サイズ（３ｍｍ，５ｍｍ，１０ｍｍ等）について座標を記憶してもよい。この場合、実寸サイズの異なる歪曲円形マーカ（例えば、３ｍｍ，５ｍｍ等）を同心円状に表示してもよい。

＜実施例２＞
＜射影変換による座標生成及び記憶＞
次に、歪曲円形マーカを示す点の座標生成及び記憶の実施例２について説明する。実施例２では、射影変換により正方格子に変換した領域で円形マーカの座標を算出し、算出した座標を逆変換して歪曲格子領域における歪曲円形マーカの座標を取得する。座標の生成、変換（図２１のフローチャートにおける各処理）等の処理はプロセッサ２００（ＣＰＵ２１０、画像処理部２０４）により行うことができ、生成された座標はメモリ２１２（記憶部）に記憶される。

図２１は、実施例２における座標生成及び記憶の処理を示すフローチャートである。まず、実施例１のステップＳ１００と同様に、計測補助光を照射して正方格子状のチャートを撮像する（ステップＳ２００）。撮像するチャートと実寸サイズとの関係は実施例１について上述したものと同様とすることが好ましい。撮像したら、スポットの位置を計測する（ステップＳ２０２）。図２２は、撮像距離が計測距離範囲（計測を有効に行える撮像距離の範囲）の至近端（図９の至近端Ｅ１に相当）の場合に、スポット（点ＳＰ２）を中心とする円形マーカを包接する歪曲格子領域ＱＮを示している。スポットの軌跡Ｔ２は仮想的な表示である。正方格子状のチャートを撮像するので、実施例１と同様にスポットの位置及びマーカの実寸サイズに基づいて歪曲格子領域ＱＮを特定することができる。なお、歪曲格子領域ＱＮは本来正方格子（正方形）であるが、撮像画像においては撮像光学系１３０の歪曲収差により歪曲している。

＜変換行列による正方格子領域への変換＞
ステップＳ２０４では、マーカを包接する歪曲格子領域（図２２の例では歪曲格子領域ＱＮ）をアフィン変換（射影変換の一態様）により図２３に示すような正方格子領域ＳＱに変換する。変換行列及び逆行列は、内視鏡システム１０の製造後の検査により求めておく。例えば、格子状チャートを撮影した画像の格子点の座標を計測し、この座標を正方格子点に変換するアフィン変換行列を求める。アフィン変換行列を求める領域は、撮像距離が計測距離範囲の至近端の場合の歪曲格子領域ＱＮ（スポット位置は点ＳＰ２）と最遠端の場合の格子領域ＱＦ（スポット位置は点ＳＰ３）とを含む、撮像画像の一部に設定された格子領域ＱＤ（図２４参照）であり、画像全体について変換行列を記憶しておく必要はない。なお、図２４では正方格子状の領域が撮像光学系１３０の歪曲収差により樽型に歪曲した場合の例を示している。

実施例２では、このような格子領域ＱＤを２×ｍ×ｎ個（ｍ，ｎ：整数）の三角形状の小領域（図２５参照）に分割し、分割した小領域のそれぞれについてアフィン変換行列及びその逆行列を記憶する。格子領域ＱＤの画素のうち、同一の小領域に属する画素に対しては同一の変換行列及びその逆行列を適用する。なお、図２６（格子領域ＱＤのうち格子領域ＱＦ付近を拡大）に示すように、「２×ｍ×ｎ個に分割された小領域の大きさＧ１」が「撮像距離が最遠端の場合の格子領域ＱＦの格子の大きさＧ２」よりも小さくなるように分割する。このような分割により、マーカの表示サイズが小さくなる最遠端においても正確な歪曲円形マーカを表示することができる。

なお、実施例２ではアフィン変換行列により歪曲格子から正方格子への変換を行う場合について説明しているが、ホモグラフィ行列により変換を行ってもよい。上述のようにアフィン変換行列では小領域が三角形状（３点で構成される）であるのに対し、ホモグラフィ行列では四角形状（４点で構成される）にできるため、小領域の数を減らすことができる。

＜円形マーカの座標算出＞
ステップＳ２０４により歪曲格子領域ＱＮが正方格子領域ＳＱに変換されたら、図２７に示すように正方格子領域ＳＱにおいて円形マーカＭ１を示す点の座標を算出する（ステップＳ２０６）。正方格子領域に変換されているので、円形マーカの座標を容易に算出することができる。

＜円形マーカの座標を歪曲座標に変換＞
円形マーカの座標が得られたら、上述した変換行列の逆行列を用いて歪曲円形マーカＭ１Ａに変換する（ステップＳ２０８；図２８参照）。歪曲円形マーカＭ１Ａは、図８のフローチャート（ステップＳ２８）について説明したように、撮像画像に重畳して表示される。図２９は表示の例であり、腫瘍ｔｍ上に形成されたスポット（点ＳＰ２）を中心とする歪曲円形マーカＭ１Ａが表示された様子を示している。

歪曲円形マーカＭ１Ａの座標が生成されたら、スポットの位置（図２２の例では点ＳＰ２）と関連づけてメモリ２１２に記憶する（ステップＳ２１０）。記憶の様子は例えば図１４のようになり、この場合マーカを示す点の数はＬ個である。設定した撮像距離について座標取得、生成、及び記憶が終了したらステップＳ２００に戻り、距離範囲（図９の範囲Ｒ１）における異なる撮像距離について処理を繰り返す。また、実寸サイズを変えて上述の処理を繰り返し、複数の実寸サイズ（３ｍｍ，５ｍｍ，１０ｍｍ等）について座標を記憶してもよい。この場合、実寸サイズの異なる歪曲円形マーカ（例えば、３ｍｍ，５ｍｍ等）を同心円状に表示してもよい。

＜その他＞
本発明の計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置は、内視鏡に限らず、工業用部品等の寸法、形状を計測する場合にも適用することができる。

以上で本発明の実施形態及び実施例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 内視鏡システム
１００ 内視鏡本体
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮像光学系
１３２ 撮像レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ ＡＦＥ
１７０ ライトガイド
２００ プロセッサ
２０２ 画像入力コントローラ
２０４ 画像処理部
２０６ ビデオ出力部
２０８ 操作部
２１０ ＣＰＵ
２１２ メモリ
３００ 光源装置
３１０ 光源
３１０Ａ 可視光源
３１０Ｂ 赤外光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５００ レーザモジュール
５０１ ファイバー外皮
５０２ レーザ光源モジュール
５０３ 集光レンズ
５０４ 光ファイバー
５０６ レーザヘッド
５０７ 補強材
５０８ フェルール
５０９ ハウジング
５１０ ＧＲＩＮレンズ
５１２ プリズム
ＡＬ１ 頂角
Ｅ１ 至近端
Ｅ２ 距離
Ｅ３ 最遠端
ＩＡ 撮像範囲
Ｌ１ 光軸
Ｌ２ 光軸
Ｍ１ 円形マーカ
Ｍ１Ａ 歪曲円形マーカ
Ｐ１ 点
Ｐ２ 点
Ｐ３ 点
Ｐｉ 点
Ｐｉ１ 点
Ｐｉ２ 点
Ｐｉｊ 点
ＰｉＬ 点
ＰＫ 点
Ｐ４ スポット位置
Ｐ５ スポット位置
Ｐ６ スポット位置
Ｑ１ 矢印
Ｑ２ 矢印
Ｑ３ 矢印
ＱＤ 格子領域
ＱＦ 格子領域
ＱＮ 歪曲格子領域
Ｒ１ 範囲
Ｒ２ 撮像範囲
Ｓ１０〜Ｓ２１０ 計測支援方法の各ステップ
ＳＱ 正方格子領域
Ｔ１ 軌跡
Ｔ２ 軌跡
ｔｍ 腫瘍

Claims (14)

1. 計測補助光を出射するヘッドと、
   前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、
   前記画像における前記スポットの座標を計測する計測部と、
   前記スポットの座標と、前記被写体における計測対象の実寸サイズを示し前記撮像光学系の歪曲収差に応じて歪曲した円形マーカを示す点の座標と、を関連づけて記憶する記憶部であって、前記画像の撮像距離を変化させた場合に前記スポットが前記画像を移動する軌跡における複数の点に対して前記円形マーカを示す点の座標を記憶する前記記憶部と、
   前記計測した前記スポットの座標に基づいて前記記憶部を参照して、前記スポットの座標に対応する前記円形マーカを示す点の座標を取得する座標取得部と、
   前記取得した座標に基づいて前記画像における前記スポットの近傍に前記円形マーカを表示させる表示制御部と、
   を備え、
   前記ヘッドは、前記計測補助光の光軸を前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し０度でない傾き角を有し前記撮像光学系の画角を横切る前記計測補助光を出射する、計測支援装置。
2. 前記座標取得部は、前記複数の点のうち前記スポットとの距離がしきい値以下の点に対応した前記円形マーカを示す点の座標を取得する、請求項１に記載の計測支援装置。
3. 前記座標取得部は、前記複数の点のうち前記スポットを挟む２つ以上の点に対応した座標を内挿して前記円形マーカを示す点の座標を取得する、請求項１に記載の計測支援装置。
4. 前記座標取得部は、前記複数の点のうち前記スポットを挟まない２つ以上の点に対応した座標を外挿して前記円形マーカを示す点の座標を取得する、請求項１に記載の計測支援装置。
5. 前記記憶部は、前記画像において前記円形マーカによる計測対象の大きさ計測が有効な範囲に対応して前記円形マーカを示す点の座標を記憶する請求項１から４のいずれか１項に記載の計測支援装置。
6. 前記記憶部は、前記スポットを中心とした円に対応して実測した複数の第１の点の座標と、前記複数の第１の点を補間して生成した複数の第２の点の座標と、を前記円形マーカを示す点の座標として記憶し、
   前記座標取得部は前記複数の第１の点の座標と前記複数の第２の点の座標とを前記円形マーカを示す点の座標として取得する請求項１から５のいずれか１項に記載の計測支援装置。
7. 前記記憶部は、前記複数の第１の点を前記円の角度方向及び径方向に線形補間した点の座標を前記複数の第２の点の座標として記憶する請求項６に記載の計測支援装置。
8. 前記記憶部は、前記画像において前記スポットを中心とした前記円形マーカを含む歪曲格子領域を正方格子領域に射影変換する変換行列を記憶し、
   前記座標取得部は、前記変換行列により変換された前記正方格子領域における前記円形マーカを示す点の座標を取得し、前記取得した座標を前記変換行列の逆行列により逆変換して前記歪曲格子領域における前記円形マーカを示す点の座標を取得する、請求項１から５のいずれか１項に記載の計測支援装置。
9. 前記記憶部は、ｍ及びｎを正の整数とした場合に前記歪曲格子領域及び前記正方格子領域を２×ｍ×ｎ個に分割した複数の小領域のそれぞれについて前記変換行列を記憶し、
   前記座標取得部は、前記画像の画素のうち同一の小領域に属する画素に対しては、前記複数の変換行列のうちの同一の変換行列及び前記複数の逆行列のうちの同一の逆行列を適用する請求項８に記載の計測支援装置。
10. 前記記憶部は、前記撮像距離が計測距離範囲の最遠端である場合の前記歪曲格子領域及び前記計測距離範囲の至近端である場合の前記歪曲格子領域を含む、前記画像における一部の領域を分割した複数の領域であって、前記最遠端における前記歪曲格子領域の格子の大きさよりも小さく分割された前記複数の領域を前記複数の小領域として前記変換行列を記憶し、
    前記座標取得部は、前記複数の小領域に対して記憶された前記変換行列を用いて前記円形マーカを示す点の座標を取得する、請求項９に記載の計測支援装置。
11. 前記変換行列はアフィン変換行列である請求項８から１０のいずれか１項に記載の計測支援装置。
12. 請求項１から１１のいずれか１項に記載の計測支援装置を備える内視鏡システム。
13. 被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡を備え、
    前記ヘッドと、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部に設けられる請求項１２に記載の内視鏡システム。
14. 請求項１２または１３に記載の内視鏡システムのプロセッサであって、前記計測部と、前記記憶部と、前記座標取得部と、前記表示制御部と、を備えるプロセッサ。

Images