JP7029359B2 - 内視鏡装置及びその作動方法並び内視鏡装置用プログラム - Google Patents

内視鏡装置及びその作動方法並び内視鏡装置用プログラム Download PDF

Info

Publication number
JP7029359B2
JP7029359B2 JP2018141856A JP2018141856A JP7029359B2 JP 7029359 B2 JP7029359 B2 JP 7029359B2 JP 2018141856 A JP2018141856 A JP 2018141856A JP 2018141856 A JP2018141856 A JP 2018141856A JP 7029359 B2 JP7029359 B2 JP 7029359B2
Authority
JP
Japan
Prior art keywords
captured image
still image
image
timing
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018141856A
Other languages
English (en)
Other versions
JP2020014807A (ja
Inventor
岳一 龍田
将人 吉岡
慎一郎 園田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018141856A priority Critical patent/JP7029359B2/ja
Publication of JP2020014807A publication Critical patent/JP2020014807A/ja
Application granted granted Critical
Publication of JP7029359B2 publication Critical patent/JP7029359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、被写体の大きさを測定する内視鏡装置及びその作動方法並び内視鏡装置用プログラムに関する。
内視鏡装置では、観察対象物までの距離又は観察対象物の大きさなどを取得することが行われている。例えば、特許文献1では、被写体に対して計測補助光を照射し、被写体上にスポットを形成する。被写体を撮像して得られる撮像画像から、スポットの位置を特定する。そして、スポットの位置に応じて、被写体に含まれる観察対象における実サイズを示す指標図形を設定し、設定した計測用マーカを撮像画像上に表示することが行われている。撮像画像上に表示された計測用マーカを用いることで、観察対象の大きさを計測することが可能となる。
国際公開2018/051680号
内視鏡診断においては、観察対象の大きさの他、形態に基づいて診断することが行われている。したがって、診断を確実に行うこと、また、カルテの入力を省略するためには、特許文献1のように、観察対象の大きさを計測するための指標図形が重畳表示された測長画像だけでなく、観察対象の形態も把握することができる形態画像も合わせて保存しておくことが好ましい。更には、事後的に大きさを計測するために、計測用マーカを変更して表示することができるように、計測用マーカを重畳表示しておらず、且つ、スポットのみが写り込んだ撮像画像も保存しておくことが好ましい。
本発明は、観察対象の大きさ又は形態の診断に必要な複数の撮像画像の静止画を保存することができる内視鏡装置及びその作動方法並び内視鏡装置用プログラムを提供することを目的とする。
本発明の内視鏡装置は、被写体を照明するための照明光を発する照明光光源部と、被写体の計測に用いる計測補助光を発する計測補助光光源部と、被写体を撮像する撮像素子と、被写体上において計測補助光によって形成される特定領域の位置を特定する位置特定部と、被写体を撮像素子にて撮像して得られる撮像画像の静止画を取得するための静止画取得指示を行う静止画取得指示部と、静止画取得指示が行われた場合において、第1タイミングにて計測補助光を減光し、且つ照明光を点灯する制御と、第1タイミングと異なる第2タイミング又は第3タイミングにて照明光及び計測補助光を点灯する制御をする発光用制御部と、ユーザ操作による1回の静止画取得指示から、第1タイミングにおいて減光した計測補助光と照明光で照明された被写体を撮像して得られる第1撮像画像の静止画、第2タイミングにおいて照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像の静止画、又は、特定領域の位置に応じて設定される計測用マーカを、第3タイミングにおいて照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像に表示した第3撮像画像の静止画のうち少なくとも2つを保存する静止画保存制御部とを備え、第2撮像画像から特定領域の位置が特定され、計測用マーカは、第3撮像画像の静止画を保存する場合に、表示する色、数及び種類のうち少なくとも一つがユーザによって選択可能である。
静止画保存制御部は、特定領域の位置に関する情報と、第1撮像画像の静止画、第2撮像画像の静止画、又は、第3撮像画像の静止画とを関連付けて保存を行うことが好ましい。静止画保存制御部は、特定領域の位置に基づく計測用マーカの設定の校正に用いられるキャリブレーションデータと関連付けて保存を行うことが好ましい。キャリブレーションデータには、撮像素子の前面に設けられた対物レンズの光軸と計測補助光の光軸との関係が記憶されていることが好ましい。
静止画保存制御部は、第2タイミング又は第3タイミングに得られる複数の第2撮像画像のうちブレ量用条件を満たす画像を、第2撮像画像の静止画として保存することが好ましい。ブレ量用条件は、複数の第2撮像画像のうち特定領域の面積が最も小さい第2撮像画像であること、又は、特定領域の面積が面積用閾値よりも小さい第2撮像画像であることが好ましい。
静止画保存制御部は、被写体の計測を行う測長モードにおいて、第1撮像画像の静止画、第2撮像画像の静止画、又は第3撮像画像の静止画のうち少なくとも2つを保存する測長モード用保存制御を行うことを許可することが好ましい。第2撮像画像における特定領域に基づいて、測長モードの実行可能又は実行不可能を判定する測長モード実行可否判定部を有することが好ましい。第2タイミングと第3タイミングは同じタイミングであることが好ましい。静止画取得指示が行われた場合に、第1撮像画像又は第3撮像画像のうち少なくとも一方を表示部に表示する表示制御部を備えることが好ましい。位置特定部は、保存済みの第2撮像画像から特定領域の位置を特定し、特定領域の位置に基づいて計測用マーカを設定することが好ましい。
本発明の内視鏡システムの作動方法は、光源制御部が、被写体を撮像素子にて撮像して得られる撮像画像の静止画を取得するための静止画取得指示が行われた場合において、第1タイミングにて被写体の計測に用いる計測補助光を減光し、且つ被写体を照明するための照明光を点灯する制御と、第1タイミングと異なる第2タイミング又は第3タイミングにて照明光及び計測補助光を点灯する制御をするステップと、位置特定部が、被写体上において、被写体の計測に用いる計測補助光によって形成される特定領域の位置を特定するステップと、静止画保存制御部が、ユーザ操作による1回の静止画取得指示から、第1タイミングにおいて減光した計測補助光と照明光で照明された被写体を撮像して得られる第1撮像画像の静止画、第2タイミングにおいて照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像の静止画、又は、特定領域の位置に応じて設定される計測用マーカを、第3タイミングにおいて照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像に表示した第3撮像画像の静止画のうち少なくとも2つを保存するステップとを有し、第2撮像画像から特定領域の位置が特定され、計測用マーカは、第3撮像画像の静止画を保存する場合に、表示する色、数及び種類のうち少なくとも一つがユーザによって選択可能である。
本発明は、内視鏡装置にインストールされる内視鏡装置用プログラムにおいて、コンピュータに、光源制御部が、被写体を撮像素子にて撮像して得られる撮像画像の静止画を取得するための静止画取得指示が行われた場合において、第1タイミングにて被写体の計測に用いる計測補助光を減光し、且つ被写体を照明するための照明光を点灯する制御と、第1タイミングと異なる第2タイミング又は第3タイミングにて照明光及び計測補助光を点灯する制御をする機能と、位置特定部が、被写体上において、被写体の計測に用いる計測補助光によって形成される特定領域の位置を特定する機能と、静止画保存制御部が、ユーザ操作による1回の静止画取得指示から、第1タイミングにおいて減光した計測補助光と照明光で照明された被写体を撮像して得られる第1撮像画像の静止画、第2タイミングにおいて照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像の静止画、又は、特定領域の位置に応じて設定される計測用マーカを、第3タイミングにおいて照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像に表示した第3撮像画像の静止画のうち少なくとも2つを保存する機能とを実現させ、第2撮像画像から特定領域の位置が特定され、計測用マーカは、第3撮像画像の静止画を保存する場合に、表示する色、数及び種類のうち少なくとも一つがユーザによって選択可能である。
本発明によれば、観察対象の大きさ又は形態の診断に必要な複数の撮像画像の静止画を保存することができる。これにより、診断を確実に行うこと、また、カルテの入力を省略することができる。更には、事後的に計測用マーカを変更して表示することができる。
内視鏡装置の外観図である。 内視鏡の先端部を示す平面図である。 内視鏡装置の機能を示すブロック図である。 計測補助光出射部を示すブロック図である。 内視鏡の先端部と観察距離の範囲Rx内の近端Px、中央付近Py、及び遠端Pzとの関係を示す説明図である。 信号処理部の機能を示すブロック図である。 測長モードにおいて静止画取得指示が行われた場合の光源制御、撮像制御、保存制御を示す説明図である。 第1撮像画像、第2撮像画像、第3撮像画像の保存方法を示す説明図である。 静止画取得指示が行われた場合に表示される第1撮像画像と第3撮像画像の画像図である。 測長モードにおいて静止画取得指示が行われた場合の光源制御、撮像制御、保存制御であって図8と異なる光源制御、撮像制御、保存制御を示す説明図である。 測長モードにおいて静止画取得指示が行われた場合の光源制御、撮像制御、保存制御であって図8及び図10と異なる光源制御、撮像制御、保存制御を示す説明図である。 第1撮像画像の静止画、第2撮像画像の静止画、又は第3撮像画像の静止画とスポットSPの座標情報を関連付けて保存することを示す説明図である。 第1撮像画像の静止画、第2撮像画像の静止画、又は第3撮像画像の静止画とキャリブレーションデータを関連付けて保存することを示す説明図である。 複数の第2撮像画像に対してブレ量判定を行ってブレ量の小さい第2撮像画像を保存することを示す説明図である。 測長モード実行可否判定に基づいて測長モード実行可能の場合を示す説明図である。 測長モード実行可否判定に基づいて測長モード実行不可能の場合を示す説明図である。 保存済みの第2撮像画像から計測用マーカを表示して第3撮像画像を生成することを示す説明図である。 測長モードにおいて静止画取得指示が行われた場合の一連の流れを示す説明図である。 観察距離が近端Pxである場合のスポット及び第1の計測用マーカを示す画像図である。 観察距離が中央付近Pyである場合のスポット及び第1の計測用マーカを示す画像図である。 観察距離が遠端Pzである場合のスポット及び第1の計測用マーカを示す画像図である。 目盛り付き十字型、歪曲十字型、円及び十字型、及び計測用点群型の第1の計測用マーカを示す説明図である。 観察距離が近端Pxである場合におけるスポットの位置と第1の計測用マーカの大きさとの関係の測定に用いる方眼紙状のチャートを示す説明図である。 観察距離が遠端Pyである場合におけるスポットの位置と第1の計測用マーカの大きさとの関係の測定に用いる方眼紙状のチャートを示す説明図である。 スポットのX方向ピクセル位置と第1の計測用マーカのX軸方向ピクセル数との関係を示すグラフである。 スポットのY方向ピクセル位置と第1の計測用マーカのX軸方向ピクセル数との関係を示すグラフである。 スポットのX方向ピクセル位置と第1の計測用マーカのY軸方向のピクセル数との関係を示すグラフである。 スポットのY方向ピクセル位置と第1の計測用マーカのY軸方向のピクセル数との関係を示すグラフである。 色がそれぞれ同じ3つの同心円状のマーカを示す画像図である。 色がそれぞれ異なる3つの同心円状のマーカを示す画像図である。 歪曲同心円状のマーカを示す画像図である。 交差ライン及び目盛りを示す画像図である。 画像処理装置を示すブロック図である。
図1に示すように、内視鏡装置10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。プロセッサ装置16は、画像を表示するモニタ18(表示部)に電気的に接続されている。ユーザーインターフェース19は、プロセッサ装置16に接続されており、プロセッサ装置16に対する各種設定操作等に用いられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
内視鏡12は、通常モードと、測長モードとを備えており、これら2つのモードは内視鏡12の操作部12bに設けられたモード切替スイッチ13aによって切り替えられる。通常モードは、照明光によって観察対象を照明するモードである。測長モードは、照明光又は計測補助光を観察対象に照明し、且つ、観察対象の撮像により得られる撮像画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示する。計測補助光は、被写体の計測に用いられる光である。
また、内視鏡12の操作部12bには、撮像画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ13b(静止画取得指示部)が設けられている。ユーザーがフリーズスイッチ13bを操作することにより、モニタ18の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、フリーズスイッチ13bの操作タイミング前後に得られる撮像画像の静止画が、プロセッサ装置16内の静止画保存部42(図3参照)に保存される。
なお、静止画保存部42はハードディスクやUSB(Universal Serial Bus)メモリなどの記憶部である。プロセッサ装置16がネットワークに接続可能である場合には、静止画保存部42に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に撮像画像の静止画を保存するようにしてもよい。
なお、フリーズスイッチ13b以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置16にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置16に、ユーザーのジェスチャーを認識するジェスチャー認識部(図示しない)を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
また、モニタ18の近くに設けた視線入力部(図示しない)をプロセッサ装置16に接続し、視線入力部が、モニタ18のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置16に音声認識部(図示しない)を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置16に、タッチパネルなどのオペレーションパネル(図示しない)を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
図2に示すように、内視鏡12の先端部は略円形となっており、内視鏡12の撮像光学系を構成する光学部材のうち最も被写体側に位置する対物レンズ21と、被写体に対して照明光を照射するための照明レンズ22と、後述する計測補助光を被写体に照明するための計測補助用レンズ23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とが設けられている。
対物レンズ21の光軸Ax(図5参照)は、紙面に対して垂直な方向に延びている。縦の第1方向D1は、光軸Axに対して直交しており、横の第2方向D2は、光軸Ax及び第1方向D1に対して直交する。対物レンズ21と計測補助用レンズ23とは、第1方向D1に沿って配列されている。
図3に示すように、光源装置14は、光源部26と、光源制御部27とを備えている。光源部26(照明光光源部)は、被写体を照明するための照明光を発生する。光源部26から出射された照明光は、ライトガイド28に入射され、照明レンズ22を通って被写体に照射される。光源部26としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いることが好ましい。光源制御部27は、プロセッサ装置16のシステム制御部41と接続されている。光源制御部27は、システム制御部41からの指示に基づいて光源部26を制御する。システム制御部41(発光用制御部)は、光源制御部27に対して、光源制御に関する指示を行う他に、計測補助光出射部30の光源30a(図4参照)も制御する。システム制御部41による光源制御の詳細については後述する。
内視鏡12の先端部12dには、照明光学系29a、撮像光学系29b、及び計測補助光出射部30が設けられている。照明光学系29aは照明レンズ22を有しており、この照明レンズ22を介して、ライトガイド28からの光が観察対象に照射される。撮像光学系29bは、対物レンズ21及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21を介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色のRGB画像信号を得るためのカラーの撮像センサである。撮像素子32は、撮像制御部33によって制御される。なお、撮像素子32として、補色のC(シアン)、M(マゼンタ)、Y(イエロー)、G(緑)のカラーフィルタが設けられた補色系の撮像素子を用いてもよい。
撮像素子32から出力される画像信号は、CDS・AGC回路34に送信される。CDS・AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路34を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、プロセッサ装置16に入力される。
プロセッサ装置16は、内視鏡12の通信I/F36と接続される通信I/F(Interface)38と、信号処理部39と、表示制御部40と、システム制御部41とを備えている。通信I/Fは、内視鏡12の通信I/F36から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、通信I/F38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、撮像画像を生成する。なお、信号処理部39では、測長モードに設定されている場合には、撮像画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。
表示制御部40は、信号処理部39によって生成された撮像画像をモニタ18に表示する。システム制御部41は、内視鏡12に設けられた撮像制御部33を介して、撮像素子32の制御を行う。撮像制御部33は、撮像素子32の制御に合わせて、CDS/AGC34及びA/D35の制御も行う。静止画保存制御部43は、静止画保存部42に保存する撮像画像の静止画に関する制御を行う。静止画保存制御部43は、測長モードにおいて1回の静止画取得指示が行われることにより、第1撮像画像、第2撮像画像、第3撮像画像を少なくとも2つ含む複数種類の画像を1度に保存する制御をする。測長モードにおける静止画取得指示の詳細については後述する。
図4に示すように、計測補助光出射部30(計測補助光光源部)は、光源30aと、回折光学素子DOE30b(Diffractive Optical Element)と、プリズム30cと、計測補助用レンズ23とを備える。光源30aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。
光源30aが出射する光の波長は、例えば、600nm以上650nm以下の赤色光であることが好ましい。もしくは、495nm以上570nm以下の緑色光を用いてもよい。光源30aはシステム制御部41によって制御され、システム制御部41からの指示に基づいて光出射を行う。DOE30bは、光源から出射した光を、被写体の計測に用いられる計測補助光に変換する。
プリズム30cは、DOE30bで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム30cは、対物レンズ21及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細についても、後述する。プリズム30cから出射した計測補助光Lmは、計測補助用レンズ23を通って、被写体へと照射される。計測補助光が被写体に照射されることにより、被写体において、円状領域(特定領域)としてのスポットSPが形成される(図7(B)参照)。このスポットSPの位置は、位置特定部50によって特定され、また、スポットSPの位置に応じて、実寸サイズを表す計測用マーカが設定される。設定された計測用マーカは、撮像画像上に表示される。
なお、計測補助用レンズ23に代えて、内視鏡の先端部12dに形成される計測補助用スリットとしてもよい。また、計測補助用レンズ23には、反射防止コート(AR(Anti-Reflection)コート)(反射防止部)を施すことが好ましい。このように反射防止コートを設けるのは、計測補助光が計測補助用レンズ23を透過せずに反射して、被写体に照射される計測補助光の割合が低下すると、後述する位置特定部50が、計測補助光により被写体上に形成されるスポットSPの位置を認識し難くなるためである。
なお、計測補助光出射部30は、計測補助光を撮像光学系の視野に向けて出射できるものであればよい。例えば、光源30aが光源装置に設けられ、光源30aから出射された光が光ファイバによってDOE30bにまで導光されるものであってもよい。また、プリズム30cを用いずに、光源30a及びDOE30bの向きを光軸Axに対して斜めに設置することで、撮像光学系の視野を横切る方向に計測補助光Lmを出射させる構成としてもよい。
計測補助光の進行方向については、図5に示すように、計測補助光Lmの光軸Lmが対物レンズ21の光軸Axと交差する状態で、計測補助光Lmを出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測補助光Lmによって被写体上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Axと交わる点)が異なることが分かる。なお、撮像光学系の撮影画角は2つの実線45で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線46で挟まれる領域)で計測を行うようにしている。
以上のように、計測補助光の光軸Lmを光軸Axと交差する状態で、計測補助光Lmを出射することによって、観察距離の変化に対するスポット位置の移動の感度が高いことから、被写体の大きさを高精度に計測することができる。そして、計測補助光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む撮像画像が得られる。撮像画像では、スポットSPの位置は、対物レンズ21の光軸Axと計測補助光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
図6に示すように、プロセッサ装置16の信号処理部39は、スポットSP(特定領域)の位置認識、及び計測用マーカの設定を行うために、第2撮像画像におけるスポットSPの位置を特定する位置特定部50と、スポットSPの位置に基づいて計測用マーカを設定し、設定した計測用マーカを第2撮像画像に表示する第3撮像画像を生成する計測用マーカ設定部とを備えている。
位置特定部50は、第2撮像画像に基づいて、スポットSPの位置を特定する。具体的には、スポットSPの位置に関する座標情報を特定する。スポットSPは、第2撮像画像において、計測補助光の色に対応する成分を多く含む略円状の赤色領域で表示される。したがって、略円状の赤色領域からスポットSPの位置を特定する。位置の特定方法としては、例えば、撮像画像を二値化し、二値化画像のうち白部分(信号強度が二値化用閾値より高い画素)の重心を、スポットSPの位置として特定する。
計測用マーカ設定部52は、第2撮像画像におけるスポットSPの位置に基づいて、計測用マーカを設定する。計測用マーカ設定部52は、第2撮像画像におけるスポットSPの位置と計測用マーカの大きさとの関係を記憶したマーカ用テーブル54を参照して、スポットSPの位置からマーカの大きさを算出する。そして、計測用マーカ設定部52では、マーカの大きさに対応する計測用マーカを設定する。そして、計測用マーカ設定部52は、計測用マーカを第2撮像画像に重畳表示した第3撮像画像を生成する。
システム制御部41による光源制御及び撮像制御と静止画保存制御部43による静止画保存制御の詳細について説明する。通常モードに設定されている場合には、システム制御部41は、光源装置14の光源部26に対して、照明光を常時発するように指示する。これにより、光源部26からは照明光が発せられる。照明光は、ライトガイド28を介して、被写体に照射される。なお、通常モードの場合には、計測補助光出射部30の光源30aは停止している。また、静止画保存制御部43は、通常モードにおいて1回の静止画取得指示が行われることにより、照明光で照明された被写体を撮像して得られる第1撮像画像を静止画保存部42に保存する。
一方、測長モードに設定されている場合には、システム制御部41は、静止画取得指示が行われていない場合には、光源装置14の光源部26及び計測補助光出射部30の光源30aに対して、照明光及び計測補助光Lmを発光するように制御する。これに対して、フリーズスイッチ13bが操作されて静止画取得指示が行われた場合には、図7に示すように、静止画取得指示を含む第1タイミングにおいては、照明光は点灯(on)する一方で、計測補助光は消灯(off)にする。第1タイミングが経過した後の第2タイミング及び第3タイミングにおいては、照明光の点灯は維持したままで、再び計測補助光を点灯する。第2タイミングと第3タイミングとは同じタイミングとするが、後述するように異なるタイミングとしてもよい。
なお、第1タイミングにおいては、計測補助光を消灯するのではなく、計測補助光の光強度を一定値以下にする減光を行うようにしてもよい。また、第1タイミングと第2タイミング又は第3タイミングを合計した時間数は0.5秒以下、好ましくは0.3秒以内、さらに好ましくは0.15秒以内である。撮像素子32のフレームレートが、例えば、30fps(frame per second)の場合には、第1タイミングと第2タイミング又は第3タイミングを合計したフレーム数は、15フレーム、好ましくは10フレーム、さらに好ましくは5フレームである。撮像素子32のフレームレートが、例えば、60fps(frame per second)の場合には、第1タイミングと第2タイミング又は第3タイミングを合計したフレーム数は、30フレーム、好ましくは15フレーム、さらに好ましくは7フレームである。
第1タイミングにおいては、計測補助光で照明された被写体を撮像して得られる第1撮像画像が得られる。また、第2タイミングと第3タイミングにおいては、照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像が得られる。そして、図7及び図8に示すように、静止画保存制御部43は、静止画保存部42に保存する保存画像として、第1撮像画像の静止画と第2撮像画像の静止画を保存する。また、第2撮像画像に対して、スポットの位置に応じて設定される計測用マーカ(十字型の計測用マーカMx(例えば「5mm」を表している))を表示した第3撮像画像の静止画を静止画保存部42に保存する。また、静止画取得指示が行われてから一定時間の間は、静止画が記録されていることを報知するために、図9に示すように、表示制御部40は、第1撮像画像と第3撮像画像をモニタ18に表示する。第1~第3撮像画像の保存後は、そのまま測長モードを維持するが、通常モードに自動で切り替えるようにしてもよい。なお、計測用マーカについては、第2撮像画像の代わりに、第1撮像画像に表示した第3撮像画像としてもよい。また、第1~第3撮像画像を保存する際には、各撮像画像を複数フレーム分取得して積算することにより、ノイズリダクションすることが好ましい。このノイズリダクションした撮像画像を静止画保存部42に保存する。
なお、図8(A)に示すように、第1撮像画像は、通常の内視鏡画像であり、色、形、範囲などに基づいて、腫瘍tmに対する形態観察や診断に用いられることから形態画像に相当する。図8(B)に示すように、第2撮像画像は、スポットSPが写り込んでいる画像であるが、計測用マーカが重畳表示されていないことから、測長スポット画像に相当する。例えば、第2撮像画像は、手技後など内視鏡診断の後において、腫瘍tmに対して、計測用マーカを重畳表示するための後処理で詳細に大きさ、距離を計測したい場合に用いられる。内視鏡装置10の他、PC(Personal Computer)などによって後処理を行うようにしてもよい。図8(C)に示すように、第3撮像画像は、腫瘍tmに対して、大きさの目安としての計測用マーカが重畳表示されていることから、測長画像に相当する。例えば、第3撮像画像は、腫瘍を切除する際に、その腫瘍を捨ててよいと判断した場合の証拠画像としてカルテに残すことが好ましい(所定の基準よりも大きい又は小さい場合の腫瘍など)。
以上のように、1回の静止画取得指示により、3つの第1撮像画像、第2撮像画像、及び第3撮像画像が得られる。なお、1回の静止画取得指示により、第1撮像画像、第2撮像画像、又は第3撮像画像のうち少なくとも2つ静止画保存部42に保存することが好ましい。例えば、第1撮像画像と第3撮像画像の2つを保存することが好ましい。
なお、図10に示すように、第2タイミング又は第3タイミングについては第1タイミングの前としてもよい。この場合には、測長モード時においては、第2タイミング又は第3タイミングに対応する数フレーム分の第2撮像画像をプロセッサ装置16の一時保存記憶部(図示しない)に保存しておく必要がある。静止画取得指示が行われた場合には、一時保存記憶部に保存された第2撮像画像を、第2タイミングの第2撮像画像として静止画保存部42に保存し、また、一時保存記憶部に保存された第2撮像画像に対して計測用マーカを付加した第3撮像画像を静止画保存部42に保存する。
また、図11に示すように、第2タイミングと第3タイミングとは異なるタイミングとしてもよい。この場合には、第2タイミングで得られる第2撮像画像は、上記同様にして、静止画保存部42に保存する。また、第3タイミングで得られる第2撮像画像は、静止画保存部42に保存する前に、計測用マーカを付加して第3撮像画像にしてから静止画保存部42に保存する。
なお、静止画保存制御部43は、第1~第3撮像画像のうち少なくとも2つを保存する場合には、図12に示すように、位置特定部50で得られるスポットSPの位置に関する座標情報を、それら第1撮像画像、第2撮像画像、又は、第3撮像画像と関連付けて保存するようにしてもよい。このようにスポットSPの位置に関する座標情報を第1撮像画像等と関連付けて保存しておくことで、内視鏡装置10以外のPCなどで後処理を行う場合には、第2撮像画像からスポットSPを特定することなく、第1撮像画像や第2撮像画像に計測用マーカを表示することが可能となる。なお、撮像画像のデータ形式として、例えば、Exif、DICOM形式などからなる単一画像ファイルを採用する場合には、スポットSPの位置に関する座標情報は、第1撮像画像、第2撮像画像、又は、第3撮像画像のメタデータとすることが好ましい。また、スポットSPの位置に関する座標情報を、iniファイルなどの別ファイルとする場合には、スポットSPの位置に関する座標情報を第1撮像画像、第2撮像画像、又は、第3撮像画像と関連付けて保存する。以上の保存方法に関しては、後述するキャリブレーションデータを保存する場合も同様とする。
また、静止画保存制御部43は、第1~第3撮像画像のうち少なくとも2つを保存する場合には、図13に示すように、スポットSPの位置に基づく計測用マーカの設定の校正に用いられるキャリブレーションデータを、それら第1撮像画像、第2撮像画像、又は、第3撮像画像と関連付けて保存するようにしてもよい。このようにキャリブレーションデータを第1撮像画像等と関連付けて保存しておくことで、内視鏡装置10以外のPCなどで後処理を行う場合に、PCにおいてキャリブレーションデータを用いてマーカ用テーブルを校正する。これにより、内視鏡12に適した計測用マーカの設定を行うことができるようになる。
なお、キャリブレーションデータを用いて、計測用マーカの設定の校正を行うのは、以下の理由からである。内視鏡12においては、製造上の誤差から、それぞれの対物レンズ21の光軸Axと計測補助光の光軸Lmとの関係は異なっている。そこで、内視鏡12の工場出荷時には、対物レンズの光軸Axと計測補助光の光軸Lmとの関係を求めておき、その対物レンズ21の光軸Axと計測補助光の光軸Lmとの関係を記憶したキャリブレーションデータを内視鏡12のキャリブレーションデータ保存部(図示しない)に保存しておく。そして、内視鏡12をプロセッサ装置16に装着した場合に、内視鏡12からプロセッサ装置16にキャリブレーションデータを送信し、プロセッサ装置内のメモリ(図示しない)にキャリブレーションデータを保存する。計測用マーカ設定部52は、キャリブレーションデータを読み出して、マーカ用テーブル54を校正する。計測用マーカ設定部52は、校正後のマーカ用テーブル54を用いて、計測用マーカの設定を行う。
なお、静止画保存部42に保存する保存画像としては、ブレ量がブレ量用条件を満たす静止画を保存することが好ましい。ブレ量を求めて判定する方法としては、例えば、第2撮像画像又は第3撮像画像に写り込んでいるスポットSPの面積を用いて、ブレ量を求める方法がある。例えば、図14に示すように、第2タイミング又は第3タイミングにて複数の第2撮像画像が得られた場合には、位置特定部50において、各第2撮像画像についてスポットSPn1、SPn2、SPn3、・・・、SPnkの位置を特定し、且つ、スポットSPn1、SPn2、SPn3、・・・、SPnkの面積をそれぞれ算出する。そして、信号処理部39のブレ量判定部56(図6参照)は、スポットSPn1、SPn2、SPn3、・・・、SPnkの面積のうち面積が最も小さいスポットSPn2の第2撮像画像を、ブレ量用条件を満たす第2撮像画像として、静止画保存部42に保存するようにする。これは、ブレ量が大きくなると、スポットSPの面積が大きくなることを利用している。なお、スポットSPの面積が面積用閾値よりも小さい第2撮像画像を、ブレ量用条件を満たす第2撮像画像として、静止画保存部42に保存するようにしてもよい。
なお、静止画保存制御部43は、測長モードに設定されている場合にのみ、第1~第3撮像画像のうち少なくとも2つを静止画保存部42に保存する測長モード用保存制御を行うことを許可するようにしてもよい。この場合、通常モードにおいては、測長モード用保存制御の実行は禁止される。なお、モード切替スイッチ13aを操作して測長モードに切り替えた場合であっても、測長モードを行うことが難しい状況下では、測長モードの実行を不可能にすることが好ましい。
例えば、図15に示すように、位置特定部50にてスポットSPが位置特定可能な程度に写り込んでいる場合には、信号処理部39の測長モード実行可否判定部58(図6参照)は、測長モードの実行可能との判定を行う。この場合には、測長モードは維持され、且つ、測長モード用保存制御の実行は許可される。これに対して、図16に示すように、スポットSPがほとんど見えないなど、位置特定部50にてスポットSPが位置特定可能な程度に写り込んでいない場合には、信号処理部39の測長モード実行可否判定部58(図6参照)は、測長モードの実行不可能との判定を行う。この場合には、測長モードは解除されて通常モードに切り替えられ(モニタ18に「通常モードに自動的に切り替えられた旨」の通知を行うことが好ましい)。また、測長モードが解除された場合には、測長モード用保存制御の実行は禁止される。なお、測長モードを行うことが難しい状況下としては、ハレーションやフレアなどが生じている場合がある。また、測長モードを行うことが難しい状況にある場合には、「エラー」のメッセージをモニタ18に表示するようにしてもよい。
なお、静止画保存部42に保存した第2撮像画像については、位置特定部50でスポットSPの位置を特定し、計測用マーカ設定部52にて、スポットSP位置に基づいて計測用マーカを設定するようにしてもよい。この場合、図17に示すように、設定する計測用マーカとしては、十字型の計測用マーカMxでなく、同心円型の計測用マーカMyとしてもよい。したがって、第2撮像画像を保存しておくことで、内視鏡診断後などの診断時において、計測用マーカを変更することができるため、観察対象の診断に適した計測用マーカによって診断を行うことが可能となる。なお、同心円型の計測用マーカMyの「2」は2mmを、「5」は5mmを表している。
次に、測長モードにおいて静止画取得指示が行われた場合の一連の流れについて、図18のフローチャートを用いて説明する。ユーザーがモード切替スイッチ13aを操作することにより、測長モードに切り替えられると、計測補助光と照明光とが被写体に照射される。そして、ユーザーがフリーズスイッチ13bを操作することにより、静止画取得指示が行われる。静止画取得指示が行われた場合には、第1タイミングにおいて、照明光の点灯は維持する一方、計測補助光が消灯する。照明光のみが照明された被写体を撮像して得られる第1撮像画像は、静止画保存制御部43によって静止画保存部42に保存される。
第1タイミングが経過した後の第2タイミング又は第3タイミングにおいては、そのまま照明光の点灯を維持する一方、計測補助光の点灯を再開する。照明光及び計測補助光が照明された被写体を撮像して得られる第2撮像画像は、静止画保存制御部43によって静止画保存部42に保存される。また、第2撮像画像からスポットSPの位置を特定する。スポットSPの位置に応じて計測用マーカを設定し、第2撮像画像に計測用マーカを重畳表示した第3撮像画像を生成する。生成された第3撮像画像は、静止画保存制御部43によって静止画保存部42に保存される。以上の第1~第3撮像画像の保存が完了すると、再度、測長モードに復帰し、スポットSPを中心に計測用マーカが重畳表示された第3撮像画像がモニタ18に表示される。
なお、計測用マーカには、第1の計測用マーカ、第2の計測用マーカなど複数の種類が含まれ、いずれの種類の計測用マーカを撮像画像上に表示するかについては、ユーザーの指示によって選択が可能となっている。ユーザーの指示としては、例えば、ユーザーインターフェース19が用いられる。
第1の計測用マーカとしては、例えば、十字型の計測マーカMxを用いる。この場合、図19に示すように、観察距離が近端Pxに近い場合には、被写体の腫瘍tm1上に形成されたスポットSP1の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す十字型のマーカMx1が表示される。腫瘍tm1と十字型のマーカMx1により定められる範囲とはほぼ一致しているため、腫瘍tm1は5mm程度と計測することができる。
同様にして、図20に示すように、観察距離が中央付近Pyに近い場合、被写体の腫瘍tm2上に形成されたスポットSP2の中心に合わせて、実寸サイズ5mm(第2撮像画像の水平方向及び垂直方向)を示す十字型のマーカMx2が表示される。また、図21に示すように、被写体の腫瘍tm3上に形成されたスポットSP3の中心に合わせて、実寸サイズ5mm(第2撮像画像の水平方向及び垂直方向)を示す十字型のマーカMx3が表示される。以上のように、観察距離によって撮像素子32の撮像面におけるスポットの位置が異なり、これに従って、マーカの表示位置も異なっている。以上の図19~図21に示すように、観察距離が長くなるにつれて同一の実寸サイズ5mmに対応する第1の計測用マーカの大きさが小さくなっている。
なお、図19~図21では、スポットSPの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットSPから離れた位置に第1の計測用マーカを表示してもよい。ただし、この場合にもスポットの近傍に第1の計測用マーカを表示することが好ましい。また、第1の計測用マーカを変形して表示するのではなく、撮像画像の歪曲収差を補正し変形させない状態の第1の計測用マーカを補正後の撮像画像に表示するようにしてもよい。
また、図19~図21では、被写体の実寸サイズ5mmに対応する第1の計測用マーカを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してもよい。また、図19~図21では、第1の計測用マーカを、縦線と横線が直交する十字型としているが、図22に示すように、十字型の縦線と横線の少なくとも一方に、目盛りMtを付けた目盛り付き十字型としてもよい。また、第1の計測用マーカとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第1の計測用マーカを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第1の計測用マーカを、スポットから実寸サイズに対応する複数の測定点EPを組み合わせた計測用点群型としてもよい。また、第1の計測用マーカの数は一つでも複数でもよいし、実寸サイズに応じて第1の計測用マーカの色を変化させてもよい。
マーカ用テーブル54の作成方法について、以下説明する。スポットの位置とマーカの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、スポット状の計測補助光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm)もしくはそれより細かい罫(例えば1mm)の方眼紙状のチャートを撮像し、スポットの位置(撮像素子32の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。
図23に示すように、(x1、y1)は、撮像素子32の撮像面におけるスポットSP4のX、Y方向のピクセル位置(左上が座標系の原点)である。スポットSP4の位置(x1、y1)での、実寸サイズ5mmに対応するX方向ピクセル数をLx1とし、Y方向ピクセル数をLy1とする。このような測定を、観察距離を変えながら繰り返す。図24は、図23と同じ5mm罫のチャートを撮像した状態を示しているが、図23の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図24の状態において、撮像素子32の撮像面におけるスポットSP5の位置(x2、y2)での実寸サイズ5mmに対応するX方向ピクセル数をLx2とし、Y方向ピクセル数をLy2とする。そして、観察距離を変えながら、図23、24のような測定を繰り返し、結果をプロットする。なお、図23、24では、対物レンズ21の歪曲収差を考慮せず表示している。
図25は、スポットの位置のX座標とLx(第1の計測用マーカのX方向ピクセル数)との関係を示しており、図26は、スポットの位置のY座標とLxとの関係を示している。Lxは図25の関係よりX方向位置の関数として、Lx=g1(x)と表され、また、Lyは、図26の関係より、Y方向位置の関数として、Ly=g2(y)として表される。g1、g2は上述のプロット結果から、例えば、最小二乗法により求めることができる。
なお、スポットのX座標とY座標とは一対一に対応しており、関数g1、g2のいずれを用いても、基本的に同じ結果(同じスポット位置に対しては同じピクセル数)が得られるため、第1の計測用マーカの大きさを算出する場合には、どちらの関数を用いてもよく、g1、g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1、g2の値が大きく異なる場合には、「スポットの位置を認識できなかった」と判断してもよい。
図27は、スポット位置のX座標とLy(Y方向ピクセル数)との関係を表しており、図28は、スポット位置のY座標とLyとの関係を表している。図27の関係より、LyはX方向位置の座標としてLy=h1(x)と表され、図28の関係より、LyはY方向位置の座標としてLy=h2(y)として表される。Lyについても、Lxと同様に関数h1、h2のいずれを用いてもよい。
以上のように得られた関数g1、g2、h1、h2については、ルックアップテーブル形式によってマーカ用テーブルに記憶される。なお、関数g1、g2については、関数形式でマーカ用テーブルに記憶するようにしてもよい。
なお、第2実施形態では、第1の計測用マーカとして、図29に示すように、大きさが異なる3つの同心円状のマーカM4A、M4B、M4C(大きさはそれぞれ直径が2mm、5mm、10mm)を、腫瘍tm4上に形成されたスポットSP4を中心として、第1撮像画像上に表示するようにしてもよい。この3つの同心円状のマーカは、マーカを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状のマーカを複数表示する場合には、大きさや色をマーカ毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。
図29では、3つの同心円状のマーカを全て同じ色(黒)で表示しているが、複数の同心円状のマーカを表示する場合、マーカによって色を変えた複数の色付き同心円状のマーカとしてもよい。図30に示すように、マーカM5Aは赤色を表す点線、マーカM5Bは青色を表す実線、マーカM5Cは白を表す一点鎖線で表示している。このようにマーカの色を変えることで識別性が向上し、容易に計測を行うことができる。
また、第1の計測用マーカとしては、複数の同心円状のマーカの他、図31に示すように、各同心円を歪曲させた複数の歪曲同心円状のマーカを用いてもよい。この場合、歪曲同心円状のマーカM6A、マーカM6B、マーカM6Cが、腫瘍tm5に形成されたスポットSP5を中心に第1撮像画像に表示されている。
なお、計測補助光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図32に示すように、被写体上に交差ライン80として形成される平面状の計測補助光を用いるようにしてもよい。この場合には、計測用マーカとして、交差ライン80及び交差ライン上に被写体の大きさ(例えば、ポリープP)の指標となる目盛り82からなる第2の計測用マーカを生成する。平面状の計測補助光を用いる場合には、位置特定部50は、交差ライン80(特定領域)の位置を特定する。交差ライン80が下方に位置する程、観察距離が近く、交差ライン80が上方に位置する程、観察距離が遠くなる。そのため、交差ライン80が下方に位置する程、目盛り82の間隔は大きくなり、交差ライン80が上方に位置する程、目盛り82の間隔は小さくなる。
なお、内視鏡装置10によって保存された第1撮像画像、第2撮像画像、又は第3撮像画像とキャリブレーッションデータについては、外部のPCなどの画像処理装置に送信(もしくはUSB(Universal Serial Bus)メモリなどで画像等を内視鏡装置10からPCに移す)して、再生等をしてもよい。例えば、図33に示すように、画像処理装置100が画像処理部102とモニタ101を有する場合において、画像処理部102の画像取り込み部104によって、内視鏡装置10で保存した第1撮像画像、第2撮像画像とキャリブレーションデータを取り込む。位置特定部50は、第2撮像画像からスポットSPの位置を特定する。画像処理部102の計測用マーカ設定部52は、キャリブレーションデータを用いて、マーカ用テーブル54を校正する。計測用マーカ設定部52は、校正後のマーカ用テーブル54を用いて、スポットSPの位置に基づいて計測用マーカを設定する。また、計測用マーカ設定部52は、設定した計測用マーカを第2撮像画像に表示して第3撮像画像を生成し、モニタ101に表示する。
なお、上記実施形態においては、計測用マーカの設定及び第3撮像画像の生成等を行うために、プロセッサ装置16の信号処理部39内に、測長モード時に使用する処理部(位置特定部50、計測用マーカ設定部52等)を設けているが、これら測長モード時に使用する処理部については、プロセッサ装置16に接続された外部のイメージングプロセッサ(図示しない)に設けてもよい。この場合には、プロセッサ装置16から第2撮像画像が外部のイメージングプロセッサに送信される。イメージングプロセッサでは、第2撮像画像に基づいてスポットSPの位置を特定し、スポットSPの位置に応じて計測用マーカの設定を行う。そして、設定した計測用マーカを第2撮像画像に表示した第3撮像画像を生成し、第3撮像画像をプロセッサ装置16に送信する。プロセッサ装置16の表示制御部40は、イメージングプロセッサから送信された第3撮像画像をモニタ18に表示する。
上記実施形態において、信号処理部39、表示制御部40、システム制御部41といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
外部のPCを用いて計測用マーカを設定する実施例に対応する技術的思想は以下の通りである。
[付記項]
照明光で照明された被写体を撮像して得られる第1撮像画像の静止画、又は、照明光及び計測補助光で照明された被写体を撮像して得られる第2撮像画像の静止画と、内視鏡に含まれる対物レンズの光軸と前記計測補助光の光軸との関係を記憶するキャリブレーションデータを取り込む画像取り込み部と、
前記第2撮像画像から前記計測補助光によって形成される特定領域の位置を特定する位置特定部と、
前記特定領域の位置に基づいて計測用マーカを設定し、前記計測用マーカを前記第1撮像画像又は前記第2撮像画像に表示する第3撮像画像を生成する計測用マーカ設定部とを備え、
前記計測用マーカ設定部では、前記キャリブレーションデータを用いて、前記計測用マーカの設定の校正を行い、校正後において前記計測用マーカの設定を行う画像処理装置。
10 内視鏡装置
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替スイッチ
13b フリーズスイッチ
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
21 対物レンズ
22 照明レンズ
23 計測補助用レンズ
24 開口
25 送気送水ノズル
26 光源部
27 光源制御部
28 ライトガイド
29a 照明光学系
29b 撮像光学系
30 計測補助光出射部
30a 光源
30c プリズム
32 撮像素子
33 撮像制御部
34 CDS/AGC回路
35 A/D
36 通信I/F(Interface)
38 通信I/F(Interface)
39 信号処理部
40 表示制御部
41 システム制御部
42 静止画保存部
43 静止画保存制御部
45 実線
46 点線
50 位置特定部
52 計測用マーカ設定部
54 マーカ用テーブル
56 ブレ量判定部
58 測長モード実行可否判定部
80 交差ライン
100 画像処理装置
101 モニタ
102 画像処理部
104 画像取り込み部
EP 測定点
Mt 目盛り
Mx、M1、M2、M3 十字型のマーカ
My 同心円型の計測用マーカ
tm、tm1、tm2、tm3、tm4、tm5 腫瘍
SP スポット
SP1、SP2、SP3、SP4、SP5 スポット
Lx1、Lx2 X方向ピクセル数
Ly1、Ly2 Y方向ピクセル数
M4A、M4B、M4C、M5A、M5B、M5C 同心円状のマーカ
M6A、M6B、M6C 歪曲同心円状のマーカ
P ポリープ

Claims (12)

  1. 被写体を照明するための照明光を発する照明光光源部と、
    前記被写体の計測に用いる計測補助光を発する計測補助光光源部と、
    前記被写体を撮像する撮像素子と、
    前記被写体上において前記計測補助光によって形成される特定領域の位置を特定する位置特定部と、
    前記被写体を前記撮像素子にて撮像して得られる撮像画像の静止画を取得するための静止画取得指示を行う静止画取得指示部と、
    前記静止画取得指示が行われた場合において、第1タイミングにて前記計測補助光を減光し、且つ前記照明光を点灯する制御と、前記第1タイミングと異なる第2タイミング又は第3タイミングにて前記照明光及び前記計測補助光を点灯する制御をする発光用制御部と、
    ユーザ操作による1回の前記静止画取得指示から、前記第1タイミングにおいて減光した前記計測補助光と前記照明光で照明された前記被写体を撮像して得られる第1撮像画像の静止画、前記第2タイミングにおいて前記照明光及び前記計測補助光で照明された前記被写体を撮像して得られる第2撮像画像の静止画、又は、前記特定領域の位置に応じて設定される計測用マーカを、前記第3タイミングにおいて前記照明光及び前記計測補助光で照明された前記被写体を撮像して得られる第2撮像画像に表示した第3撮像画像の静止画のうち少なくとも2つを保存する静止画保存制御部とを備え、
    前記第2撮像画像から前記特定領域の位置が特定され、
    前記計測用マーカは、前記第3撮像画像の静止画を保存する場合に、表示する色、数及び種類のうち少なくとも一つがユーザによって選択可能である内視鏡装置。
  2. 前記静止画保存制御部は、前記特定領域の位置に関する情報と、前記第1撮像画像の静止画、前記第2撮像画像の静止画、又は、前記第3撮像画像の静止画とを関連付けて保存を行う請求項1記載の内視鏡装置。
  3. 前記静止画保存制御部は、前記特定領域の位置に基づく前記計測用マーカの設定の校正に用いられるキャリブレーションデータと関連付けて保存を行う請求項1または2記載の内視鏡装置。
  4. 前記キャリブレーションデータには、前記撮像素子の前面に設けられた対物レンズの光軸と前記計測補助光の光軸との関係が記憶されている請求項3記載の内視鏡装置。
  5. 前記静止画保存制御部は、前記第2タイミング又は前記第3タイミングに得られる複数の第2撮像画像のうちブレ量用条件を満たす画像を、前記第2撮像画像の静止画として保存する請求項1ないし4いずれか1項記載の内視鏡装置。
  6. 前記ブレ量用条件は、前記複数の第2撮像画像のうち前記特定領域の面積が最も小さい第2撮像画像であること、又は、前記特定領域の面積が面積用閾値よりも小さい第2撮像画像である請求項5記載の内視鏡装置。
  7. 前記静止画保存制御部は、前記被写体の計測を行う測長モードにおいて、前記第1撮像画像の静止画、前記第2撮像画像の静止画、又は前記第3撮像画像の静止画のうち少なくとも2つを保存する測長モード用保存制御を行うことを許可する請求項1ないし6いずれか1項記載の内視鏡装置。
  8. 前記第2撮像画像における前記特定領域に基づいて、前記測長モードの実行可能又は実行不可能を判定する測長モード実行可否判定部を有する請求項7記載の内視鏡装置。
  9. 前記第2タイミングと前記第3タイミングは同じタイミングである請求項1ないし8いずれか1項記載の内視鏡装置。
  10. 前記静止画取得指示が行われた場合に、前記第1撮像画像又は前記第3撮像画像のうち少なくとも一方を表示部に表示する表示制御部を備える請求項1ないし9いずれか1項記載の内視鏡装置。
  11. 光源制御部が、被写体を撮像素子にて撮像して得られる撮像画像の静止画を取得するための静止画取得指示が行われた場合において、第1タイミングにて前記被写体の計測に用いる計測補助光を減光し、且つ前記被写体を照明するための照明光を点灯する制御と、前記第1タイミングと異なる第2タイミング又は第3タイミングにて前記照明光及び前記計測補助光を点灯する制御をするステップと、
    位置特定部が、前記被写体上において、前記被写体の計測に用いる前記計測補助光によって形成される特定領域の位置を特定するステップと、
    静止画保存制御部が、ユーザ操作による1回の前記静止画取得指示から、前記第1タイミングにおいて減光した前記計測補助光と前記照明光で照明された前記被写体を撮像して得られる第1撮像画像の静止画、前記第2タイミングにおいて前記照明光及び前記計測補助光で照明された前記被写体を撮像して得られる第2撮像画像の静止画、又は、前記特定領域の位置に応じて設定される計測用マーカを、前記第3タイミングにおいて前記照明光及び前記計測補助光で照明された前記被写体を撮像して得られる第2撮像画像に表示した第3撮像画像の静止画のうち少なくとも2つを保存するステップとを有し、
    前記第2撮像画像から前記特定領域の位置が特定され、
    前記計測用マーカは、前記第3撮像画像の静止画を保存する場合に、表示する色、数及び種類のうち少なくとも一つがユーザによって選択可能である内視鏡装置の作動方法。
  12. 内視鏡装置にインストールされる内視鏡装置用プログラムにおいて、
    コンピュータに、
    光源制御部が、被写体を撮像素子にて撮像して得られる撮像画像の静止画を取得するための静止画取得指示が行われた場合において、第1タイミングにて前記被写体の計測に用いる計測補助光を減光し、且つ前記被写体を照明するための照明光を点灯する制御と、前記第1タイミングと異なる第2タイミング又は第3タイミングにて前記照明光及び前記計測補助光を点灯する制御をする機能と、
    位置特定部が、前記被写体上において、前記被写体の計測に用いる前記計測補助光によって形成される特定領域の位置を特定する機能と、
    静止画保存制御部が、ユーザ操作による1回の前記静止画取得指示から、前記第1タイミングにおいて減光した前記計測補助光と前記照明光で照明された前記被写体を撮像して得られる第1撮像画像の静止画、前記第2タイミングにおいて前記照明光及び前記計測補助光で照明された前記被写体を撮像して得られる第2撮像画像の静止画、又は、前記特定領域の位置に応じて設定される計測用マーカを、前記第3タイミングにおいて前記照明光及び前記計測補助光で照明された前記被写体を撮像して得られる第2撮像画像に表示した第3撮像画像の静止画のうち少なくとも2つを保存する機能とを実現させ、
    前記第2撮像画像から前記特定領域の位置が特定され、
    前記計測用マーカは、前記第3撮像画像の静止画を保存する場合に、表示する色、数及び種類のうち少なくとも一つがユーザによって選択可能であるための内視鏡装置用プログラム。
JP2018141856A 2018-07-27 2018-07-27 内視鏡装置及びその作動方法並び内視鏡装置用プログラム Active JP7029359B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018141856A JP7029359B2 (ja) 2018-07-27 2018-07-27 内視鏡装置及びその作動方法並び内視鏡装置用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018141856A JP7029359B2 (ja) 2018-07-27 2018-07-27 内視鏡装置及びその作動方法並び内視鏡装置用プログラム

Publications (2)

Publication Number Publication Date
JP2020014807A JP2020014807A (ja) 2020-01-30
JP7029359B2 true JP7029359B2 (ja) 2022-03-03

Family

ID=69579778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018141856A Active JP7029359B2 (ja) 2018-07-27 2018-07-27 内視鏡装置及びその作動方法並び内視鏡装置用プログラム

Country Status (1)

Country Link
JP (1) JP7029359B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021225026A1 (ja) * 2020-05-07 2021-11-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法
JP7569384B2 (ja) 2020-09-02 2024-10-17 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240531A (ja) 2008-03-31 2009-10-22 Fujifilm Corp 撮影装置
JP2011234871A (ja) 2010-05-10 2011-11-24 Olympus Corp 内視鏡システム
JP2014026053A (ja) 2012-07-25 2014-02-06 Olympus Corp 計測内視鏡装置およびプログラム
US20160331213A1 (en) 2013-10-31 2016-11-17 Optimede Inc. Portable inspection system
WO2017130325A1 (ja) 2016-01-27 2017-08-03 オリンパス株式会社 内視鏡観察方法及び内視鏡装置
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2018051679A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3446272B2 (ja) * 1993-11-16 2003-09-16 ソニー株式会社 計測機能付き内視鏡
JP2009124534A (ja) * 2007-11-16 2009-06-04 Olympus Corp 画像処理装置
JP2010145475A (ja) * 2008-12-16 2010-07-01 Olympus Corp 内視鏡装置
JP2014069965A (ja) * 2012-10-02 2014-04-21 Toshiba Elevator Co Ltd エスカレータのアナウンス付き安全装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240531A (ja) 2008-03-31 2009-10-22 Fujifilm Corp 撮影装置
JP2011234871A (ja) 2010-05-10 2011-11-24 Olympus Corp 内視鏡システム
JP2014026053A (ja) 2012-07-25 2014-02-06 Olympus Corp 計測内視鏡装置およびプログラム
US20160331213A1 (en) 2013-10-31 2016-11-17 Optimede Inc. Portable inspection system
WO2017130325A1 (ja) 2016-01-27 2017-08-03 オリンパス株式会社 内視鏡観察方法及び内視鏡装置
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2018051679A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法

Also Published As

Publication number Publication date
JP2020014807A (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
JP7099971B2 (ja) 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
JP7115897B2 (ja) 内視鏡装置
US11419694B2 (en) Endoscope system measuring size of subject using measurement auxiliary light
JP7029359B2 (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
EP4016162A1 (en) Endoscope system and method for operating same
EP3698714B1 (en) Endoscope apparatus
JPWO2021029277A5 (ja)
US20230200682A1 (en) Endoscope system and method of operating the same
CN106576136B (zh) 摄像装置、摄像装置的工作方法
JP6924727B2 (ja) 内視鏡装置
WO2022230563A1 (ja) 内視鏡システム及びその作動方法
WO2020153186A1 (ja) 内視鏡装置
WO2022049806A1 (ja) キャリブレーション装置及び方法
JP7214840B2 (ja) 内視鏡、内視鏡装置
JP7402252B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
WO2021039718A1 (ja) 内視鏡システム及びその作動方法
JP2020014808A (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
WO2020189334A1 (ja) 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム
JP2020151250A (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
US20230240511A1 (en) Endoscope system and endoscope system operation method
JP7166467B2 (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
US11399707B2 (en) Endoscope apparatus
JPWO2019202982A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム
JP2009273687A (ja) 光軸調子可能な内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211209

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211220

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R150 Certificate of patent or registration of utility model

Ref document number: 7029359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150