JP6968289B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

従来、内視鏡による被検体の体内の検査（以下、「内視鏡検査」という）において、被検体の体内に挿入された内視鏡の挿入部の形状を検出して挿入部の形状を表す形状画像を表示部に表示させることにより、内視鏡検査を支援する場合がある。

例えば、特許文献１には、内視鏡により得られた内視鏡画像と、形状画像とを合成して、表示部に表示させる技術が記載されている。また例えば、特許文献２には、所定の視点方向から観察した場合の内視鏡の挿入部の形状と、その視点方向と９０度異なる視点方向からの挿入部の形状とを表示部に表示させる技術が記載されている。

特開２００６−２９６５７６号公報 特開２０００−７９０８８号広報

しかしながら、上記特許文献１及び特許文献２に記載の技術では、形状画像を表示させるものの、挿入部の形状として予め定められた形状、例えば、検査者が状態の観察を行いたい、いわゆるループ形状等の観察を行うための表示としては、不十分である場合があった。そのため、検査者が、内視鏡の挿入部の形状について、把握し難い場合があった。

本開示は、以上の事情を鑑みて成されたものであり、内視鏡の挿入部の形状の把握を容易にすることができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本開示の第１の態様の画像処理装置は、内視鏡における被検体に挿入する挿入部の形状を取得する取得部と、予め定められた形状が記憶された記憶部と、挿入部の形状に記憶部に記憶された予め定められた形状が含まれるか否かを判定する判定部と、挿入部の形状に予め定められた形状が含まれないと判定した場合、第１の視点方向からの挿入部の形状を表す第１形状画像を表示部に表示させ、挿入部の形状に予め定められた形状が含まれると判定した場合、第１形状画像、及び第１の視点方向とは異なる第２の視点方向からの挿入部の予め定められた形状に対応する部分を含む第２形状画像を表示部に表示させる制御を行う表示制御部と、を備える。

本開示の第２の態様の画像処理装置は、第１の態様の画像処理装置において、判定部が挿入部の形状に予め定められた形状が含まれないと判定した場合に、第１の視点方向からの挿入部の形状を表す第１形状画像を生成し、判定部が挿入部の形状に予め定められた形状が含まれると判定した場合に、第１形状画像、及び第１の視点方向とは異なる第２の視点方向からの挿入部の予め定められた形状に対応する部分を含む第２形状画像を生成する生成部をさらに備えた。

また、本開示の第３の態様の画像処理装置は、第１の態様または第２の態様の画像処理装置において、予め定められた形状は、ループ形状である。

本開示の第４の態様の画像処理装置は、第３の態様の画像処理装置において、第２の視点方向は、挿入部のループ形状部分の交差する点からループ形状部分の中心点を結んだ方向である。

本開示の第５の態様の画像処理装置は、第３の態様の画像処理装置において、第２の視点方向は、挿入部のループ形状部分の交差状態を把握するための視点方向として予め定められた方向である。

本開示の第６の態様の画像処理装置は、第１の態様から第５の態様のいずれか１態様の画像処理装置において、表示制御部は、判定部が挿入部の形状に予め定められた形状が含まれると判定した場合、第２形状画像を、表示部における第１形状画像内の一部の領域に表示させる制御を行う。

本開示の第７の態様の画像処理装置は、第１の態様から第６の態様のいずれか１態様の画像処理装置において、表示制御部は、判定部が挿入部の形状に予め定められた形状が含まれると判定した場合、第２の視点方向が視認可能な情報を更に表示部に表示させる制御を行う。

本開示の第８の態様の画像処理装置は、第１の態様から第７の態様のいずれか１態様の画像処理装置において、表示制御部は、判定部が挿入部の形状に予め定められた形状が含まれると判定した場合、第２の視点方向を変化させた第２形状画像を、変化させた第２の視点方向毎に表示させる制御を行う。

本開示の第９の態様の画像処理装置は、第１の態様から第７の態様のいずれか１態様の画像処理装置において、表示制御部は、挿入部の形状に予め定められた形状が含まれる場合、挿入部の予め定められた形状に対応する部分を回転させた第２形状画像を、回転させた回転位置毎に表示させる制御を行う。

本開示の第１０の態様の画像処理装置は、第１の態様から第９の態様のいずれか１態様の画像処理装置において、第１の視点方向は、挿入部の全体の形状を把握するための視点方向として予め定められた方向である。

本開示の第１１の態様の画像処理装置は、第１の態様から第１０の態様のいずれか１態様の画像処理装置において、表示制御部は、内視鏡により得られた内視鏡画像をさらに、表示部に表示させる制御を行う。

本開示の第１２の態様の画像処理装置は、第１の態様から第１１の態様のいずれか１態様の画像処理装置において、内視鏡における被検体に挿入する挿入部の形状を検出する検出部をさらに備え、取得部は、検出部から挿入部の形状を取得する。

本開示の第１３の態様の画像処理方法は、内視鏡における被検体に挿入する挿入部の形状を取得し、記憶部に記憶された予め定められた形状を取得し、挿入部の形状が予め定められた形状に含まれるか否かを判定し、挿入部の形状に予め定められた形状が含まれないと判定した場合、第１の視点方向からの挿入部の形状を表す第１形状画像を表示部に表示させ、挿入部の形状に予め定められた形状が含まれると判定した場合、第１形状画像、及び第１の視点方向とは異なる第２の視点方向からの挿入部の予め定められた形状に対応する部分を含む第２形状画像を表示部に表示させる制御を行う、工程からなる画像処理装置の作動方法である。

本開示の第１４の態様の画像処理プログラムは、内視鏡における被検体に挿入する挿入部の形状を取得し、記憶部に記憶された予め定められた形状を取得し、挿入部の形状が予め定められた形状に含まれるか否かを判定し、挿入部の形状に予め定められた形状が含まれない場合、第１の視点方向からの挿入部の形状を表す第１形状画像を表示部に表示させ、挿入部の形状に予め定められた形状が含まれる場合、第１形状画像、及び第１の視点方向とは異なる第２の視点方向からの挿入部の予め定められた形状に対応する部分を含む第２形状画像を表示部に表示させる制御を行う、処理をコンピュータに実行させるためのものである。

また、本開示の画像処理装置は、プロセッサを有する画像処理装置であって、プロセッサが、内視鏡における被検体に挿入する挿入部の形状を取得し、挿入部の形状に予め定められた形状が含まれない場合、第１の視点方向からの挿入部の形状を表す第１形状画像を表示部に表示させ、挿入部の形状に予め定められた形状が含まれる場合、第１形状画像、及び第１の視点方向とは異なる第２の視点方向からの挿入部の予め定められた形状に対応する部分を含む第２形状画像を表示部に表示させる制御を行う。

本開示によれば、内視鏡の挿入部の形状の把握を容易にすることができる。

実施形態の内視鏡システムの構成の一例を示す構成図である。 実施形態の内視鏡システムの構成の一例を示すブロック図である。 実施形態の位置検出装置の受信コイルユニット及び送信コイルユニットの一例を示す構成図である。 実施形態の画像処理部の構成の一例を示すブロック図である。 実施形態の画像処理部及び各制御部及びハードウェア構成の一例を示すブロック図である。 実施形態の画像処理部で実行される画像処理の一例を示すフローチャートである。 実施形態の画像処理部の生成部により生成される第１形状画像を説明するための説明図である。 表示部に表示される内視鏡画像及び第１形状画像を含む合成画像の一例を示す図である。 実施形態の画像処理部の生成部により生成される第２形状画像の第２の視点方向を説明するための説明図である。 実施形態の画像処理部の生成部により生成される第２形状画像を説明するための説明図である。 表示部に表示される内視鏡画像、第１形状画像、及び第２形状画像を含む合成画像の一例を示す図である。 表示部に表示される内視鏡画像、第１形状画像、及び第２形状画像を含む合成画像の他の一例を示す図である。 表示部に表示される内視鏡画像、第１形状画像、及び第２形状画像を含む合成画像の他の例を示す図である。

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

まず、図１を参照して本実施形態の内視鏡システム１の全体の構成について説明する。図１には、本実施形態の内視鏡システム１の構成の一例を示す構成図が示されている。

内視鏡システム１は、被検体Ｗの体内の画像（以下、「内視鏡画像」という）を撮像する内視鏡１０、内視鏡検査装置１２、及び位置検出装置１４を備えている。

内視鏡１０は、挿入部１０Ａ及び操作部１０Ｂを備え、内視鏡検査を行う場合、検査者は、操作部１０Ｂを操作して、挿入部１０Ａを被検体Ｗの体内に挿入し、被検体Ｗの体内の内視鏡画像を撮像する。ケーブル１１により内視鏡１０と接続された内視鏡検査装置１２は、ビデオプロセッサ３４、全体制御部４０、画像処理部５０、及び液晶ディスプレイ等の表示部５２を備える。ビデオプロセッサ３４は、内視鏡１０による内視鏡画像の撮像の制御を行う。全体制御部４０は、内視鏡システム１の全体を制御する。画像処理部５０は、表示部５２に表示する各種画像に対する画像処理を行う。本実施形態の画像処理部５０が、本開示の画像処理装置の一例である。一方、位置検出装置１４は、内視鏡検査装置１２に設けられた送信部４１（図２参照）と、内視鏡１０の内部に設けられた受信部２１（図２参照）と、を備え、送信部４１で発生した磁界を受信部２１で受信することにより、挿入部１０Ａの位置を検出する。

次に、図２を参照して、内視鏡１０、内視鏡検査装置１２、及び位置検出装置１４の詳細な構成について説明する。また、図２には、本実施形態の内視鏡システム１の構成の一例を示すブロック図が示されている。

図２に示すように、内視鏡１０は、ＣＣＤ（Charge Coupled Device）イメージセンサ、及びＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等の撮像素子を含む画像センサ３０を備えている。内視鏡１０は、ビデオプロセッサ３４の制御により光源３６から出射された光を伝送路（図示省略）によって伝送し、挿入部１０Ａの先端に設けられた出射部（図示省略）から出射し、出射した光によって被検体Ｗの体内を照明する。この照明光による被検体Ｗからの反射光が対物レンズ（図示省略）によって画像センサ３０に結像し、結像した光学像である内視鏡画像に応じた画像信号が、ケーブル１１を介して内視鏡検査装置１２のビデオプロセッサ３４に出力される。ビデオプロセッサ３４により、入力された画像信号に対して予め定められた画像処理が行われ、この画像処理によって得られた内視鏡画像の画像データは、画像処理部５０に出力される。

図２に示すように、位置検出装置１４のうち、内視鏡検査装置１２の内部に設けられた送信部４１は、送信制御ユニット４２及び送信コイルユニット４８を備える。送信コイルユニット４８は、図３にも示すように、複数（本実施形態では、１２個）の送信コイル４９、具体的には、送信コイル４９_１ｘ、４９_１Ｙ、４９_１Ｚ、４９_２ｘ、４９_２Ｙ、４９_２Ｚ、４９_３ｘ、４９_３Ｙ、４９_３Ｚ、４９_４ｘ、４９_４Ｙ、及び４９_４Ｚを備える。なお、本実施形態では、送信コイル４９について、総称する場合は、単に「送信コイル４９」といい、個々を区別する場合は、「送信コイル４９」の後に個々を表す符号（_１Ｘ・・・_４Ｚ）を付す。

図３に示すように、本実施形態の送信コイル４９は軸が、Ｘ軸、Ｙ軸、及びＺ軸の各々の方向に向いた３つの送信コイル４９を１組としており、送信コイルユニット４８は、４組の送信コイル群を備える。具体的には、送信コイルユニット４８は、Ｘ軸方向に向いた送信コイル４９_１Ｘ、Ｙ軸方向に向いた送信コイル４９_１Ｙ、及びＺ軸方向に向いた送信コイル４９_１Ｚの組と、Ｘ軸方向に向いた送信コイル４９_２Ｘ、Ｙ軸方向に向いた送信コイル４９_２Ｙ、及びＺ軸方向に向いた送信コイル４９_２Ｚの組と、を備える。また、送信コイルユニット４８は、Ｘ軸方向に向いた送信コイル４９_３Ｘ、Ｙ軸方向に向いた送信コイル４９_３Ｙ、及びＺ軸方向に向いた送信コイル４９_３Ｚの組と、Ｘ軸方向に向いた送信コイル４９_４Ｘ、Ｙ軸方向に向いた送信コイル４９_４Ｙ、及びＺ軸方向に向いた送信コイル４９_４Ｚの組と、を備える。このように、本実施形態の送信コイルユニット４８は、３軸コイルを４つ、送信コイル４９として備えた状態と同等となっている。

また、送信制御ユニット４２は、送信制御部４４、及び送信コイル４９に接続された送信回路４６、具体的には、送信回路４６_１ｘ、４６_１Ｙ、４６_１Ｚ、４６_２ｘ、４６_２Ｙ、４６_２Ｚ、４６_３ｘ、４６_３Ｙ、４６_３Ｚ、４６_４ｘ、４６_４Ｙ、及び４６_４Ｚを備える。なお、本実施形態では、送信回路４６についても、送信コイル４９と同様に、総称する場合は、単に「送信回路４６」といい、個々を区別する場合は、「送信回路４６」の後に個々を表す符号（_１Ｘ・・・_４Ｚ）を付す。

送信回路４６は、送信制御部４４の制御に応じて、送信コイル４９を駆動するための駆動信号を生成して、各々接続されている送信コイル４９に出力する。各送信コイル４９は駆動信号が印加されることで、磁界を伴う電磁波を周囲に放射する。なお、本実施形態の送信制御部４４は、予め定められた時間間隔、例えば数十ｍ秒間隔で、各送信回路４６に駆動信号を生成させ、各送信コイル４９を順次、駆動させる。

一方、図２に示すように、位置検出装置１４のうち、内視鏡１０の内部に設けられた受信部２１は、受信制御部２０、受信コイルユニット２２、受信回路２４（２４_１〜２４_１６）、ＡＤＣ（Analog-to-Digital Converter）２６（２６_１〜２６_１６）、及びＩ／Ｆ（Interface）２９を備える。受信制御部２０は、受信部２１の全体を制御し、受信コイルユニット２２の駆動を制御する。

受信コイルユニット２２は、図３にも示すように、一例として１６個（図３に図示したものは６個）の受信コイル２３、具体的には、受信コイル２３_１〜２３_１６を備える。なお、本実施形態では、送信コイル４９と同様に、受信コイル２３、受信回路２４、及びＡＤＣ２６の各々について、総称する場合は、単に「受信コイル２３」、「受信回路２４」、及び「ＡＤＣ２６」といい、個々を区別する場合は、「受信コイル２３」、「受信回路２４」、及び「ＡＤＣ２６」の後に個々を表す符号（_１・・・_１６）を付す。

受信コイルユニット２２の各受信コイル２３は、内視鏡１０の挿入部１０Ａに、被検体Ｗに挿入される方向に沿って配置されている。受信コイル２３は、送信コイルユニット４８の各送信コイル４９で発生した磁界を検出する。各受信コイル２３は、受信回路２４に接続されており、検出した磁界に応じた検出信号を受信回路２４に出力する。受信回路２４は、ＬＰＦ（Low Pass Filter）及び増幅器（いずれも図示省略）等を含み、ＬＰＦによって外乱ノイズが除去され、増幅器により増幅された検出信号をＡＤＣ２６に出力する。ＡＤＣ２６は、入力されたアナログの検出信号をデジタルの検出信号に変換して受信制御部２０に出力する。受信制御部２０は、各ＡＤＣ２６から入力された検出信号を、Ｉ／Ｆ２９を介して、内視鏡検査装置１２へ送信する。

内視鏡検査装置１２に入力された検出信号は、Ｉ／Ｆ５３を介して、画像処理部５０に入力される。

画像処理部５０は、入力した検出信号に基づいて、各受信コイル２３の位置を検出する。すなわち、本実施形態の画像処理部５０は、各送信コイル４９で発生した磁界を受信コイル２３で検出し、受信コイル２３から出力された検出信号に基づいて、各受信コイル２３の位置及び方向（向き）を検出する。画像処理部５０が検出信号に基づいて受信コイル２３の位置を検出する方法は、特に限定されず、例えば、特許第３４３２８２５号公報に記載されている技術を適用することができる。特許第３４３２８２５号公報に記載されている技術では、各送信コイル４９によって発生された磁界の測定値、及び受信コイル２３の方向の推定値から、特定の送信コイル４９から受信コイル２３までの距離の推定値を計算する。次に、各送信コイル４９から受信コイル２３までの距離の推定値と、送信コイル４９の既知の位置とから受信コイル２３の位置の推定値を計算する。次に、受信コイル２３の推定された位置、及び受信コイル２３の磁界の測定値から受信コイル２３の方向の新しい推定値を計算する。そして、受信コイル２３の方向の新しい推定値を用いて、上述した送信コイル４９から受信コイル２３までの距離の推定値の計算と、受信コイル２３の位置の推定値の計算とを繰り返すことにより、受信コイル２３の位置及び方向を導出する。

また、本実施形態の画像処理部５０は、検出した各受信コイル２３の位置及び方向に基づいて、内視鏡１０の挿入部１０Ａの形状を検出する。図４には、本実施形態の画像処理部５０の一例の機能ブロック図を示す。

図４に示すように、本実施形態の画像処理部５０は、検出部６０、取得部６２、生成部６４、合成部６６、及び表示制御部６８を備える。検出部６０には、位置検出装置１４から、具体的には、内視鏡１０の受信制御部２０から、Ｉ／Ｆ２９及びＩ／Ｆ５３を介して、上記検出信号が入力される。検出部６０は、入力された検出信号に基づいて、各受信コイル２３の位置及び方向を検出する。また、検出部６０は、検出した受信コイル２３の位置及び方向に基づいて、挿入部１０Ａの形状を検出し、検出した形状を表す情報と、各受信コイル２３の位置及び方向とを取得部６２へ出力する。取得部６２は、検出部６０から、挿入部１０Ａの形状を表す情報と各受信コイル２３の位置及び方向とを取得し、生成部６４へ出力する。

生成部６４は、各受信コイル２３の位置及び方向に基づいて、第１の視点方向（詳細後述）からの挿入部１０Ａの形状を表す第１形状画像（詳細後述）を生成し、第１形状画像の画像データを合成部６６に出力する。また、生成部６４は、挿入部１０Ａの形状を表す情報に基づき、挿入部１０Ａの形状に予め定められた形状（詳細後述）が含まれる場合はさらに、上記第１の視点方向とは異なる第２の視点方向（詳細後述）からの挿入部１０Ａの、予め定められた形状を含む第２形状画像（詳細後述）を生成し、第２形状画像の画像データを合成部６６に出力する。

合成部６６には、ビデオプロセッサ３４から、内視鏡画像の画像データが入力される。また、生成部６４から、第１形状画像の画像データ、または第１形状画像の画像データ及び第２形状画像の画像データが入力される。合成部６６は、内視鏡画像の画像データに、入力した第１形状画像の画像データ及び第２形状画像の画像データの少なくとも一方を合成した合成画像の画像データを生成し、生成した画像データを表示制御部６８に出力する。

表示制御部６８は、合成部６６から出力された画像データが表す画像を表示部５２に表示させる制御を行う。すなわち、本実施形態の表示制御部６８は、挿入部１０Ａの形状に予め定められた形状が含まれない場合、第１の視点方向からの挿入部１０Ａの形状を表す第１形状画像を表示部５２に表示させる。また、挿入部１０Ａの形状に予め定められた形状が含まれる場合、第１形状画像及び第２形状画像を表示部５２に表示させる制御を行う。

一例として本実施形態の画像処理部５０は、図５に示したハードウェアを含んで構成されるマイクロコンピュータ等により実現される。図５に示すように、画像処理部５０は、ＣＰＵ（Central Processing Unit）７０、ＲＯＭ（Read Only Memory）７２、ＲＡＭ（Random Access Memory）７４、及びＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の不揮発性の記憶部７６を備えている。ＣＰＵ７０、ＲＯＭ７２，ＲＡＭ７４、及び記憶部７６は、互いに通信が可能にバス７９に、接続されている。記憶部７６には、詳細を後述する画像処理を実行するための画像処理プログラム７８が記憶されている。ＣＰＵ７０は、記憶部７６から画像処理プログラム７８を読み出してからＲＡＭ７４に展開し、展開した画像処理プログラム７８を実行する。ＣＰＵ７０が、画像処理プログラム７８を実行することで、上記検出部６０、取得部６２、生成部６４、合成部６６、及び表示制御部６８の各々として機能する。

なお、本実施形態の内視鏡システム１では、受信制御部２０、全体制御部４０、及び送信制御部４４も、画像処理部５０と同様のハードウェア（図５参照）により実現される。

次に、本実施形態の画像処理部５０の作用を説明する。図６は、画像処理部５０のＣＰＵ７０によって実行される画像処理の流れの一例を示すフローチャートである。一例として、本実施形態の内視鏡システム１では、図示を省略した操作ボタン等が操作されることにより、検査者から内視鏡検査の開始の指示を受け付けた場合に、ＣＰＵ７０が、画像処理プログラム７８を実行することにより、図６に示した画像処理が実行される。

ステップＳ１００で検出部６０は、挿入部１０Ａの形状を解析する。本実施形態では、検出部６０は、まず、上述したように、位置検出装置１４から入力された検出信号に基づいて、各受信コイル２３の位置及び方向を検出する。そして、検出した受信コイル２３の位置及び方向に基づいて、挿入部１０Ａの形状を解析し、挿入部１０Ａの形状に、予め定められた形状の一例として、ループ形状の検出を行う。なお、本実施形態では、ループ形状の一例として、いわゆるαループ形状及び逆αループ形状を検出する。検出部６０が、ループ形状を検出する方法は特に限定されず、例えば、特開２００４−３５８０９５号公報に記載された技術や、特開２００８−１１９２５９号公報に記載された技術を適用することができる。

取得部６２は、検出部６０から、挿入部１０Ａの形状を表す情報と各受信コイル２３の位置及び方向とを取得し、生成部６４へ出力する。

次のステップＳ１０２で生成部６４は、検出部６０によってループ形状が検出されたか否か、換言すると、挿入部１０Ａの形状に、ループ形状が含まれるか否かを判定する。ループ形状が検出されていない場合、ステップＳ１０２の判定が否定判定となり、ステップＳ１０４へ移行する。本実施形態の生成部６４が、本開示の判定部の一例である。生成部６４が、ループ形状等の予め定められた形状が記憶された記憶部７６から予め定められた形状を取得し、検出部６０によって検出された形状に予め定められた形状が含まれるか否かを判定することができる。また、検出部６０を判定部の一例とすることも出来る。この場合、検出部６０が、記憶部７６から予め定められた形状を取得し、挿入部１０Ａの形状より予め定められた形状を検出することで、挿入部１０Ａの形状に予め定められた形状が含まれるか否かを判定すればよい。

ステップＳ１０４で生成部６４は、上述したように、各受信コイル２３の位置及び方向に基づいて、第１の視点方向からの挿入部１０Ａの形状を表す第１形状画像を生成し、第１形状画像の画像データを合成部６６に出力する。一例として、本実施形態における第１の視点方向とは、挿入部１０Ａの全体の形状を把握するための視点方向として予め定められた方向である。このような第１の視点方向の具体例としては、図３に示した送信コイルユニット４８におけるＸ軸方向であり、本実施形態では、検査者が被検体Ｗを正面視する方向（顔側の面を視認する方向）が挙げられる。この場合、第１の視点方向からの挿入部１０Ａの形状を表す第１形状画像９０Ａ、９０Ｂは、図７に示されるように、Ｙ軸及びＺ軸により表される２次元の画像となる。なお、図７に示した第１形状画像９０Ａは、ループ形状を含まない場合の第１形状画像であり、第１形状画像９０Ｂは、ループ形状を含む場合の第１形状画像である。以下では、第１形状画像９０Ａ及び第１形状画像９０Ｂを総称する場合は、単に「第１形状画像９０」といい、個々を区別する場合は、「第１形状画像９０」の後に、個々を表す符号（Ａ、Ｂ）を付す。尚、第１の視点方向は、別の具体例としては、挿入部がループ状の形状をとる場合において、挿入部が環状となること（閉じた曲線を形成すること）を視認できる方向である。

次のステップＳ１０６で合成部６６は、第１形状画像９０Ａと、内視鏡画像とを合成した画像を生成し、第１形状画像９０Ａと内視鏡画像とを含む合成画像の画像データを表示制御部６８に出力する。次のステップＳ１１４で表示制御部６８は、合成画像を表示部５２に表示させる。図８には、表示部５２に表示された合成画像１００の一例を示す。図８に示した合成画像１００には、第１形状画像９０Ａ及び内視鏡画像９４が含まれている。なお、本実施形態では、第１形状画像９０Ａと内視鏡画像９４とを並べた状態で合成した画像を合成画像１００としているが、第１形状画像９０Ａ及び内視鏡画像９４の合成の方法は本実施形態に限定されない。合成画像１００における第１形状画像９０Ａ及び内視鏡画像９４の重畳程度、及び各画像の大きさ等は、内視鏡検査において、検査者が所望する画像が適切に表示された状態であればよい。例えば、合成画像１００は、第１形状画像９０Ａと内視鏡画像９４との少なくとも一部が重畳する状態で合成した画像であってもよい。また、合成画像１００は、表示部５２の大きさ等によって、第１形状画像９０Ａと内視鏡画像９４との重畳程度、及び各画像の大きさを制御する形態としてもよい。

一方、ループ形状が検出された場合、ステップ１０２の判定が肯定判定となり、ステップＳ１０８へ移行する。ステップＳ１０８で、生成部６４は、上記ステップＳ１０４で第１形状画像９０Ａを生成したのと同様に、第１形状画像９０Ｂを生成する。

次のステップＳ１１０で生成部６４は、各受信コイル２３の位置及び方向に基づいて、第２の視点方向からの挿入部１０Ａの形状を表す第２形状画像を生成する。一例として、本実施形態における第２の視点方向を、ループ形状部分の交差状態を把握するための視点方向として予め定められた方向としている。このような方向の具体例として、本実施形態では、図９に示すように、ループ形状の交差する点９５から、ループ形状の中心点９６を結んだ方向を第２の視点方向９８としている。この場合、第２の視点方向９８からの挿入部１０Ａの形状を表す第２形状画像９２は、図１０に示されるように、Ｙ軸及びＸ軸により表される２次元の画像となる。このように第２の視点方向を、第２の視点方向９８とすることにより、ループ形状の奥行き方向の形状（状態）について把握し易くすることができる。

なお、一例として本実施形態では、第２形状画像９２は、挿入部１０Ａの全体の形状を表す画像ではなく、図１０に示したように、主にループ形状部分のみを表す画像としている。なお、図１０に示した第２形状画像９２に限定されず、第１形状画像９０と同様に、挿入部１０Ａの全体の形状を表す画像としてもよいが、本実施形態のように、主にループ形状部分のみを表す画像とすることにより、ループ形状、特に、ループ形状の交差部分の状態の把握が容易になる。また、本実施形態の第２形状画像９２は、ループ形状の大きさが、第１形状画像９０におけるループ形状の大きさよりも大きい画像としている。例えば、第２形状画像９２におけるループ形状の画像の大きさを、第１形状画像９０におけるループ形状の画像の大きさよりも４倍の面積（矩形の各辺が２倍）としている。このように、第２形状画像９２を、主にループ形状のみを表す画像とすることにより、第２形状画像９２の全体の大きさが大きくなるのを抑制しつつ、ループ形状を把握し易い状態の画像とすることができる。

このようにして生成された第１形状画像９０Ｂの画像データ及び第２形状画像９２の画像データは、合成部６６に出力される。

次のステップＳ１１２で合成部６６は、第１形状画像９０Ｂと、第２形状画像９２と、内視鏡画像とを合成した画像を生成し、第１形状画像９０Ｂ、第２形状画像９２、及び内視鏡画像を含む合成画像１００の画像データを表示制御部６８に出力する。次のステップＳ１１４で表示制御部６８は、合成画像を表示部５２に表示させる。

図１１には、表示部５２に表示された合成画像１００の一例を示す。図１１に示した合成画像１００には、第１形状画像９０Ｂ、第２形状画像９２、及び内視鏡画像９４が含まれている。なお、本実施形態では、第１形状画像９０Ｂ内の一部の領域に第２形状画像９２を重畳させた状態で合成し、さらに内視鏡画像９４と並べた状態で合成した画像を合成画像１００としているが、第１形状画像９０Ｂ、第２形状画像９２、及び内視鏡画像９４の合成の方法は本実施形態に限定されない。合成画像１００における第１形状画像９０Ｂ、第２形状画像９２、及び内視鏡画像９４の重畳程度、及び各画像の大きさ等は、内視鏡検査において、検査者が所望する画像が適切に表示された状態であればよい。例えば、合成画像１００は、第１形状画像９０Ｂと第２形状画像９２とを並べた状態で合成した画像であってもよい。また例えば、合成画像１００は、第１形状画像９０Ｂ及び第２形状画像９２と、内視鏡画像９４との少なくとも一部が重畳する状態で合成した画像であってもよい。また、合成画像１００は、表示部５２の大きさ等によって、第１形状画像９０Ｂ、第２形状画像９２、及び内視鏡画像９４の重畳程度、及び各画像の大きさを制御する形態としてもよい。

なお、図１２に示すように、生成部６４は、第２の視点方向９８が視認可能な情報として、視点情報９９も生成し、表示制御部６８により表示部５２に表示させることが好ましい。なお、視点情報９９の表示について、表示位置や、形状、及び大きさ等は特に限定されないが、図１２に示した一例のように、視点方向を表す矢印の形状とした視点情報９９を、第１形状画像９０Ｂに重畳させて表示させた形態とすることにより、視点方向を、より把握し易くすることができる。

また、生成部６４は、第２形状画像９２として、第２の視点方向を変化させた第２形状画像９２を、変化させた第２の視点方向毎に生成し、生成した第２形状画像９２を、表示制御部６８により表示部５２に表示させてもよい。また例えば、第２形状画像９２を、ループ形状を回転させた状態の第２形状画像９２としてもよい。この場合、生成部６４は、予め定められた時間毎、例えば、時計回りまたは反時計回りに、１回転あたりの回転速度を４秒〜１０秒とし、１回転あたり、２画像〜６画像等の予め定められ数の第２形状画像９２を、回転位置毎に生成し、静止した第２形状画像９２を表示制御部６８により表示部５２に表示させてもよい。図１３には、この場合に表示部５２に表示された合成画像１００の一例を示す。この場合、表示部５２に表示される第２形状画像９２は時間経過に伴い変化し、例えば、図１１に示した第２形状画像９２から、図１３に示した第２形状画像９２へ等と変化する。尚、予め定められた形状毎に第２形状画像の回転の向き（時計回り、反時計回り）、回転速度（１回転辺りに要する時間）、１回転あたりの画像の数等の回転表示情報を記憶部７６に記憶させ、生成部６４は記憶部７６より取得した回転表示情報に基づいて第２形状画像９２を生成し、生成した第２形状画像９２を、表示制御部６８により表示部５２に表示させてもよい。

次のステップＳ１１６で表示制御部６８は、内視鏡検査を終了するか否かを判定する。本実施形態の内視鏡システム１では、図示を省略した操作ボタン等が操作されることにより、検査者から内視鏡検査の終了の指示を受け付けるまで、ステップＳ１１６の判定が否定判定となり、ステップＳ１００に戻り、ステップＳ１０２〜Ｓ１１４の各処理を繰り返す。一方、内視鏡検査の終了の指示を受け付けた場合、ステップＳ１１６の判定が肯定判定となり、本画像処理を終了する。

以上説明したように、本実施形態の画像処理部５０は、取得部６２及び表示制御部６８を備える。取得部６２は、内視鏡１０における被検体Ｗに挿入する挿入部１０Ａの形状を取得する。表示制御部６８は、挿入部１０Ａの形状に予め定められた形状であるループ形状が含まれない場合、第１の視点方向からの挿入部１０Ａの形状を表す第１形状画像９０Ａを表示部５２に表示させる制御を行う。また、表示制御部６８は、挿入部１０Ａの形状に予め定められた形状が含まれる場合、第１形状画像９０Ｂ、及び第１の視点方向とは異なる第２の視点方向からの挿入部１０Ａの予め定められた形状に対応する部分を含む第２形状画像９２を表示部５２に表示させる制御を行う。

このように、本実施形態の画像処理部５０では、ループ形状が含まれる場合に、第１形状画像９０Ｂ及び第２形状画像９２を表示する。第２形状画像９２は、第１の視点方向と異なる、第２の視点方向からの挿入部１０Ａの形状であるため、ループ形状、本実施形態では、特にループの重なり（交差）状態の把握を容易にすることができる。また、本実施形態の画像処理部５０によれば、ループ形状を含まない場合、第１形状画像９０Ａのみを表示させるため、第１形状画像９０Ａにより、挿入部１０Ａの形状をより把握し易くすることができる。

従って、本実施形態の画像処理部５０によれば、内視鏡１０の挿入部１０Ａの形状の把握を容易にすることができる。

また、本実施形態の画像処理部５０によれば、内視鏡画像９４と、第１形状画像９０Ｂ及び第２形状画像９２とを表示部５２に表示させた場合でも、第２形状画像９２により、挿入部１０Ａのループ形状を把握し易くすることができる。さらに、本実施形態の画像処理部５０によれば、第１形状画像９０Ｂに含まれるループ形状の画像よりも、第２形状画像９２におけるループ形状の画像が大きいため、ループ形状をより把握し易くすることができる。

なお、本実施形態では、予め定められた形状の一例としてループ形状、特にαループ及び逆αループ形状を用いたが、予め定められた形状は、これらの形状に限定されず、検査者が、挿入部１０Ａの形状の状態を詳細に確認したいと所望する形状であればよい。例えば、Ｎループ形状及びγループ形状等のその他のループ形状であってもよいし、また、検査者個人の設定等に応じた形状であってもよい。

なお、本実施形態の位置検出装置１４を、内視鏡検査装置１２に磁界を発生する送信コイルユニット４８を含む送信部４１を配置し、内視鏡１０に磁界を検出する受信コイルユニット２２を含む受信部２１を配置した形態としたが、位置検出装置１４は、本実施形態の形態に限定されない。例えば、スピントルク発振素子等の送信コイルユニット４８（送信コイル４９）以外の磁界を発生する素子を用いてもよい。また例えば、ホール素子やＭＲ（Magneto Resistive）素子等の受信コイルユニット２２（受信コイル２３）以外の磁界を検出する素子を用いてもよい。

また、位置検出装置１４は、内視鏡検査装置１２に受信部２１を配置し、内視鏡１０に送信部４１を配置した形態としてもよい。また、位置検出装置１４は、磁界以外を用いて、挿入部１０Ａの形状を検出する装置であってもよい。例えば、位置検出装置１４は、ＦＢＧ（Fiber Bragg Grating）が配置された光ケーブル等を用い、ＦＢＧにより、挿入部１０Ａの形状を検出する装置であってもよい。

また、本実施形態では、画像処理部５０が、検出部６０、取得部６２、生成部６４、合成部６６、及び表示制御部６８の機能を備える形態について説明したが、これらの機能のうち一部の機能を他の一つの装置、または複数の装置が備える形態としてもよい。例えば、検出部６０、及び生成部６４の一方を、画像処理部５０の外部の装置が備える形態としてもよい。

また、本実施形態では、合成部６６が、第１形状画像９０と内視鏡画像９４とを合成した合成画像１００を生成する形態について説明したが、本実施形態に限定されず、第１形状画像９０と内視鏡画像９４とを合成せずに、別々の画像として、表示部５２に表示させてもよい。また、内視鏡画像９４、第１形状画像９０、及び第２形状画像９２の各々は、同一の表示部５２に限定されず、例えば、各々、別々の表示装置に表示される形態であってもよいし、内視鏡画像９４を表示する表示装置と、第１形状画像９０及び第２形状画像９２を表示する表示装置が異なる形態であってもよい。

本実施形態において、例えば検出部６０、取得部６２、生成部６４、合成部６６、及び表示制御部６８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。

上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device ：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記実施形態では、画像処理プログラム７８が記憶部７６に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム７８は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム７８は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１ 内視鏡システム

１０ 内視鏡、１０Ａ 挿入部、１０Ｂ 操作部

１１ ケーブル

１２ 内視鏡検査装置

１４ 位置検出装置

２０ 受信制御部

２１ 受信部

２２ 受信コイルユニット

２３_１〜２３_１６ 受信コイル

２４_１〜２４_１６ 受信回路

２６_１〜２６_１６ ＡＤＣ２９ Ｉ／Ｆ３０ 画像センサ

３４ ビデオプロセッサ

３６ 光源

４０ 全体制御部

４１ 送信部

４２ 送信制御ユニット

４４ 送信制御部

４６_１Ｘ、４６_１Ｙ、４６_１Ｚ〜４６_４Ｘ、４６_４Ｙ、４６_４Ｚ 送信回路

４８ 送信コイルユニット

４９_１Ｘ、４９_１Ｙ、４９_１Ｚ〜４９_４Ｘ、４９_４Ｙ、４９_４Ｚ 送信コイル

５０ 画像処理部

５２ 表示部

５３ Ｉ／Ｆ６０ 検出部

６２ 取得部

６４ 生成部

６６ 合成部

６８ 表示制御部

７０ ＣＰＵ７２ ＲＯＭ７４ ＲＡＭ７６ 記憶部

７８ 画像処理プログラム

７９ バス

９０、９０Ａ、９０Ｂ 第１形状画像

９２ 第２形状画像

９４ 内視鏡画像

９５ 交差する点

９６ 中心点

９８ 第２の視点方向

９９ 視点情報

１００ 合成画像

Claims (14)

1. 内視鏡における被検体に挿入する挿入部の形状を取得する取得部と、
   予め定められた形状が記憶された記憶部と、
   前記挿入部の形状に前記記憶部に記憶された予め定められた形状が含まれるか否かを判定する判定部と、
   前記判定部が前記挿入部の形状に前記予め定められた形状が含まれないと判定した場合、第１の視点方向からの前記挿入部の形状を表す第１形状画像を表示部に表示させ、前記判定部が前記挿入部の形状に前記予め定められた形状が含まれると判定した場合、前記第１形状画像、及び前記第１の視点方向とは異なる第２の視点方向からの前記挿入部の前記予め定められた形状に対応する部分を含む第２形状画像を前記表示部に表示させる制御を行う表示制御部と、
   を備えた画像処理装置。
2. 前記判定部が前記挿入部の形状に前記予め定められた形状が含まれないと判定した場合に、第１の視点方向からの前記挿入部の形状を表す第１形状画像を生成し、前記判定部が前記挿入部の形状に前記予め定められた形状が含まれると判定した場合に、前記第１形状画像、及び前記第１の視点方向とは異なる第２の視点方向からの前記挿入部の前記予め定められた形状に対応する部分を含む第２形状画像を生成する生成部をさらに備えた、
   請求項１に記載の画像処理装置。
3. 前記予め定められた形状は、ループ形状である
   請求項１または請求項２に記載の画像処理装置。
4. 前記第２の視点方向は、前記挿入部のループ形状部分の交差する点から前記ループ形状部分の中心点を結んだ方向である、
   請求項３に記載の画像処理装置。
5. 前記第２の視点方向は、前記挿入部のループ形状部分の交差状態を把握するための視点方向として予め定められた方向である、
   請求項３に記載の画像処理装置。
6. 前記表示制御部は、前記判定部が前記挿入部の形状に前記予め定められた形状が含まれると判定した場合、前記第２形状画像を、前記表示部における前記第１形状画像内の一部の領域に表示させる制御を行う、
   請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記表示制御部は、前記判定部が前記挿入部の形状に前記予め定められた形状が含まれると判定した場合、前記第２の視点方向が視認可能な情報を更に前記表示部に表示させる制御を行う、
   請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 前記表示制御部は、前記判定部が前記挿入部の形状に前記予め定められた形状が含まれると判定した場合、前記第２の視点方向を変化させた前記第２形状画像を、変化させた前記第２の視点方向毎に表示させる制御を行う
   請求項１から請求項７の何れか１項に記載の画像処理装置。
9. 前記表示制御部は、前記挿入部の形状に前記予め定められた形状が含まれる場合、前記挿入部の予め定められた形状に対応する部分を回転させた前記第２形状画像を、回転させた回転位置毎に表示させる制御を行う
   請求項１から請求項７の何れか１項に記載の画像処理装置。
10. 前記第１の視点方向は、前記挿入部の全体の形状を把握するための視点方向として予め定められた方向である、
    請求項１から請求項９のいずれか１項に記載の画像処理装置。
11. 前記表示制御部は、前記内視鏡により得られた内視鏡画像をさらに、前記表示部に表示させる制御を行う、
    請求項１から請求項１０のいずれか１項に記載の画像処理装置。
12. 内視鏡における被検体に挿入する挿入部の形状を検出する検出部をさらに備え、
    前記取得部は、前記検出部から前記挿入部の形状を取得する、
    請求項１から請求項１１のいずれか１項に記載の画像処理装置。
13. 内視鏡における被検体に挿入する挿入部の形状を取得し、
    記憶部に記憶された予め定められた形状を取得し、
    前記挿入部の形状が前記予め定められた形状に含まれるか否かを判定し、
    前記挿入部の形状に予め定められた形状が含まれないと判定した場合、第１の視点方向
    からの前記挿入部の形状を表す第１形状画像を表示部に表示させ、前記挿入部の形状に前記予め定められた形状が含まれると判定した場合、前記第１形状画像、及び前記第１の視点方向とは異なる第２の視点方向からの前記挿入部の前記予め定められた形状に対応する部分を含む第２形状画像を前記表示部に表示させる制御を行う、
    工程からなる画像処理装置の作動方法。
14. 内視鏡における被検体に挿入する挿入部の形状を取得し、
    記憶部に記憶された予め定められた形状を取得し、
    前記挿入部の形状が前記予め定められた形状に含まれるか否かを判定し、
    前記挿入部の形状に予め定められた形状が含まれないと判定した場合、第１の視点方向からの前記挿入部の形状を表す第１形状画像を表示部に表示させ、前記挿入部の形状に前記予め定められた形状が含まれると判定した場合、前記第１形状画像、及び前記第１の視点方向とは異なる第２の視点方向からの前記挿入部の前記予め定められた形状に対応する部分を含む第２形状画像を前記表示部に表示させる制御を行う、
    処理をコンピュータに実行させるための画像処理プログラム。

Images