JP6161073B2 - 展開画像生成装置、方法、及びプログラム、並びに画像情報記憶装置 - Google Patents

Description

本発明は、管腔臓器の内表面が撮影された複数の内視鏡画像を用いて、管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する展開画像生成装置、方法、及びプログラムに関する。また、本発明は、展開画像の生成に供する情報を記憶する画像情報記憶装置に関するものである。

近年、患者の腸、気管支等の管腔臓器の内表面を内視鏡を用いて観察または処置を行う技術が注目されている。

そして、特許文献１および特許文献２には、管腔臓器内で内視鏡を進めながら撮影した多数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分を合成することによって、管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する技術が提案されている。

特開２０１０‐２５６９８８号公報 特再公表２００７‐１３９１８７号公報

しかし、特許文献１および特許文献２では、管腔臓器内を進められる内視鏡の光軸が管腔臓器の内腔の中心線に常に一致しているという想定で、各内視鏡画像において画像の中央を中心とする円環状の領域を設定しているが、実際には、管腔臓器内で内視鏡を進める際に、内視鏡の光軸を管腔臓器の内腔の中心線に常に正確に一致させることは極めて困難であるため、内視鏡の光軸が管腔臓器の内腔の中心線からずれた位置にある状態で撮影が行われることもあり、上記従来の技術では、管腔臓器の内表面が正確に表された展開画像を生成することができない、という問題がある。

本発明は、上記事情に鑑み、管腔臓器の内表面が撮影された複数の内視鏡画像を用いて展開画像を生成する際に、複数の内視鏡画像に内視鏡の光軸が管腔臓器の内腔の中心線からずれた位置にある状態で撮影されたものが含まれていても、その位置ずれによる影響を低減させ、管腔臓器の内表面がより正確に表された展開画像を提供することができる展開画像生成装置、方法、及びプログラム、並びに画像情報記憶装置を提供することを目的とするものである。

本発明の展開画像生成装置は、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分を合成して管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する展開画像生成装置であって、複数の内視鏡画像の各々において、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定する基準位置決定部と、複数の内視鏡画像の各々において、決定された基準位置を基準に決定される位置に円環状の領域を設定する円環領域設定部と、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって展開画像を生成する展開画像生成部とを備えたことを特徴とする。

ここで、内視鏡画像の撮影位置に対応する内腔中心線上の対応位置は、内視鏡画像の撮影位置（または、撮影位置と推定される位置）を通る管腔臓器の横断面と内腔中心線とが交差する位置をいう。そして、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離は、仮想内視鏡画像を用いて求めることができる。具体的には、管腔臓器を撮影して得られた３次元画像において、管腔臓器の内腔領域内における撮影位置の大まかな位置を求め、求められた大まかな撮影位置を通る管腔臓器の横断面を設定し、設定された横断面上の複数の異なる位置の各々についてその位置を視点位置とする仮想内視鏡画像を作成し、作成された複数の仮想内視鏡画像の中から、内視鏡画像に対して最も類似度の高い仮想内視鏡画像を特定し、特定された仮想内視鏡画像の視点位置が、その視点位置を通る管腔臓器の横断面と内腔中心線とが交差する位置から離間した方向及び距離を表すベクトルを、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を表すベクトルとして求めることができる。

本発明の展開画像生成装置において、円環領域設定部は、複数の内視鏡画像の各々について決定された基準位置を中心とする円環状の領域を設定するものであってもよい。

また、本発明の展開画像生成装置において、展開画像生成部は、複数の内視鏡画像の各々について、内視鏡画像の撮影位置における管腔臓器の径、および内視鏡画像に設定された円環状の領域の撮影画角を用いて、円環状の領域の画像に写った管腔臓器の内表面の、管腔臓器の延在方向に沿った撮影位置からの距離を算出し、内視鏡画像における帯状に変換された変換画像を、展開画像において、管腔臓器の延在方向に撮影位置から、算出された距離だけ離れた位置に配置するものであってもよい。

また、展開画像生成部は、複数の内視鏡画像の各々について、内視鏡画像の撮影方向の管腔臓器内腔の中心線方向に対して傾斜した角度θ、傾斜した方向の管腔臓器の横断面における基準方向からの回転角度φ、および内視鏡画像の撮影位置における管腔臓器の径Ｑを用いて、下記式（１）で表される曲線に沿って帯状に変換された変換画像を変形して配置することによって展開画像を生成するものであってもよい。

また、展開画像生成部は、円環状の領域の画像に写った管腔臓器の内表面の、管腔臓器の延在方向における撮影位置からの距離ｄを、内視鏡画像の撮影位置における管腔臓器の径Ｑ、および円環状の領域の撮影画角αを用いて、下記式（２）により求めるものであってもよい。

また、展開画像生成部は、展開画像において、帯状に変換されてなる変換画像が配置された領域以外の空白領域を、帯状に変換されてなる変換画像を用いて補間するものであってもよいし、空白のままとするものであってもよいし、複数の内視鏡画像中の、空白領域に対応する位置範囲の画像で埋めるものであってもよい。

また、展開画像生成部は、展開画像において、管腔臓器の延在方向に沿った各位置における延在方向に直交する方向の長さを、各位置における管腔臓器の径が大きいほど大きくするものであってもよい。

本発明の展開画像生成方法は、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分を合成して管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する展開画像生成方法であって、複数の内視鏡画像の各々において、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定するステップと、複数の内視鏡画像の各々において、決定された基準位置を基準に決定される位置に円環状の領域を設定するステップと、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって展開画像を生成するステップとを含むことを特徴とする。

本発明の展開画像生成プログラムは、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分を合成して管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成するための展開画像生成プログラムであって、コンピュータを、複数の内視鏡画像の各々において、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定する基準位置決定部と、複数の内視鏡画像の各々において、決定された基準位置を基準に決定される位置に円環状の領域を設定する円環領域設定部と、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって展開画像を生成する展開画像生成部として機能させるためのものである。

また、本発明の展開画像生成プログラムは、通常、複数のプログラムモジュールからなり、上記各部の機能は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。

本発明の画像情報記憶装置は、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分に関する情報を記憶する画像情報記憶装置であって、複数の内視鏡画像の各々において、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定する基準位置決定部と、複数の内視鏡画像の各々において、決定された基準位置を基準に決定される位置に円環状の領域を設定する円環領域設定部と、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を、それぞれ対応する内視鏡画像の撮影位置、撮影日時、および複数の内視鏡画像の撮影時に当該内視鏡画像が取得された順番のうち少なくとも１つを表す情報に対応づけて記憶する画像記憶部とを備えたことを特徴とする。

本発明の展開画像生成装置、方法、及びプログラムによれば、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分を合成して管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する際に、複数の内視鏡画像の各々において、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定し、かつ、決定された基準位置を基準に決定される位置に円環状の領域を設定し、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって展開画像を生成するようにしているので、複数の内視鏡画像に内視鏡の光軸が管腔臓器の内腔の中心線からずれた位置にある状態で撮影されたものが含まれていても、その位置ずれによる影響を低減でき、管腔臓器の内表面がより正確に表された展開画像を生成することができる。

本発明の画像情報記憶装置によれば、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分に関する情報を記憶する際に、複数の内視鏡画像の各々において、内視鏡画像の撮影位置の管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定し、かつ、決定された基準位置を基準に決定される位置に円環状の領域を設定し、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を、それぞれ対応する内視鏡画像の撮影位置、撮影日時、および複数の内視鏡画像の撮影時に内視鏡画像が取得された順番のうち少なくとも１つを表す情報に対応づけて記憶するようにしているので、たとえば管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する際に、記憶された複数の変換画像を対応する情報とともに提供することができる。

これにより、ユーザは、各対応する情報に基づいて複数の変換画像を並べて配置することによって展開画像を生成することができる。このとき、特に本発明の画像情報記憶装置では、上述のように、複数の内視鏡画像の各々において、内視鏡画像の撮影位置の管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定しているので、複数の内視鏡画像に内視鏡の光軸が管腔臓器の内腔の中心線からずれた位置にある状態で撮影されたものが含まれていても、その位置ずれによる影響を低減でき、管腔臓器の内表面がより正確に表された展開画像を生成することができる。

本発明の実施形態に係る展開画像生成装置の概略構成を示す図 図１の展開画像生成装置に実装された機能を示すブロック図 仮想内視鏡画像を用いた撮影位置の取得を説明するための図 離間ベクトルを用いて決定した基準位置の一例を示す図（その１） 離間ベクトルを用いて決定した基準位置の一例を示す図（その２） 内視鏡画像に設定された円環状の領域の一例を示す図（その１） 内視鏡画像に設定された円環状の領域の一例を示す図（その２） 内視鏡の撮影位置と被写体の位置関係を示す図 展開画像における変換画像の配置例を示す図（その１） 展開画像における変換画像の配置例を示す図（その２） 内視鏡の撮影方向を説明するための図 内視鏡の撮影方向と被写体の位置関係を示す図 展開画像における変形後の変換画像の配置例を示す図（その１） 展開画像における変形後の変換画像の配置例を示す図（その１） 展開画像の一例を示す図 管腔臓器の径に応じて上下方向の長さが調整された展開画像の一例を示す図 展開画像における空白領域の処理を説明するための図 図１の展開画像生成装置により行われる処理の流れを示すフローチャート 本発明の実施形態に係る画像情報記憶装置の概略構成を示す図 図１９の画像情報記憶装置に実装された機能を示すブロック図 図１９の画像情報記憶装置により行われる処理の流れを示すフローチャート

以下、本発明の展開画像生成装置、方法、及びプログラムの実施形態について説明する。本発明の実施形態に係る展開画像生成装置１は、腸、気管支等の管腔臓器の内表面が撮影された複数の内視鏡画像を用いて、管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する装置であって、本発明の展開画像生成プログラムがコンピュータにロードされて実行されることにより実現する。図１に示すように、展開画像生成装置１は、ＣＰＵ２（Central Processing Unit）およびメモリ３を備え、さらに、ＨＤＤ（Hard Disk Drive）等のストレージ４を備えている。また、展開画像生成装置１には、ディスプレイ等の表示装置５と、マウス、キーボード等の入力装置６が接続されている。

展開画像生成プログラムとそのプログラムが参照するデータは、ストレージ４に記憶され、起動時にメモリにロードされる。展開画像生成プログラムは、ＣＰＵに実行させる処理として、基準位置決定処理と、円環領域設定処理と、展開画像生成処理と、表示制御処理とを規定している。そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、コンピュータは、図２に示すように、基準位置決定部４１と、円環領域設定部４２と、展開画像生成部４３と、表示制御部４４として機能する。ここで、図２は、展開画像生成装置１に実装された機能をブロック化して模式的に表したものである。また、ストレージ４には、内視鏡により管腔臓器の内表面を撮影して得られた複数の内視鏡画像Ｐ１，Ｐ２，…，Ｐｍ（ｍは内視鏡画像の数）と、ＣＴ装置（Computed Tomography）、ＭＲＩ装置（Magnetic Resonance Imaging）等のモダリティにより管腔臓器を撮影して得られた３次元画像（ボリュームデータ）とが予め取得され、記憶されているものとする。

基準位置決定部４１は、ストレージ４に記憶されている複数の内視鏡画像Ｐ１，Ｐ２，…，Ｐｍを読み出し、各内視鏡画像Ｐｉ（１≦ｉ≦ｍ）について、当該内視鏡画像の撮影位置がその撮影位置に対応する管腔臓器の内腔中心線上の対応位置（撮影位置または撮影位置と推定される位置を通る管腔臓器の横断面と内腔中心線とが交差する位置）から離間した方向及び距離を表す離間ベクトルＶ_Ｏを求め、求められた離間ベクトルＶ_Ｏを用いて、内視鏡画像Ｐｉ上に円環状の領域を設定するための基準位置ＰＲｉを決定するものである。

基準位置決定部４１は、たとえば、ストレージ４に記憶されている管腔臓器の３次元画像において、画像解析により管腔臓器の内腔領域Ｌを特定し、内視鏡画像Ｐｉの撮影時に取得された内視鏡の挿入長、内視鏡の先端に装着された３次元位置センサにより内視鏡画像Ｐｉの撮影時に取得された内視鏡の先端の位置情報等に基づいて、内腔領域Ｌ内における撮影位置の大まかな位置を求め、求められた大まかな撮影位置を通る管腔臓器の横断面Ｓを設定し、図３に示すように、設定された横断面Ｓと内腔領域の中心線ＣＬとが交差する位置Ｃと、横断面Ｓにおいて位置Ｃから上下、左右及び斜めの８方向に所定距離だけ離れた８か所の各位置ｅ１〜ｅ８の各々についてその位置を視点位置とする仮想内視鏡画像を作成し、作成された９つの仮想内視鏡画像の中から、内視鏡画像Ｐｉに対して最も類似度の高い仮想内視鏡画像を特定し、特定された仮想内視鏡画像の視点位置が位置Ｃ（内腔領域の中心線上の対応位置）から離間した方向及び距離を表すベクトルを、離間ベクトルＶ_Ｏとして求めることができる。

このとき、内腔領域内をより広くおよび／または細かくサンプリングしたより多くの位置の各々についてその位置を視点位置とする仮想内視鏡画像を作成し、内視鏡画像Ｐｉに対して最も類似度の高い仮想内視鏡画像を特定するようにすれば、内視鏡画像Ｐｉの撮影位置をより正確に求めることができる。たとえば、上記横断面Ｓの前後に横断面を追加で設定し、設定された全ての横断面の各々において、当該横断面と内腔領域の中心線ＣＬとが交差する位置と、その位置から上下、左右及び斜めの８方向に所定距離だけ離れた８か所の各位置の各々についてその位置を視点位置とする仮想内視鏡画像を作成するようにすることができる。また、各横断面上に仮想内視鏡画像の視点位置としてサンプリングする位置の数を増やしてもよい。

さらに、上記横断面上の各サンプリングされた位置を視点位置とする仮想内視鏡画像を作成する際に、視点位置ごとに、視線方向が異なる複数の仮想内視鏡画像を作成するようにし、作成された全ての仮想内視鏡画像の中から、内視鏡画像Ｐｉに対して最も類似度の高い仮想内視鏡画像を特定するようにすれば、内視鏡画像Ｐｉの撮影位置に加えて、撮影方向を求めることもできる。たとえば、視点位置ごとに、内腔領域の中心線ＣＬの方向と、その方向に対してたとえば上下左右斜めにそれぞれ所定の角度（たとえば、１０度）で傾斜した各方向の各々についてその方向を視線方向とする仮想内視鏡画像を作成し、内視鏡画像Ｐｉに対して最も類似度の高い仮想内視鏡画像を特定するようにすることができる。なお、この撮影方向の利用については後述する。

基準位置決定部４１は、上記のようにして各内視鏡画像Ｐｉについて離間ベクトルＶ_Ｏが求められると、次いで、その求められた離間ベクトルＶ_Ｏを用いて、Ｖ_Ｓ＝ｋ×（−Ｖ_Ｏ）の式により基準位置を決定するためのシフトベクトルＶ_Ｓを求め、内視鏡画像Ｐｉの中央からシフトベクトルＶ_Ｓだけ離れた位置を、その内視鏡画像Ｐｉにおける円環状の領域を設定するための基準位置ＰＲｉとして決定する。ここで、ｋは、実内視鏡カメラの画角と、仮想内視鏡の画角に基づいて定められる正の定数であって（ｋ＝仮想化内視鏡の画角÷実内視鏡の画角）、たとえば実内視鏡カメラの画角と仮想内視鏡の画角とが同じである場合は１の値をとる。

これにより、たとえば図４の左図に示すように、内視鏡画像Ｐｉの撮影位置Ｅｉが横断面Ｓ上の位置Ｃに一致し、離間ベクトルＶ_Ｏ＝０である場合、図４の右図に示すように、内視鏡画像Ｐｉの中央ＣＰｉが基準位置ＲＰｉとして決定され、たとえば図５の左図に示すように、内視鏡画像の撮影位置Ｅｉが横断面Ｓ上の位置ｅ１に一致し、離間ベクトルＶ_Ｏ＝ｅ１−Ｃである場合、図５の右図示すように、内視鏡画像Ｐｉの中央ＣＰｉからシフトベクトルＶ_Ｓ＝ｋ×（−Ｖ_Ｏ）だけ離れた位置が基準位置ＲＰｉとして決定されることとなる。

円環領域設定部４２は、複数の各内視鏡画像Ｐｉ（１≦ｉ≦ｍ）において、上記基準位置決定部４１により決定された基準位置ＲＰｉを中心とする所定半径ｒの円環状の領域Ｒｉ（半径ｒの円周から半径方向に所定の幅を有する領域）を設定するものである。これにより、図４に示す場合の内視鏡画像Ｐｉにおいては、図６に示すように、画像の中央に位置する基準位置ＲＰｉを中心とする半径ｒの円環状の領域Ｒｉが設定され、図５に示す場合の内視鏡画像Ｐｉにおいては、図７に示すように、画像の中央からＶ_Ｓ＝ｋ×（−Ｖ_Ｏ）だけ離れた基準位置ＲＰｉを中心とする半径ｒの円環状の領域Ｒｉが設定されることとなる。

展開画像生成部４３は、複数の各内視鏡画像Ｐｉにおいて円環領域設定部４２により設定された円環状の領域Ｒｉの画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって展開画像ＤＩを生成するものである。具体的には、展開画像生成部４３は、内視鏡画像Ｐｉごとに、（ア）その内視鏡画像Ｐｉに設定された円環状の領域Ｒｉの画像部分を、所定の方向（たとえば、画像の６時方向または１２時方向）から反時計回りの各部分が上から下へ配置された帯状の変換画像Ｄｉに変換し、また、図８に示すように、（イ）内視鏡画像Ｐｉの撮影位置Ｅｉにおける管腔臓器の径Ｑ、および内視鏡画像Ｐｉに設定された円環状の領域Ｒｉの撮影画角αを用いて、下記式（２）により、円環状の領域Ｒｉの画像に写った管腔臓器の内表面の、管腔臓器の延在方向に沿った撮影位置Ｅｉからの距離ｄを算出し、さらに、図９，図１０に示すように、（ウ）変換された変換画像Ｄｉを、展開画像ＤＩにおいて、展開画像の左右方向Ｘｄ（管腔臓器の延在方向に相当）に、撮影位置に相当する位置Ｅｘｉから上記求められた距離ｄだけ離れた位置に配置する。展開画像生成部４３は、全ての内視鏡画像Ｐ１，Ｐ２，…，Ｐｍについての処理が終了するまで上記（ア）から（ウ）の処理を繰り返し行うことによって、展開画像ＤＩを生成する。

なお、上記式（２）は、図８に示すように、三角関数によりtan（α/２）＝（Ｒ/２）÷ｄの関係が成立することと、円環状の領域Ｒｉの画像に写った管腔臓器の内表面位置における管腔臓器の径Ｒが内視鏡画像Ｐｉの撮影位置Ｅｉにおける管腔臓器の径Ｑとほぼ同じ大きさであることを前提に導きだされてものであり、径Ｑは、３次元画像を用いた画像解析により求めることができる。

また、図９は、図６に示すような、円環状の領域Ｒｉの全体が内視鏡画像Ｐｉの範囲内に収まる場合に、その円環状の領域Ｒｉの画像部分が変換されてなる変換画像Ｄｉが展開画像ＤＩに配置される様子を例示したものであり、図１０は、図７に示すような、円環状の領域Ｒｉの一部が内視鏡画像Ｐｉの範囲を超えた場合に、その円環状の領域Ｒｉの画像部分が変換されてなる変換画像Ｄｉが展開画像ＤＩに配置される様子を例示したものである。なお、特に図１０では、内視鏡画像Ｐｉに設定された円環状の領域Ｒｉの画像部分を、画像の６時方向から反時計回りの各部分が上から下へ配置された帯状の変換画像Ｄｉに変換している場合を例示している。

展開画像生成部４３は、上記変換画像Ｄｉの配置による展開画像ＤＩの生成に際して、少なくとも一部又は全部の各変換画像Ｄｉを、内視鏡画像Ｐｉの撮影方向をさらに考慮して変形した上で配置する機能を備えたものであってもよい。具体的には、図１１に示すように、内視鏡画像Ｐｉの撮影方向Ｅｄｉが、管腔臓器内腔の中心線方向に対して角度θで傾斜し、その傾斜した方向が、管腔臓器の横断面Ｓにおける所定の基準方向Ｒｄから回転角度φの方向である場合を考える。また、図１２に、撮影方向Ｅｄｉと撮影画角αの位置関係を表す縦断面図を示す。

そこで、展開画像生成部４３は、図１３，図１４に示すように、展開画像ＤＩにおいて、展開画像の左右方向Ｘｄ（管腔臓器の延在方向に相当）に撮影位置に相当する位置Ｅｘｉから上記求められた距離ｄだけ離れた位置であって、かつ、展開画像の上下方向（管腔臓器の周方向に相当）に上記基準方向Ｒｄに対応する位置を原点Ｏとし、展開画像の左右方向に沿ってＸ軸を設定するとともに、展開画像の上下方向に沿ってＹ軸を設定し、その設定されたＸＹの座標系において、角度θ、回転角度φ、および撮影位置Ｅｉにおける管腔臓器の径Ｑを用いて、下記式（１）で表される曲線Ｆを求め、その曲線Ｆに沿って変換画像Ｄｉを変形して配置することができる。ここで、図１３は、φ＝０である場合に、変換画像Ｄｉが変形されて配置される様子を例示したものであり、図１４は、φ≠０である場合に、変換画像Ｄｉが変形されて配置される様子を例示したものである。

展開画像生成部４３は、以上の処理によって、たとえば図１５に示すような、展開画像の上下方向の長さが、展開画像左右方向のどの位置においても一定である展開画像ＤＩを生成することができる。これに対し、展開画像生成部４３は、展開画像の左右方向（管腔臓器の延在方向に相当）に沿った各位置における展開画像の上下方向（管腔臓器の周方向に相当）の長さを、その左右方向に沿った位置（管腔臓器の延在方向における特定の位置）における管腔臓器の径に対して正の相関を有するように設定することにより、たとえば図１６に示すような、展開画像の上下方向の長さが管腔臓器の径の大きさに従って調整された展開画像ＤＩａを生成する機能をさらに備えたものであってもよい。

展開画像生成部４３は、変換画像を並べて配置することによって生成した展開画像ＤＩ（または、展開画像ＤＩａ）に、図１７に示すように、変換画像が配置されない空白領域が存在する場合、その空白領域を空白のままとするものであってもよいが、配置済みの変換画像を用いて補間し、あるいは、複数の内視鏡画像Ｐ１，Ｐ２，…，Ｐｍ中から、空白領域に対応する位置範囲の画像を取得して埋める機能をさらに備えたものであってもよい。

表示制御部４４は、展開画像生成部４３により生成された展開画像ＤＩ（または、展開画像ＤＩａ）を表示装置５上に表示させるものである。表示制御部４４は、たとえば、展開画像生成部４３により生成された展開画像ＤＩの全範囲、あるいは、デフォルトで指定されている所定の位置範囲の一部を初期画面に表示させ、自動または手動の表示変更指示に応じて、展開画像ＤＩの表示を変更する。たとえば、観察したい展開画像上の部分を指定するユーザによる入力に応じて、指定された部分を含む所定大きさの部分画像を表示させる。

次に、展開画像生成装置１により行われる処理の流れを、図１８に示すフローチャートを参照して説明する。まず、基準位置決定部４１が、処理対象の内視鏡画像の番号として変数ｉ＝１を付与し（Ｓ１）、ストレージ４から内視鏡画像Ｐｉを読み出し、内視鏡画像Ｐｉの撮影位置がその撮影位置に対応する管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を表す離間ベクトルＶ_Ｏを求め、求められた離間ベクトルＶ_Ｏを用いて、内視鏡画像Ｐｉ上に円環状の領域を設定するための基準位置ＰＲｉを決定する（Ｓ２）。次いで、円環領域設定部４２が、内視鏡画像Ｐｉにおいて、ステップＳ２で決定された基準位置ＲＰｉを中心とする所定半径ｒの円環状の領域Ｒｉを設定する（Ｓ３）。その後、ｉ＝ｍ（内視鏡画像の数）であるか否か、すなわち全ての内視鏡画像についてステップＳ２およびステップＳ３の処理が終了しているか否かを判定し（Ｓ４）、ｉがｍに達していない場合（Ｓ４：ＮＯ）、変数ｉをインクリメントし（Ｓ５）し、再びステップＳ２に戻り、Ｓ２からＳ４までの処理を繰り返す。

一方、ｉがｍに達した場合（Ｓ４：ＹＥＳ）、ステップＳ６に進み、展開画像生成部４３が、複数の各内視鏡画像Ｐｉ（ｉ＝１，２，…，ｍ）においてステップＳ３で設定された円環状の領域Ｒｉの画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって展開画像ＤＩを生成する（Ｓ６）。最後に、表示制御部４４が、ステップ６で生成された展開画像ＤＩを表示装置５上に表示する（Ｓ７）。

なお、この図１８に示すフローチャートでは、展開画像生成部４３が、全ての内視鏡画像について基準位置を決定する処理と円環状の領域を設定する処理が完了した後に初めて展開画像の生成を開始するものである場合を例示して説明したが、展開画像生成部４３を、内視鏡画像単位で、円環状の領域が設定されたものから随時その画像部分を帯状に変換して配置していくことによって展開画像を一部ずつ生成していくものとし、さらには、表示制御部４４により、展開画像が一部ずつ生成されるたびに、生成された部分が追加された展開画像を表示装置５上に表示させるようにしてもよい。

以上の構成により、本実施形態の画像処理装置１によれば、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分を合成して管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する際に、基準位置決定部４１が、複数の内視鏡画像の各々において、内視鏡画像の撮影位置が管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定し、円環領域設定部４２が、決定された基準位置を基準に決定される位置に円環状の領域を設定し、展開画像生成部４３が、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって展開画像を生成するようにしているので、複数の内視鏡画像に内視鏡の光軸が管腔臓器の内腔の中心線からずれた位置にある状態で撮影されたものが含まれていても、その位置ずれによる影響を低減でき、管腔臓器の内表面がより正確に表された展開画像を生成することができる。

なお、上記実施の形態では、画像処理装置１が表示制御部４４を備えたものである場合について説明したが、この構成は必ずしも必要ではなく、必要に応じて設けるとよい。

次に、図１９〜図２１を参照して、本発明の画像情報記憶装置の実施形態について説明する。本発明の実施形態に係る画像情報記憶装置１００は、腸、気管支等の管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分に関する情報を記憶する装置であって、画像情報記憶プログラムがコンピュータにロードされて実行されることにより実現する。図１９に示すように、画像情報記憶装置１００は、ＣＰＵ２（Central Processing Unit）およびメモリ３を備え、さらに、ＨＤＤ（Hard Disk Drive）等のストレージ１０４を備えている。また、展開画像生成装置１には、ディスプレイ等の表示装置５と、マウス、キーボード等の入力装置６が接続されている。

画像情報記憶プログラムとそのプログラムが参照するデータは、ストレージ１０４に記憶され、起動時にメモリにロードされる。画像情報記憶プログラムは、ＣＰＵに実行させる処理として、基準位置決定処理と、円環領域設定処理と、画像記憶処理、展開画像生成処理と、表示制御処理とを規定している。そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、コンピュータは、図２０に示すように、基準位置決定部４１と、円環領域設定部４２と、画像記憶部４５と、展開画像生成部４３と、表示制御部４６として機能する。ここで、図２０は、画像情報記憶装置１００に実装された機能をブロック化して模式的に表したものである。また、ストレージ１０４には、内視鏡により管腔臓器の内表面を撮影して得られた複数の内視鏡画像Ｐ１，Ｐ２，…，Ｐｍ（ｍは内視鏡画像の数）と、ＣＴ装置（Computed Tomography）、ＭＲＩ装置（Magnetic Resonance Imaging）等のモダリティにより管腔臓器を撮影して得られた３次元画像（ボリュームデータ）とが予め取得され、記憶されているものとする。

この実施形態は、上述した本発明の展開画像生成装置、方法、及びプログラムの実施形態とは、画像記憶部４５をさらに備えることによって、複数の内視鏡画像の各々において円環状の領域を設定した後に、直ちに展開画像を生成するのではなく、設定された円環状の領域の画像部分に関する情報を一旦記憶させ、展開画像の生成の要望があったときに、記憶された情報に基づいて展開画像を生成する点でのみ相違する。そこで、以下の説明では、その相違点を中心に説明し、上記本発明の展開画像生成装置、方法、及びプログラムの実施形態と同一の構成については、同一の番号を付し、説明を省略する。

画像記憶部４５は、基準位置決定部４１によって、複数の各内視鏡画像Ｐｉにおいて、円環状の領域を設定するための基準位置ＰＲｉが決定され、円環領域設定部４２によって、複数の各内視鏡画像Ｐｉにおいて、決定された基準位置ＲＰｉを中心とする所定半径ｒの円環状の領域Ｒｉが設定された後に、複数の内視鏡画像のＰ１，Ｐ２，…，Ｐｍ各々において設定された円環状の領域Ｒ１，Ｒ２，…，Ｒｍの画像部分をそれぞれ帯状に変換してなる複数の変換画像Ｄ１，Ｄ２，…，Ｄｍを生成し、生成された複数の変換画像Ｄ１，Ｄ２，…，Ｄｍをそれぞれ対応する内視鏡画像の撮影位置、撮影日時、および複数の内視鏡画像の撮影時に当該内視鏡画像が取得された順番のうち少なくとも１つを表す情報に対応づけてストレージ１０４に記憶するものである。

その後、展開画像の生成の要望があった場合に、展開画像生成部４３が、ストレージ１０４に記憶されている複数の変換画像Ｄ１，Ｄ２，…，Ｄｍをその各変換画像に対応する情報とともに読み出し、各対応する情報に基づいて複数の変換画像Ｄ１，Ｄ２，…，Ｄｍを並べて配置することによって展開画像ＤＩを生成する。

次に、画像情報記憶装置１００により行われる処理の流れを、図２１に示すフローチャートを参照して説明する。まず、基準位置決定部４１が、処理対象の内視鏡画像の番号として変数ｉ＝１を付与し（Ｓ１１）、ストレージ４から内視鏡画像Ｐｉを読み出し、内視鏡画像Ｐｉの撮影位置がその撮影位置に対応する管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を表す離間ベクトルＶ_Ｏを求め、求められた離間ベクトルＶ_Ｏを用いて、内視鏡画像Ｐｉ上に円環状の領域を設定するための基準位置ＰＲｉを決定する（Ｓ１２）。次いで、円環領域設定部４２が、内視鏡画像Ｐｉにおいて、ステップＳ２で決定された基準位置ＲＰｉを中心とする所定半径ｒの円環状の領域Ｒｉを設定する（Ｓ１３）。
次いで、画像記憶部４５が、ステップＳ１３で設定された円環状の領域Ｒｉの画像部分を帯状に変換してなる変換画像Ｄｉを生成し、生成された変換画像Ｄｉを、対応する内視鏡画像の撮影位置を表す情報に対応づけてストレージ１０４に記憶する（Ｓ１４）。

その後、ｉ＝ｍ（ｍは内視鏡画像の数）であるか否か、すなわち全ての内視鏡画像についてステップＳ１２からステップＳ１４までの処理が終了しているか否かを判定し（Ｓ１５）、ｉがｍに達していない場合（Ｓ１６：ＮＯ）、変数ｉをインクリメントし（Ｓ１６）し、再びステップＳ１２に戻り、Ｓ１２からＳ１５までの処理を繰り返す。一方、ｉがｍに達した場合（Ｓ１６：ＹＥＳ）、ステップＳ１７に進み、展開画像の生成の要望の有無を監視する（Ｓ１７）。その後、展開画像の生成の要望があった場合（Ｓ１７：ＹＥＳ）、ステップＳ１８に進み、展開画像生成部４３が、ステップＳ１４で生成されてストレージ１０４に記憶された複数の変換画像Ｄ１，Ｄ２，…，Ｄｍをその各変換画像に対応する情報とともに読み出し、各対応する情報に基づいて複数の変換画像Ｄ１，Ｄ２，…，Ｄｍを並べて配置することによって展開画像ＤＩを生成する（Ｓ１８）。最後に、表示制御部４４が、ステップ６で生成された展開画像ＤＩを表示装置５上に表示する（Ｓ１９）。

以上の構成により、本実施形態の画像情報記憶装置１００によれば、管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、設定された円環状の領域の画像部分に関する情報を記憶する際に、基準位置決定部４１が、複数の内視鏡画像の各々において、内視鏡画像の撮影位置の管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、内視鏡画像における円環状の領域を設定するための基準位置を決定し、円環領域設定部４２が、決定された基準位置を基準に決定される位置に円環状の領域を設定し、画像記憶部４５が、複数の内視鏡画像の各々において設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を、それぞれ対応する内視鏡画像の撮影位置、撮影日時、および複数の内視鏡画像の撮影時に当該内視鏡画像が取得された順番のうち少なくとも１つを表す情報に対応づけて記憶するようにしているので、たとえば管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する際に、記憶された複数の変換画像を対応する情報とともに提供することができる。これにより、展開画像の生成の要望があった場合に、各対応する情報に基づいて複数の変換画像を並べて配置することによって展開画像を生成することができる。

なお、上記実施の形態では、画像情報記憶装置１００が展開画像生成部４３や表示制御部４４を備えたものである場合について説明したが、これらの構成は必ずしも必要ではなく、必要に応じて設けるとよい。

また、上記本発明の展開画像生成装置、方法、及びプログラムの実施形態と、上記本発明の画像情報記憶装置の実施形態では、円環領域設定部４２が、基準位置を中心とした円環状の領域を設定するものであり、基準位置決定部４１が、基準位置を中心とした円環状の領域が設定されることを前提に、それに対応した位置を基準位置として決定するものである場合を例示して説明したが、円環領域設定部４２は、基準位置を基準に一意に決定される位置に円環状の領域を設定するものであればよく、基準位置決定部４１も、それに対応した位置を基準位置として決定するものであれば足りる。たとえば、円環領域設定部４２は、基準位置を「円環状の領域の最上点の位置」として参照して円環状の領域を設定するものであってもよいし、基準位置を「円環状の領域の輪郭を囲む最小の矩形領域の左上端の位置」として参照して円環状の領域を設定するものであってもよい。そして、基準位置決定部４１は、その各場合に対応した位置を基準位置として決定するものであればよい。

１ 開画像生成装置
２ ＣＰＵ
３ ストレージ
４ メモリ
５ 表示装置
６ 入力装置
４１ 基準位置決定部
４２ 円環領域設定部
４３ 展開画像生成部
４４ 表示制御部
４５ 画像記憶部
１００ 画像情報記憶装置
Ｄｉ 変換画像
Ｐｉ 内視鏡画像
ＰＲｉ 基準位置
Ｒｉ 円環状の領域
Ｖ_Ｏ 離間ベクトル
Ｖ_Ｓ シフトベクトル

Claims (12)

1. 管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、該設定された円環状の領域の画像部分を合成して前記管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する展開画像生成装置であって、
   前記複数の内視鏡画像の各々において、当該内視鏡画像の撮影位置が該撮影位置に対応する前記管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、当該内視鏡画像における前記円環状の領域を設定するための基準位置を決定する基準位置決定部と、
   前記複数の内視鏡画像の各々において、前記決定された基準位置を基準に決定される位置に前記円環状の領域を設定する円環領域設定部と、
   前記複数の内視鏡画像の各々において前記設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって前記展開画像を生成する展開画像生成部と
   を備えたことを特徴とする展開画像生成装置。
2. 前記円環領域設定部が、前記複数の内視鏡画像の各々について前記決定された基準位置を中心とする前記円環状の領域を設定するものである請求項１記載の展開画像生成装置。
3. 前記展開画像生成部が、前記複数の内視鏡画像の各々について、前記撮影位置における前記管腔臓器の径、および当該内視鏡画像に設定された前記円環状の領域の撮影画角を用いて、当該円環状の領域の画像に写った前記管腔臓器の内表面の、前記管腔臓器の延在方向に沿った前記撮影位置からの距離を算出し、当該内視鏡画像における前記帯状に変換された変換画像を、前記展開画像において、前記管腔臓器の延在方向に前記撮影位置から前記算出された距離だけ離れた位置に配置するものである請求項１または２記載の展開画像生成装置。
4. 前記展開画像生成部が、前記複数の内視鏡画像の各々について、前記内視鏡画像の撮影方向の前記管腔臓器内腔の中心線方向に対して傾斜した角度θ、当該傾斜した方向の前記管腔臓器の横断面における基準方向からの回転角度φ、および前記撮影位置における前記管腔臓器の径Ｑを用いて、下記式（１）で表される曲線に沿って前記帯状に変換された変換画像を変形して配置することによって前記展開画像を生成するものである請求項３記載の展開画像生成装置。
   
5. 前記展開画像生成部が、前記円環状の領域の画像に写った前記管腔臓器の内表面の、前記管腔臓器の延在方向における前記撮影位置からの距離ｄを、前記撮影位置における前記管腔臓器の径Ｑ、および当該円環状の領域の撮影画角αを用いて、下記式（２）により求めるものである請求項３または４記載の展開画像生成装置。
   
6. 前記展開画像生成部が、前記展開画像において、前記帯状に変換されてなる変換画像が配置された領域以外の空白領域を、前記帯状に変換されてなる変換画像を用いて補間するものである請求項１から５のいずれか１項記載の展開画像生成装置。
7. 前記展開画像生成部が、前記展開画像において、前記帯状に変換されてなる変換画像が配置された領域以外の空白領域を、空白のままとするものである請求項１から５のいずれか１項記載の展開画像生成装置。
8. 前記展開画像生成部が、前記展開画像において、前記帯状に変換されてなる変換画像が配置された領域以外の空白領域を、前記複数の内視鏡画像中の、当該空白領域に対応する位置範囲の画像で埋めるものである請求項１から５のいずれか１項記載の展開画像生成装置。
9. 前記展開画像生成部が、前記展開画像において、前記管腔臓器の前記延在方向に沿った各位置における該延在方向に直交する方向の長さを、当該位置における前記管腔臓器の径が大きいほど大きくするものである請求項１から８のいずれか１項記載の展開画像生成装置。
10. 管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、該設定された円環状の領域の画像部分を合成して前記管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する展開画像生成方法であって、
    前記複数の内視鏡画像の各々において、当該内視鏡画像の撮影位置が該撮影位置に対応する前記管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、当該内視鏡画像における前記円環状の領域を設定するための基準位置を決定するステップと、
    前記複数の内視鏡画像の各々において、前記決定された基準位置を基準に決定される位置に前記円環状の領域を設定するステップと、
    前記複数の内視鏡画像の各々において前記設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって前記展開画像を生成するステップと
    を含む展開画像生成方法。
11. 管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、該設定された円環状の領域の画像部分を合成して前記管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成するための展開画像生成プログラムであって、
    コンピュータを、
    前記複数の内視鏡画像の各々において、当該内視鏡画像の撮影位置が該撮影位置に対応する前記管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、当該内視鏡画像における前記円環状の領域を設定するための基準位置を決定する基準位置決定部と、
    前記複数の内視鏡画像の各々において、前記決定された基準位置を基準に決定される位置に前記円環状の領域を設定する円環領域設定部と、
    前記複数の内視鏡画像の各々において前記設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を並べて配置することによって前記展開画像を生成する展開画像生成部として機能させるための展開画像生成プログラム。
12. 管腔臓器の内表面が撮影された複数の内視鏡画像の各々において円環状の領域を設定し、該設定された円環状の領域の画像部分に関する情報を記憶する画像情報記憶装置であって、
    前記複数の内視鏡画像の各々において、当該内視鏡画像の撮影位置が該撮影位置に対応する前記管腔臓器の内腔中心線上の対応位置から離間した方向及び距離を用いて、当該内視鏡画像における前記円環状の領域を設定するための基準位置を決定する基準位置決定部と、
    前記複数の内視鏡画像の各々において、前記決定された基準位置を基準に決定される位置に前記円環状の領域を設定する円環領域設定部と、
    前記複数の内視鏡画像の各々において前記設定された円環状の領域の画像部分をそれぞれ帯状に変換してなる複数の変換画像を、それぞれ対応する内視鏡画像の撮影位置、撮影日時、および前記複数の内視鏡画像の撮影時に当該内視鏡画像が取得された順番のうち少なくとも１つを表す情報に対応づけて記憶する画像記憶部と
    を備えたことを特徴とする画像情報記憶装置。