JP6017743B1 - 医療機器システム、医療機器システムの作動方法 - Google Patents

Abstract

取得された撮像系の位置情報を管腔臓器の３Ｄ情報に位置合わせする位置合わせ部（２６）と、画像取得時の３Ｄ情報中における撮像位置を、位置合わせされた位置情報に基づき算出する撮像位置算出部（２７）と、撮像位置と画像を関連付けて記憶する撮像情報記憶部（２２）と、３Ｄ情報中の領域等を指定する操作部（４０）と、撮像情報記憶部（２２）の記憶結果から、指定領域に重なる撮像位置の画像を取得して領域毎に所定の基準で並べる画像処理部（２１）と、を有する医療機器システム。

Description

本発明は、管腔臓器内の被写体像を撮像して撮像画像を取得し表示する医療機器システム、医療機器システムの作動方法に関する。

管腔臓器内の被写体像を撮像して撮像画像を取得し表示する医療機器システムは、従来より、種々のものが提案されている。

例えば、日本国特許４００９６３９号公報の図１２等には、ナビゲーション画面に、気管支のライブ画像およびＶＢＳ画像を表示すると共に、ルートの全ての分岐点でのＶＢＳ画像を縮小して分岐サムネイルＶＢＳ画像として表示することが記載されている。ここに、ＶＢＳ画像は、被検体の３次元領域の画像データであるＣＴ画像データに基づき生成された、被検体内の体腔路の仮想の内視鏡像である。

また、日本国特開２００２−１７７５１号公報には、硬性鏡の先端と被検体の対象部位との距離を算出して、硬性鏡の先端が対象部位に所定距離よりも近付いたときに、図１０に示されている頭部に係る３方向投影画像を、図１１に示すような状態へ拡大表示する技術が記載されている。

ところで、内視鏡により管腔臓器内を観察する際に、管腔臓器内における観察の対象物（例えば、腫瘍など）に対する撮像画像を、異なる方向から複数取得する場合がある。こうして取得された複数の撮像画像を確認するために表示する方法として、従来より、時系列に並べて表示する方法が知られている。

しかしながら、従来のような単に時系列に並べて表示する方法では、対象物が複数ある場合に、所定の対象物の撮像画像が連続して表示されると限られるものではなく、途中に他の対象物の撮像画像が挟まって表示される等が生じることがある。そして、このような表示では、複数の画像の中から所望の画像を選択しようとする際に、より多くの時間を要してしまう。

本発明は上記事情に鑑みてなされたものであり、複数の画像の中から必要な情報に速やかに到達することが可能となる医療機器システム、医療機器システムの作動方法を提供することを目的としている。

本発明のある態様による医療機器システムは、所定の管腔臓器内の被写体像を撮像した撮像画像と、当該被写体像を撮像した際の撮像位置情報とを関連付けて記憶する撮像情報記憶部と、前記所定の管腔臓器内の被写体像を結像する対物光学窓と、前記被写体像を撮像して撮像画像を取得する撮像部と、前記対物光学窓の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせする位置合わせ部と、前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における当該撮像画像を取得した際の撮像位置情報を算出する撮像位置算出部と、前記位置情報取得部で取得した前記位置情報に基づいて、前記３次元形状情報中における前記撮像部による現在の撮像位置または撮像範囲を算出する制御部と、前記撮像情報記憶部の記憶結果に基づき、前記制御部によって算出された前記撮像部による現在の撮像位置または撮像範囲に少なくとも一部が重なる前記撮像位置情報を特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から取得し、取得した前記撮像画像を所定の基準に基づき並べた画像列を生成する画像処理部と、を有している。

本発明のある態様による医療機器システムの作動方法は、撮像情報記憶部が、所定の管腔臓器内の被写体像を撮像した撮像画像と、当該被写体像を撮像した際の撮像位置情報とを関連付けて記憶するステップと、対物光学窓が、前記所定の管腔臓器内の被写体像を結像するステップと、撮像部が、前記被写体像を撮像して撮像画像を取得するステップと、位置情報取得部が、前記対物光学窓の位置情報を取得するステップと、位置合わせ部が、前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせするステップと、撮像位置算出部が、前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における当該撮像画像を取得した際の撮像位置情報を算出するステップと、制御部が、前記位置情報取得部で取得した前記位置情報に基づいて、前記３次元形状情報中における前記撮像部による現在の撮像位置または撮像範囲を算出するステップと、画像処理部が、前記撮像情報記憶部の記憶結果に基づき、前記制御部によって算出された前記撮像部による現在の撮像位置または撮像範囲に少なくとも一部が重なる前記撮像位置情報を特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から取得し、取得した前記撮像画像を所定の基準に基づき並べた画像列を生成するステップと、を有している。

本発明の実施形態１における医療機器システムの構成を示すブロック図。 上記実施形態１における医療機器システムにより被写体を観察するときの処理を示すフローチャート。 上記実施形態１の医療機器システムにおいて、内視鏡観察時にモニタに表示される画像の例を示す図。 上記実施形態１の医療機器システムにおいて、内視鏡による観察が終了した後に、診断等を行うために画像を見直すときの処理を示すフローチャート。 上記実施形態１の医療機器システムにおいて、位置または領域が指定される前のマップの表示例を示す図。 上記実施形態１の医療機器システムにおいて、マップに位置または領域が指定されたときの表示例を示す図。 上記実施形態１の医療機器システムにおいて、マップおよび画像列が表示されているときの例を示す図。 本発明の実施形態２において、所定の管腔臓器を腎盂および腎杯としたときの被写体の観察処理を示すフローチャート。 上記実施形態２の医療機器システムにおいて、位置または領域が指定される前のマップの表示例を示す図。 上記実施形態２の医療機器システムにおいて、位置または領域が指定されたときのマップの表示例を示す図。 上記実施形態２の医療機器システムにおいて、指定された位置または領域毎の撮像画像がマップと共にモニタに表示される例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図７は本発明の実施形態１を示したものであり、図１は医療機器システムの構成を示すブロック図である。

この医療機器システムは、内視鏡１０と、画像処理装置２０と、磁気発生装置３０と、操作部４０と、モニタ５０と、を備えている。

磁気発生装置３０は、画像処理装置２０内の後述する制御部２４の制御に基づき、位置検出用の磁場を発生させるものである。

操作部４０は、画像処理装置２０（ひいては、この医療機器システム）に対する各種の操作入力を行うためのものであり、タッチパネル、キーボード、マウス、トラックボール、フットスイッチ等のデバイスを適宜含んで構成されている。この操作部４０は、後述する３次元形状情報中の、所定の位置または領域を手動で指定するための指定部（自動で指定するための指定部は、後述する制御部２４などが該当する）として機能する。また、操作部４０は、後述する３次元モデル画像の選択操作などにも用いられる。

モニタ５０は、内視鏡１０から取得された撮像画像５５（図３等参照）、３次元形状情報に基づいて画像処理装置２０により生成された所定の管腔臓器のマップ５１（図３等参照）、あるいはこの医療機器システムに係る各種の設定情報などを表示する表示装置である。

内視鏡１０は、対物光学窓１１と、撮像部１２と、磁気センサ１３と、を有している。ここに、内視鏡１０は、通常の白色光による白色光観察を行うものであっても良いし、白色光観察に加えて、あるいは白色光観察に代えて、ＮＢＩ（Narrow Band Imaging）光等の特殊光を用いた特殊光観察を行うことができるものであっても良い。ここに、適切な特殊光を用いた特殊光観察を行うと、腫瘍等の発見が容易になる利点がある。

対物光学窓１１は、例えばレンズ等の光学部材を含んで構成され、所定の管腔臓器内の被写体像（被写体の光学像）を撮像部１２に結像する。なお、本実施形態においては所定の管腔臓器が例えば膀胱５６（図３、図５〜図７等参照）であるものとして説明を行うが、もちろんその他の管腔臓器であっても構わない（後述する実施形態２に他の管腔臓器の例（腎盂および腎杯）を示す）。

撮像部１２は、対物光学窓１１により結像された被写体像を撮像して撮像画像５５を取得する。撮像部１２は、この図１に示す例においては内視鏡１０内に設けられているが、内視鏡１０がリレー光学系等を有する光学内視鏡である場合には、この光学内視鏡の接眼部に取り付けて使用するカメラヘッド等であっても構わない。

磁気センサ１３は、磁気発生装置３０により発生された磁場を検出することにより、対物光学窓１１の位置情報を取得する位置情報取得部である。なお、位置情報取得部として、ここでは磁気センサ１３を用いたが、その他の技術を用いても構わない。

画像処理装置２０は、画像処理部２１と、撮像情報記憶部２２と、３次元形状情報記憶部２３と、制御部２４と、を備えている。ここに、制御部２４は、距離情報取得部２５と、位置合わせ部２６と、撮像位置算出部２７と、を含んでいる。

まず、制御部２４は、この画像処理装置２０内の各部を含む、この医療機器システム全体を制御するものである。

３次元形状情報記憶部２３は、所定の管腔臓器の３次元形状情報を記憶している。ここに、３次元形状情報は、例えば、管腔臓器の３次元モデル画像、あるいは被検者自身から取得した管腔臓器の３次元画像情報などであるが、本実施形態においては管腔臓器の３次元モデル画像であるものとする。ただし、管腔臓器の大きさや形状は、性別や年齢等に応じて異なる場合がある。そこで、３次元形状情報として３次元モデル画像を用いる場合には、大きさや形状が異なる複数の３次元モデル画像を３次元形状情報記憶部２３に予め記憶させておき、操作部４０からの選択操作に基づいて、所望の３次元モデル画像を選択することができるようにすると良い。

位置合わせ部２６は、磁気センサ１３で取得した位置情報を３次元形状情報に位置合わせする。すなわち、位置合わせ部２６は、内視鏡１０が所定の管腔臓器内に挿入されているときの対物光学窓１１の位置が、３次元形状情報記憶部２３から読み出した３次元形状情報におけるどの位置に対応するかを算出する。

距離情報取得部２５は、対物光学窓１１から所定の管腔臓器までの距離情報を取得する。この距離情報取得部２５による距離情報の取得は、例えば、３Ｄ測距により行っても良いし、レーザ測距により行っても構わないし、その他の適宜の測距技術を適用することが可能であって特定の技術に限定されるものではない。

撮像位置算出部２７は、撮像部１２が撮像画像５５を取得することに伴い、撮像画像５５取得時における対物光学窓１１の位置情報を、位置合わせ部２６によって３次元形状情報に位置合わせする。そして位置合わせされた位置情報と、距離情報取得部２５から取得された距離情報とに基づいて、撮像画像５５の３次元形状情報中の所定の管腔臓器における撮像範囲（つまり、３次元形状情報中の所定の管腔臓器において、撮像画像５５に写っている範囲）を、３次元形状情報中における撮像位置情報として算出する。

画像処理部２１は、撮像部１２から取得された撮像画像５５にホワイトバランス処理や同時化処理、ガンマ変換などの各種の画像処理を行って、撮像情報記憶部２２へ出力し記憶させる。

撮像情報記憶部２２は、制御部２４の制御に基づき、撮像位置算出部２７により算出された撮像位置情報と、画像処理部２１により画像処理された撮像画像５５と、を関連付けて記憶する。なお、撮像情報記憶部２２が撮像画像５５に関連付けて記憶する情報は、この撮像位置情報以外にも、後述する所定の基準等のその他の幾つかの情報を含めることが可能となっている。

上述した画像処理部２１は、さらに、３次元形状情報記憶部２３から読み出した３次元形状情報に基づいて、所定の管腔臓器のマップ５１を生成してモニタ５０へ出力し表示させる。ユーザは、モニタ５０に表示されたマップ５１を参照して、上述した操作部４０による３次元形状情報中の所定の位置または領域の指定を行う。

そして、画像処理部２１は、撮像情報記憶部２２の記憶結果に基づき、操作部４０または制御部２４によって指定された位置または領域に少なくとも一部が重なる撮像位置情報を全て特定し、特定された撮像位置情報に関連する撮像画像５５を撮像情報記憶部２２から全て取得して、取得した撮像画像５５を位置または領域毎に所定の基準に基づき並べた画像列５２（図３、図７等参照）を生成する。

ここに、所定の基準は、距離情報取得部２５により取得された対物光学窓１１から撮像位置（被写体（被写体は内視鏡１０による検査対象であるために、適宜、被検体ともいう）において撮像された範囲の例えば中心）までの距離情報、被検体の特定位置（例えば、現在の撮像範囲（現在の観察範囲）の中心（現在の撮像位置）、または指定された位置、あるいは指定された領域の中心、被検体における特定の部位（例えば膀胱５６における尿道口５６ａ）など）から撮像位置情報で示される位置までの距離、撮像画像５５が取得された時刻順である時系列、所定の管腔臓器内の所定の特徴部位（腫瘍等）の大きさ、などの何れかが例として挙げられるが、これらに限るものではない。そして、取得された所定の基準は、上述したように、撮像画像５５に関連付けて撮像情報記憶部２２に記憶される。

また、画像処理部２１は、これら複数の基準の中のどれを、撮像画像５５を並べるための所定の基準とするかを選択的に変更可能に構成されている。ここに、所定の基準は、検査対象となる所定の管腔臓器などに応じて制御部２４が自動的に選択しても良いし、ユーザが操作部４０を用いて手動で選択するようにしても構わない。

次に、図２は医療機器システムにより被写体を観察するときの処理を示すフローチャートである。

この処理を開始すると、３次元形状情報記憶部２３から所定の管腔臓器、ここでは例えば膀胱５６の３次元モデル画像である３次元形状情報を、上述したような複数の３次元モデル画像の中から選択して読み出す（ステップＳ１）。

次に、内視鏡１０の挿入部を被検体に挿入し、挿入部先端を、被検体の基準位置、例えば膀胱５６と尿道との境界位置である尿道口５６ａ（図３、図５〜図７等参照）に接触させた状態で、磁気センサ１３により位置検出を行うことで、被検体の基準位置の検出を行う（ステップＳ２）。

そして、磁気センサ１３により検出する位置情報（センサ座標情報）と、３次元形状情報における座標（３次元形状座標）との関連付けを、位置合わせ部２６を用いて算出する（ステップＳ３）。なお、ここではステップＳ２で取得した基準位置（尿道口５６ａ）のセンサ座標情報を用いて３次元形状座標との関連付けを行う例（関連付けの具体例としては、センサ座標情報と３次元形状座標との座標変換法則の算出など）を示したが、これに限定されるものではなく、その他の適宜の技術を利用することができる。この関連付けが一旦算出されれば、その後は、任意の時点で磁気センサ１３により検出した位置情報を、３次元形状情報に位置合わせすることが可能となる。

そして、内視鏡１０による管腔臓器内の観察（つまり、撮像部１２によりリアルタイム動画像を取得しモニタ５０に表示しての観察）を上述した白色光観察または特殊光観察により行い（ステップＳ４）、観察中に腫瘍を発見した場合には、ユーザはレリーズスイッチをオンすることで腫瘍発見を医療機器システムに入力する。これに対応するために、制御部２４は、レリーズスイッチがオンされたか否かを判定している（ステップＳ５）。ここにレリーズスイッチは、例えば操作部４０のフットスイッチ、あるいは内視鏡１０に設けられた図示しないスコープスイッチなどが該当する。

ここでレリーズスイッチがオンされていないと判定された場合には、ステップＳ４へ戻って、内視鏡観察を引き続いて行う。

また、ステップＳ５においてレリーズスイッチがオンされたと判定された場合には、撮像部１２により静止画像としての撮像画像５５を取得すると共に、レリーズスイッチがオンされた時点におけるセンサ座標情報を磁気センサ１３から取得する（ステップＳ６）。

ここで取得したセンサ座標情報は、近似的な腫瘍位置情報として扱うことが可能であるが、このセンサ座標情報と後述するステップＳ８において取得する距離情報とを用いてより正確な腫瘍位置情報を算出するとさらに良い。

そして、取得したセンサ座標情報に基づき、位置合わせ部２６が、ステップＳ３で算出した関連付けに基づき、対物光学窓１１の３次元形状座標を算出する（ステップＳ７）。

また、距離情報取得部２５が、レリーズスイッチがオンされたときの、対物光学窓１１から、被検体における撮像範囲の例えば中心までの距離情報を取得する（ステップＳ８）。

続いて、撮像位置算出部２７が、取得された距離情報に基づいて、撮像画像５５上の対象物（例えば、撮像画像５５上の腫瘍などの所定の特徴部位）の大きさを取得する（ステップＳ９）。

なお、ここでは対象物（所定の特徴部位）の大きさを、距離情報に基づいて算出しているが、これに限るものではない。例えば、磁気センサ１３による位置情報の取得を行いながら、ユーザが内視鏡１０の挿入部先端を対象物の輪郭に沿ってトレースし、このトレースによって得られる軌跡に基づいて対象物の大きさを算出するようにしても良いし、その他の適宜の技術を用いても構わない。

また、ここでは、画像を並べて表示する際の所定の基準として対象物（所定の特徴部位）の大きさを用いることを想定してこのステップＳ９の処理を行っているが、もし所定の基準として用いない場合にはこのステップＳ９の処理を省略することも可能である。

ステップＳ７において算出した対物光学窓１１の３次元形状座標と、ステップＳ８において取得した距離情報と、内視鏡１０の画角情報（この画角情報は、例えば、内視鏡１０が画像処理装置２０に接続されたときに、制御部２４が内視鏡１０から取得する）と、に基づいて、ステップＳ６において取得した撮像画像５５の３次元形状情報における撮像範囲（つまり、３次元形状情報としての所定の管腔臓器の内壁面における撮像範囲）と、この撮像範囲の例えば中心である撮像位置と、の少なくとも一方（ここでは、例えば両方）を算出する（ステップＳ１０）。

そして、画像処理部２１により画像処理された撮像画像５５と、撮像位置算出部２７により算出された撮像位置・撮像範囲と、距離情報取得部２５により取得された距離情報と、ステップＳ９において取得された対象物（所定の特徴部位）の大きさ情報と、を関連付けて撮像情報記憶部２２に保存する（ステップＳ１１）。

なお、ここでは撮像画像５５に関連付けて記憶する情報として、撮像位置、撮像範囲、距離情報、および対象物（所定の特徴部位）の大きさ情報を例に挙げたが、これらの内の幾つかを省略しても構わないし、これらに加えて、またはこれらの内の何れかに代えて、その他の情報（例えば、上述した被検体の特定位置から撮像位置情報で示される位置までの距離など）を撮像画像５５に関連付けて記憶するようにしても良い。

また、撮像画像５５を撮像情報記憶部２２に保存する際には、例えば画像ファイル等のファイル形式で保存されるのが一般的であるが、画像ファイルには撮像時刻あるいはファイル保存時刻等の時刻情報が記録される。従って、こうした時刻情報も、撮像画像５５に関連付けて記憶される情報の１つとなることはいうまでもない。

制御部２４は、磁気センサ１３から得られる位置情報に基づいて、現在の撮像位置または撮像範囲を算出して指定し（従って、制御部２４は、３次元形状情報中の、所定の位置または領域を自動で指定するための指定部として機能する）、現在の撮像位置（現在の撮像範囲の例えば中心）または現在の撮像範囲を過去に撮像した画像（例えば、現在の撮像位置または撮像範囲に、撮像範囲の少なくとも一部が重なる撮像画像５５）を、撮像情報記憶部２２に記憶されている撮像画像５５の中から検索する（ステップＳ１２）。

そして、制御部２４は、図３に示すような表示を行う（ステップＳ１３）。ここに図３は、医療機器システムにおいて、内視鏡観察時にモニタ５０に表示される画像の例を示す図である。

図示のように、モニタ５０には、３次元形状情報から作成される所定の管腔臓器のマップ５１と、画像列５２とが、例えば左右に隣接して表示される。

図３に示す例においては、マップ５１として、所定の管腔臓器である膀胱５６の内壁の２次元展開図である下半球図５６ｂと上半球図５６ｔとが表示される。この膀胱５６の２次元展開図には、さらに、ステップＳ２において基準位置として用いた尿道口５６ａも表示されている。

制御部２４は、このマップ５１に、過去の撮像位置５３と、現在の撮像位置または撮像範囲（図３に示す例では、指定された所定の領域である現在の撮像範囲５４）と、をさらに表示する。

そして、制御部２４は、画像列５２として、現在の撮像範囲５４に撮像位置５３の少なくとも一部が重なる過去の撮像画像５５を、上述したような所定の基準の何れかに基づき、並べて一覧表示する（図３に示す例では、３つの撮像画像５５が縦方向に配列して表示されている）。

このステップＳ１３では、例えば、所定の基準として被検体における特定の部位から撮像位置までの距離を用い、特定の部位を現在の撮像位置に設定して、撮像画像５５の撮像位置が現在の撮像位置（現在の観察範囲の中心）に近い順に並べて一覧表示している。この場合には、現在の撮像範囲５４に重なる割合が大きい順に過去の撮像画像５５を一覧表示していることになる。そして、一覧表示される撮像画像５５は、ステップＳ５において、腫瘍５６ｃを発見したユーザがレリーズスイッチを操作して撮像された画像であるために、腫瘍５６ｃが写っている。

こうして、現在の撮像範囲５４における過去の撮像画像５５が配列して表示されるために、ユーザは、現在の撮像範囲５４においてさらに画像を取得するか、あるいは撮像範囲を移動させるか、さらにあるいは観察を終了するかを、即時に適切に判断することが可能となる。

具体的に、図３に示されている例においては、画像列５２が、複数の腫瘍５６ｃを俯瞰した撮像画像５５（上および中央の撮像画像５５）と、複数の腫瘍５６ｃの内の１つの腫瘍５６ｃのみを近接して正面視した撮像画像５５（下の撮像画像５５）と、を含んでいる。

そこで、ユーザは、画像列５２の撮像画像５５に表示されている特徴から、例えば、近接撮影されていないその他の腫瘍５６ｃに関しても、近接画像を取得する、といった判断を行うことが可能となる。このように、腫瘍５６ｃに対する、近接画像の更なる取得、またはより一層の拡大画像の取得、あるいは異なる方向からの画像取得、さらにあるいは俯瞰画像が含まれていない場合の俯瞰画像の取得、ブレが発生している画像の再取得、光源を例えば白色光から特殊光へ変更しての画像の再取得、などをユーザが判断することが可能となる。

そして、観察を終了するか否かを判定して（ステップＳ１４）、終了しないと判定された場合にはステップＳ４へ戻って内視鏡観察を引き続いて行い、終了すると判定された場合にはこの処理を終える。

次に、図４は医療機器システムにおいて、内視鏡１０による観察が終了した後に、診断等を行うために画像を見直すときの処理を示すフローチャートである。

この処理を開始すると、画像列５２におけるデフォルトのソート順序（並び順）を設定する（ステップＳ２１）。ここに、デフォルトのソート順序は、医療機器システムにおいて基本として設定されているソート順序、または、前回使用したソート順序、等である。このソート順序は、上述したような、画像を並べて表示する際の所定の基準により設定される。

続いて、各撮像画像５５に関連付けられた撮像位置、撮像範囲、距離情報、大きさ情報などを読み込む（ステップＳ２２）。

そして図５に示すように、モニタ５０に、被検体の３次元形状情報から作成された所定の管腔臓器のマップ５１を表示し、さらに、マップ５１に、撮像情報記憶部２２に記憶されている各撮像画像５５の撮像位置５３を表示する（ステップＳ２３）。

ここに、図５は、医療機器システムにおいて、位置または領域が指定される前のマップ５１の表示例を示す図である。図５に示すマップ５１は、図３に示した例と同様に膀胱５６の内壁の２次元展開図であって、下半球図５６ｂと上半球図５６ｔと尿道口５６ａとが表示される。

その後、図５のモニタ表示を見たユーザにより、診断画像の選択を行いたい部分としての位置または領域が、指定部である操作部４０の例えばマウスやトラックボール等を用いて指定される（ステップＳ２４）。ここに、このステップＳ２４の処理を最初に行う場合には１つ以上の所望の数の位置または領域が指定されることになり、２回目以降の場合には、もし位置または領域が追加して（もしくは既存の指定をキャンセルして新たに）指定されなければ、既に指定されている位置または領域に基づいて次の処理に進むことになる。

図６は、医療機器システムにおいて、マップ５１に位置または領域が指定されたときの表示例を示す図である。この図６に示す例では、１つ以上の撮像位置５３を含む領域Ａ，Ｂ，Ｃが指定されているが、領域に代えて位置（点）として指定されても構わない。

すると、制御部２４は、撮像情報記憶部２２に記憶されている撮像画像５５の中から、指定された位置または領域に撮像範囲の少なくとも一部が重なる撮像画像５５を検索する（ステップＳ２５）。

そして、制御部２４の制御に基づいて、画像処理部２１が、指定された位置または領域毎に、検索された撮像画像５５を所定の基準に基づくソート順に並べ、モニタ５０におけるマップ５１の隣に画像列５２として一覧表示する（ステップＳ２６）。

図７は、医療機器システムにおいて、マップ５１および画像列５２が表示されているときの例を示す図である。この図７に示す例では、それぞれの領域Ａ，Ｂ，Ｃの少なくとも一部に撮像位置５３が重なる撮像画像５５が、縦方向に配列して表示されている。

この図７に示されている例においては、ユーザは、各領域Ａ，Ｂ，Ｃに属する撮像画像５５に表示されている特徴から、以下のような判断や選択を行うことができる。

まず、領域Ａの画像列５２は、複数の腫瘍５６ｃを俯瞰した撮像画像５５（上から１〜４番目の撮像画像５５）と、複数の腫瘍５６ｃの内の１つの腫瘍５６ｃのみを正面視した撮像画像５５（上から５番目（一番下）の撮像画像５５）と、を含んでいる。

領域Ｂの画像列５２は、１つまたは複数の腫瘍５６ｃを俯瞰した撮像画像５５のみを含んでいる。

領域Ｃの画像列５２は、１つの腫瘍５６ｃを異なる方向および異なる拡大率で観察した撮像画像５５を含んでいる。

そこで、この図４に示すような内視鏡１０による観察が終了した後の段階の場合には、例えば、領域Ａの場合には、複数の腫瘍５６ｃ全体を俯瞰することができている上から２番目の撮像画像５５を診断画像として選択してカルテに残す、という選択が可能となる。また、領域Ｂの場合には、一番下の撮像画像５５が、２つある腫瘍５６ｃの内の１つが内視鏡１０の撮像方向がぶれる等により見失われているために、削除するという選択が可能となる。さらに、領域Ｃの場合には、下側の撮像画像５５が、正面からの拡大画像であって組織性状を把握することができるとして、診断画像として選択しカルテに残すといった選択が可能となる。

続いて、ユーザにより、ソート順序の変更操作がされたか否かを判定し（ステップＳ２７）、変更操作がされたと判定された場合には、変更されたソート順序を設定してから（ステップＳ２８）、上述したステップＳ２６へ行って新たなソート順序による一覧表示を行う。これにより、ユーザは、所望の基準への変更を行って、変更された基準に基づき並び替えられた撮像画像５５を観察することが可能となる。

また、ステップＳ２７において、変更操作がされていないと判定された場合には、観察を終了するか否かを判定し（ステップＳ２９）、終了しないと判定された場合にはステップＳ２４へ戻って上述したような処理を行い、終了すると判定された場合にはこの処理を終える。

このような実施形態１によれば、指定された３次元形状情報中の位置または領域に少なくとも一部が重なる撮像位置情報を全て特定して、特定した撮像位置情報に関連する撮像画像５５を撮像情報記憶部２２から全て取得し、取得した撮像画像５５を位置または領域毎に所定の基準に基づき並べた画像列を生成するようにしたために、ユーザが、複数の画像の中から必要な情報（一例を挙げれば、腫瘍５６ｃの組織性状を判断するのに適した撮像画像５５等）に速やかに到達することが可能となる。

そして、複数の位置または領域を指定してそれぞれに画像列を表示する表示領域を生成するようにしたために、所望の対象物の画像選択が容易になると共に、各位置または領域内における画像同士の比較や、各位置または領域同士の比較を一目で容易に行うことが可能となる。

また、撮像位置情報が３次元形状情報中における撮像範囲に関する情報を含むようにしたために、撮像範囲を視覚的に簡単に把握することができる。

さらに、所定の基準を複数の基準の中から選択的に変更可能としたために、必要な情報に最も到達し易い順序に画像列を並び替えることができる。

このとき、所定の基準として距離情報を用いることで、撮像時の対物光学窓１１から腫瘍までの撮影距離の大小関係を直ちに把握することができる。

また、所定の基準として被写体の特定位置から撮像位置情報で示される位置までの距離を用いることで、例えば複数の腫瘍が存在する場合にどれとどれが同じ腫瘍かなどを容易に想定することが可能となる。

さらに、所定の基準として時系列を採用することで、内視鏡１０による観察時の手順や様子を思い出しながらの画像確認が可能となる。

加えて、所定の基準として所定の管腔臓器内の所定の特徴部位の大きさを用いることで、腫瘍等の大小関係を容易に把握することができる。

そして、指定部が、撮像位置情報を、指定された位置または領域として指定するようにしたために、指定が容易であると共に、腫瘍等を群として捉えることが可能となる。

こうして、観察中に観察状況を振り返って、画像をさらに取得する必要があるか否かを判断し、観察が終了した後に画像を見直して、管腔臓器における指定領域の少なくとも一部に撮像範囲が重なる撮像画像５５群の中から、診断を行うのに適切な画像を選択することが可能となる。

［実施形態２］
図８から図１１は本発明の実施形態２を示したものであり、図８は所定の管腔臓器を腎盂および腎杯としたときの被写体の観察処理を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、所定の管腔臓器として膀胱５６を例に挙げたが、本実施形態は腎盂および腎杯を例に挙げたものとなっている。

この処理を開始すると、３次元形状情報記憶部２３から、被検者の３次元画像情報を取得する（ステップＳ３１）。すなわち、上述した実施形態１では、３次元形状情報として、管腔臓器の３次元モデル画像を想定していたが、本実施形態は、被検者自身から取得した管腔臓器の３次元画像情報を想定したものとなっている。

ここに、被検者の３次元画像情報は、例えば、ＣＴ装置、あるいはＭＲＩ装置等によって、被験者自身から予め取得されたものである。こうして取得された３次元画像情報は、例えば院内ワークステーション等により管理されている。従って、図１においては３次元形状情報記憶部２３が画像処理装置２０内に設けられている例を示したが、３次元形状情報記憶部２３は、画像処理装置２０外に設けられた例えば院内ワークステーション等であっても構わない。

次に、取得されて３次元形状情報記憶部２３に記憶されている被検者の３次元画像情報から、所定の管腔臓器、ここでは例えば腎盂および腎杯（これら腎盂および腎杯をまとめて、図９〜図１１においては符号５７を付している）の３次元形状情報を抽出して読み出す（ステップＳ３２）。この読み出しは、３次元形状情報記憶部２３が例えば院内ワークステーションである場合にはデータのダウンロードとして行われ、読み出された３次元形状情報は、制御部２４の制御に基づいて画像処理部２１により処理された後に、モニタ５０に例えば図９に示すようなマップ５１として表示される。

尚、ここでは被検者の３次元画像情報は、ＣＴ装置等によって、予め取得されたものであるをことを説明したが、３次元画像情報の取得方法はこれに限られるものではない。例えば、画像処理部２１が撮像部１２が撮像した撮像画像に基づいた観察位置、視線方向データを用いて、内視鏡１０の撮像部１２により撮像（観察）された撮像画像に対応する３次元画像情報を生成するようにしても良い。

この場合、画像処理部２１は例えば特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３次元形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３次元形状を推定する手法でも良い。また、３次元形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３次元画像データを参照して３次元形状データを構築するようにしても良い。

ここに、図９は、医療機器システムにおいて、位置または領域が指定される前のマップ５１の表示例を示す図である。

図示のように、モニタ５０には、３次元形状情報から作成される所定の管腔臓器のマップ５１（ここでは、腎盂および腎杯５７の２次元マップ）が表示され、マップ５１内には、腎盂５７ａと、腎杯５７ｂと、尿管５８とが表示される。

そして、画像列５２におけるデフォルトのソート順序（並び順）を上述した実施形態１と同様に設定する（ステップＳ３３）。

その後、ユーザが撮像画像５５を表示したい位置または領域が、図９に示すマップ５１上において１つ以上指定されるのを待つ（ステップＳ３４）。そして、位置または領域が指定されたら、指定された位置または領域をモニタ５０に表示しているマップ５１に重畳表示する。

ここに、図１０は、医療機器システムにおいて、位置または領域が指定されたときのマップ５１の表示例を示す図である。この図１０に示す例では、６つの位置Ａ〜Ｆが指定されているが、領域として指定されても構わない。なお、ユーザからの位置または領域が指定されるタイミングは、その他のタイミングであっても構わない。

次に、内視鏡１０の挿入部を被検体に挿入し、挿入部先端を、被検体の基準位置、ここでは腎盂および腎杯５７における所定の基準位置に接触させた状態で、磁気センサ１３により位置検出を行う（ステップＳ３５）。

そして、磁気センサ１３により検出する位置情報（センサ座標情報）と、３次元形状情報における座標（３次元形状座標）との関連付けを、位置合わせ部２６を用いて算出する（ステップＳ３６）。なお、その他の適宜の技術を利用してセンサ座標情報と３次元形状座標との関連付けを行っても良いことは上述した実施形態１と同様である。

そして、内視鏡１０による管腔臓器内の観察を行い（ステップＳ３７）、レリーズスイッチがオンされたか否かを制御部２４が判定する（ステップＳ３８）。

ここでレリーズスイッチがオンされていないと判定された場合には、ステップＳ３７へ戻って、内視鏡観察を引き続いて行う。

また、ステップＳ３８においてレリーズスイッチがオンされたと判定された場合には、撮像部１２により撮像画像５５を取得すると共に、レリーズスイッチがオンされた時点におけるセンサ座標情報を磁気センサ１３から取得する（ステップＳ３９）。

そして、取得したセンサ座標情報に基づき、位置合わせ部２６が対物光学窓１１の３次元形状座標を算出する（ステップＳ４０）。

また、距離情報取得部２５が、レリーズスイッチがオンされたときの、対物光学窓１１から、被検体における撮像範囲の例えば中心までの距離情報を取得する（ステップＳ４１）。

ステップＳ４０において算出した対物光学窓１１の３次元形状座標と、ステップＳ４１において取得した距離情報と、内視鏡１０の画角情報と、に基づいて、ステップＳ３９において取得した撮像画像５５の３次元形状情報における撮像範囲と、この撮像範囲の例えば中心である撮像位置と、の少なくとも一方（ここでは、例えば両方）を算出する（ステップＳ４２）。

尚、このステップＳ４１，Ｓ４２では距離を算出して撮像範囲や撮像位置を算出したが、距離を算出せずに対物光学窓の３次元形状座標と、内視鏡１０の画角情報とから視野範囲や視野中心線の３次元形状座標を求め、視野範囲や視野中心線が３次元画像情報と交わる部分を撮像範囲や撮像位置として算出しても良い。

そして、画像処理部２１により画像処理された撮像画像５５と、撮像位置算出部２７により算出された撮像位置・撮像範囲と、距離情報取得部２５により取得された距離情報と、を関連付けて撮像情報記憶部２２に保存する（ステップＳ４３）。

制御部２４は、ステップＳ３４において指定された位置または領域に撮像範囲の少なくとも一部が重なる撮像画像５５を、撮像情報記憶部２２に記憶されている撮像画像５５の中から検索する（ステップＳ４４）。

そして、制御部２４は、図１１に示すような表示を行う（ステップＳ４５）。ここに図１１は、医療機器システムにおいて、指定された位置または領域毎の撮像画像５５がマップ５１と共にモニタ５０に表示される例を示す図である。

図示のように、モニタ５０には、３次元形状情報から作成される所定の管腔臓器（ここでは腎盂および腎杯５７）のマップ５１と、画像列５２とが、例えば左右に隣接して表示される。

ここに、図１１に表示されるマップ５１は、図１０に示したマップ５１と同様の、指定された位置Ａ〜Ｆが表示されているマップである。

また、画像列５２は、指定された位置Ａ〜Ｆ毎に、指定位置を撮像範囲に含む撮像画像５５を撮像情報記憶部２２から取得して、取得した撮像画像５５を上述した所定の基準に基づくソート順に並べて、一覧表示したものである。

ここに所定の基準は、本実施形態のような腎盂および腎杯５７の場合には、上述した例の他に、さらに腎盂および腎杯５７の孔部の大きさなどを採用しても良い。このときには、撮像画像５５上の対象物（所定の特徴部位）の大きさ情報として、孔部の大きさ情報を取得することになる。なお、撮像画像５５上の対象物（所定の特徴部位）の大きさ情報として、さらに、例えば小腎杯５７ｃや結石などの大きさ情報を取得して、撮像画像５５に関連付けて撮像情報記憶部２２に保存し、画像を並べて表示する際の所定の基準としても構わない。

これらの撮像画像５５には、例えば、小腎杯５７ｃが写っている。また、画像処理部２１は、制御部２４の制御に基づいて、複数の内の何れかの位置または領域に重なる撮像位置情報がない場合には、画像列５２を表示する表示領域に撮像画像５５が存在しないことを示唆する示唆情報５９を重畳する。ここでは、指定された位置Ｄに撮像範囲が重なる撮像画像５５が存在しないために、その旨の示唆情報５９として、例えば「Ｎｏ ｄａｔａ」を表示することにより、撮像画像５５が存在しないことを一目で容易に把握することができるようにしている。

この図１１に示されている例においては、ユーザは、各位置Ａ〜Ｆに係る撮像画像５５に表示されている特徴から、以下のような判断や選択を行うことができる。

まず、位置Ａ〜Ｃの各画像列５２は、複数の小腎杯５７ｃを俯瞰した画像を含んでいる。

また、位置Ｄについては、撮像画像５５が取得されていない。

さらに、位置Ｅの画像列５２は、近い位置から小腎杯５７ｃを撮像した画像と、遠い位置から小腎杯５７ｃを撮像した画像と、が取得されている。

そして、位置Ｆの画像列５２は、複数の小腎杯５７ｃを俯瞰した画像と、それぞれの小腎杯５７ｃを近接位置で観察した画像と、を含んでいる。

従って、内視鏡１０による観察中の場合には、例えば、位置Ａ〜Ｃについては、それぞれの小腎杯５７ｃの近接画像を追加で取得する判断をユーザが行うことが可能であり、また、位置Ｄについては、小腎杯５７ｃの観察漏れが発生しているとして小腎杯５７ｃの画像を取得する判断をユーザが行うことが可能となる。

一方、内視鏡１０による観察が終了した後であれば、ユーザは、例えば、位置Ａについては３つの小腎杯５７ｃ全体を俯瞰することができている上から２番目の撮像画像５５を診断画像として選択しカルテに残す選択が可能となり、また、位置Ｅについては近接位置で撮像された小腎杯５７ｃの画像のみを診断画像としてカルテに残す選択が可能となる。

続いて、ユーザにより、ソート順序の変更操作がされたか否かを判定し（ステップＳ４６）、変更操作がされたと判定された場合には、変更されたソート順序を設定してから（ステップＳ４７）、上述したステップＳ４５へ行って新たなソート順序による一覧表示を行う。これにより、ユーザは、所望の基準への変更を行って、変更された基準に基づき並び替えられた撮像画像５５を観察することが可能となる。

また、ステップＳ４６において、変更操作がされていないと判定された場合には、観察を終了するか否かを判定し（ステップＳ４８）、終了しないと判定された場合にはステップＳ３７へ戻って上述したような処理を行い、終了すると判定された場合にはこの処理を終える。

このような実施形態２によれば、上述した実施形態１とほぼ同様に、内視鏡１０による観察中に観察状況を振り返って、さらなる画像取得の必要性や腎杯等の観察漏れがないかを判断し、内視鏡１０による観察を終了した後に画像を見直して、指定した位置または領域毎に分類された撮像画像５５の中から、診断を行うのに適切な画像を選択することが可能となる。

そして、３次元形状情報として、被験者自身から取得した３次元画像情報を用いるようにしたために、より精度の高い位置合わせを行い、より正確なマップ５１を表示することが可能となる。

なお、上述では主として医療機器システムについて説明したが、医療機器システムを上述したように作動させる作動方法であっても良いし、コンピュータに医療機器システムを上述したように作動させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１４年１２月１５日に日本国に出願された特願２０１４−２５３２７６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (8)

1. 所定の管腔臓器内の被写体像を撮像した撮像画像と、当該被写体像を撮像した際の撮像位置情報とを関連付けて記憶する撮像情報記憶部と、
   前記所定の管腔臓器内の被写体像を結像する対物光学窓と、
   前記被写体像を撮像して撮像画像を取得する撮像部と、
   前記対物光学窓の位置情報を取得する位置情報取得部と、
   前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせする位置合わせ部と、
   前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における当該撮像画像を取得した際の撮像位置情報を算出する撮像位置算出部と、
   前記位置情報取得部で取得した前記位置情報に基づいて、前記３次元形状情報中における前記撮像部による現在の撮像位置または撮像範囲を算出する制御部と、
   前記撮像情報記憶部の記憶結果に基づき、前記制御部によって算出された前記撮像部による現在の撮像位置または撮像範囲に少なくとも一部が重なる前記撮像位置情報を特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から取得し、取得した前記撮像画像を所定の基準に基づき並べた画像列を生成する画像処理部と、
   を有することを特徴とする医療機器システム。
2. 前記３次元形状情報中の所定の位置または領域を指定する指定部をさらに備え、
   前記画像処理部は、前記指定部によって指定された前記３次元形状情報中の所定の位置または領域に少なくとも一部が重なる前記撮像位置情報を特定し、当該撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から取得し、取得した前記撮像画像を所定の基準に基づき並べた画像列を生成することを特徴とする請求項１に記載の医療機器システム。
3. 前記医療機器システムは、前記対物光学窓と前記撮像部とを有する内視鏡を含み、
   前記画像処理部は、前記内視鏡による観察中は、前記撮像部による現在の撮像位置または撮像範囲に少なくとも一部が重なる前記撮像位置情報を特定し、前記内視鏡による観察終了後は、前記指定部によって指定された前記３次元形状情報中の所定の位置または領域に少なくとも一部が重なる前記撮像位置情報を特定することを特徴とする請求項２に記載の医療機器システム。
4. 前記指定部は、前記位置または領域を複数指定可能に構成されており、
   前記画像処理部は、前記指定部によって指定された複数の前記位置または領域毎に前記画像列を表示する表示領域を生成することを特徴とする請求項２に記載の医療機器システム。
5. 前記画像処理部は、複数の内の何れかの前記位置または領域に重なる前記撮像位置情報がない場合には、前記表示領域に前記撮像画像が存在しないことを示唆する示唆情報を重畳することを特徴とする請求項４に記載の医療機器システム。
6. 前記撮像位置情報は、前記３次元形状情報中における撮像範囲に関する情報を含むことを特徴とする請求項１に記載の医療機器システム。
7. 前記所定の基準は、前記対物光学窓から前記所定の管腔臓器までの距離、被写体の特定位置から前記撮像位置情報で示される位置までの距離、時系列、前記所定の管腔臓器内の所定の特徴部位の大きさの何れかであり、
   前記画像処理部は、前記所定の基準を複数の基準の中から選択的に変更可能に構成されていることを特徴とする請求項２に記載の医療機器システム。
8. 撮像情報記憶部が、所定の管腔臓器内の被写体像を撮像した撮像画像と、当該被写体像を撮像した際の撮像位置情報とを関連付けて記憶するステップと、
   対物光学窓が、前記所定の管腔臓器内の被写体像を結像するステップと、
   撮像部が、前記被写体像を撮像して撮像画像を取得するステップと、
   位置情報取得部が、前記対物光学窓の位置情報を取得するステップと、
   位置合わせ部が、前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせするステップと、
   撮像位置算出部が、前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における当該撮像画像を取得した際の撮像位置情報を算出するステップと、
   制御部が、前記位置情報取得部で取得した前記位置情報に基づいて、前記３次元形状情報中における前記撮像部による現在の撮像位置または撮像範囲を算出するステップと、
   画像処理部が、前記撮像情報記憶部の記憶結果に基づき、前記制御部によって算出された前記撮像部による現在の撮像位置または撮像範囲に少なくとも一部が重なる前記撮像位置情報を特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から取得し、取得した前記撮像画像を所定の基準に基づき並べた画像列を生成するステップと、
   を有することを特徴とする医療機器システムの作動方法。

Images