JP7140139B2 - 医療撮像システム及びコンピュータプログラム - Google Patents

Description

本開示は、医療撮像システム、医療撮像方法及びコンピュータプログラムに関する。

本明細書における「背景技術」の説明は、本開示の趣旨を概略的に提示することを目的とする。本発明者らの研究は、背景技術の欄に記載されている限りにおいて、その他の点で出願時に先行技術としての資格を有しない可能性がある明細書の側面と同様に、明示又は暗示を問わす本技術に対する先行技術と認めるものではない。

内視鏡検査（医療内視鏡検査や工業用内視鏡検査等）を行う場合、体液（流体）漏出の原因を特定することが問題となる。例えば、医療内視鏡検査の分野では、内出血の原因となる損傷があるのかもしれないし、工業用内視鏡検査では、パイプの破損により流体が漏出しているのかもしれない。

「Contextual Point Matching for Video Stabilization」, Meng, et al., NSF Prism Grant DMS-0928427 「Digital Video Stabilization and Rolling Shutter Correction Using Gyroscopes」, Karpenko et al., Stanford Tech Report CTSR 2011-03. 「Video Stabilization Based on a 3D Perspective Camera Model」, Zhang et al., Vis Comput DOI 10.1007/s00371-009-0310-z

漏出の原因を発見することは、損傷や破損の程度によっては緊急を要する。したがって、本開示の目的は、内視鏡検査における漏出の原因の発見を支援することである。

さらに、多くの異物が内視鏡検査環境に存在する場合、当該異物の存在を判定し、その正体を特定するのが望ましい。本開示の他の目的は、内視鏡検査における異物の存在の判定及びその正体の特定を支援することである。

医療撮像システムは、少なくとも１つの加熱パターン要素を物質に適用して上記物質を局所的に加熱するように構成された加熱素子と、上記加熱パターン要素を適用してから所定時間経過後に、上記加熱された物質の位置を取得するように構成されたセンサと、上記所定時間経過後の上記加熱された物質の上記取得した位置に基づいて、上記加熱された物質に適用された上記加熱パターンの変化を測定するように構成された回路とを含む。

上述の段落は、概略的な紹介として提供されたものであり、添付の特許請求の範囲を限定することを意図するものではない。本開示の実施形態は、さらなる利点と共に、添付の図面とあわせて以下の詳細な説明を参照することにより、最もよく理解されよう。

本開示及びその付随する利点の多くは、添付の図面とあわせて以下の詳細な説明を参照することで理解が深まり、より完全かつ容易に理解されよう。

内視鏡手術システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の実施形態に係る加熱パターンを示す図である。 本開示の実施形態に係る加熱パターンを示す図である。 本開示の実施形態に係る加熱パターンを示す図である。 図１又は２の記憶装置に記憶されている表を示す図である。 物質の動きを概略的に示す図である。 物質の移動及び分散を概略的に示す図である。 物質の移動及び分散を概略的に示す図である。 物質の移動及び分散を概略的に示す図である。 物質の移動及び分散を概略的に示す図である。 物質の移動及び分散を概略的に示す図である。 物質の動きの別の表現を示す図である。 物質の動きの別の表現を示す図である。 物質の分散の別の表現を示す図である。 本開示の実施形態を説明するフローチャートを示す図である。 本開示の実施形態を説明するフローチャートを示す図である。 流体の流れの発生源の特定を説明する概略図を示す。 流体の流れの発生源の特定を説明する概略図を示す。 本開示の別の実施形態を説明する概略図である。 内視鏡画像に適用することができる注釈を示す。 内視鏡画像に適用することができる注釈を示す。 内視鏡画像に適用することができる注釈を示す。 加熱パターンを用いた物質の識別を説明する概略図を示す。 加熱パターンを用いた物質の識別を説明する概略図を示す。 加熱パターンを用いた物質の識別を説明する概略図を示す。 本開示の実施形態に係る注釈画像を説明する概略図を示す。 本開示の実施形態に係る注釈画像を説明する概略図を示す。 本開示の実施形態に係る注釈画像を説明する概略図を示す。

なお、各図において、同一の又は対応する部分には、同様の参照符号が付されている。

４．応用例
＜＜４．応用例＞＞
本開示の一実施形態に係る技術は、様々な製品へ応用することができる。例えば、本開示の一実施形態に係る技術は、内視鏡手術システム、外科用顕微鏡検査若しくは医療撮像システム、又はパイプ若しくはチューブの敷設若しくは故障の発見における他の種類の工業用内視鏡検査に適用されてもよい。

図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。この光の例としては、垂直共振器面発光レーザによって提供されるレーザ光や任意の種類のレーザ光が挙げられるが、これらに限定されない。あるいは、又はさらに、当該光は赤外（ＩＲ）光であってもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。光源は、ある領域に加熱パターンを適用してもよい。この加熱パターンについては、図３Ａ～Ｃを参照して後述する。諸実施形態において、光源装置５０４３は、電磁スペクトルの可視部分の光を生成することができ、電磁スペクトルの赤外部分の光を生成することもある垂直共振器面発光レーザ（ＶＣＳＥＬ）である。この点について、光源装置５０４３は、当該領域を照らす可視光源としても作用し得る。光源装置５０４３は、光のパターンを生成するように構成される。このパターンを図３Ａ～Ｃに示す。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示の一実施形態に係る技術は、以上説明した構成のうち、ＣＣＵ５０３９に好適に適用され得る。具体的には、本開示の一実施形態に係る技術は、内視鏡検査システム、手術用顕微鏡検査又は医療撮像に適用される。これらの分野に本開示の一実施形態に係る技術を適用することにより、切り傷等の漏洩原因を発見することができる。これにより、手術中の患者の安全に対するリスクが軽減される。さらに、異物を識別して外科医に提示することができる。これは、生検を行い得る癌性物質の診断に役立つ。これにより、癌の検出率が向上する。

一般に、患者に付与される光パターンは、光から形成される１つ以上のパターン要素を含む。これらパターン要素は、所定の形状及び互いに相対的な位置を有する光の別個の部分として定義される。

図３Ａを参照すると、第１の光パターン４００Ａが示されている。具体的には、第１の光パターン４００Ａは、ドットであるパターン要素４０５Ａからなる。これらドットは、定義済みの直径４０８Ａを有し、垂直方向における中心間距離が４０７Ａ、水平方向における中心間距離が４０６Ａで示される。細い血管系から大きな動脈までの解像度を得るための典型的なドット間隔は、１００μｍから５ｍｍとなるであろう。適切なドット直径は、当該ドット間隔の１０分の１から４分の１となるであろう。

図３Ｂを参照すると、第２の光パターン４００Ｂが示されている。具体的には、第２の光パターン４００Ｂは、パターン要素４０５Ｂを含む。この例において、パターン要素４０５Ｂは、水平バーである。当該バーは、垂直に配置されてもよいし、斜めに配置されてもよいことは言うまでもない。バーの長さは４０８Ｂと定義されており、垂直方向における中心間距離は、４０７Ｂで示される。各バーの厚さは、４０６Ｂとして示されている。直線状の各バー内の光強度は、当該バーの長さ方向及び／又は幅方向に均一であってもよい。あるいは、光強度は、当該バーの長さ方向又は幅方向において変化してもよい。例えば、光強度は、当該バーの長さ方向及び／又は幅方向に正弦波状であってもよい。

図３Ｃを参入すると、第３の光パターン４００Ｃが示されている。具体的には、第３の光パターン４００Ｃは、定義された周期を有する正弦波形状のバーであるパターン要素４０５Ｃを含む。正弦波形状のバーは、定義された周期４０８Ｃを有し、垂直方向の中心間距離は４０７Ｃで示される。各バーの厚さは、４０６Ｃで示される。

使用する光のパターンの形状は、内視鏡操作者又はＣＣＵ５０３９によって決定されてもよい。パターンの形状に影響を与える要因には、加熱する領域のサイズ、加熱される領域の形状、及び／又は物質に加えられる熱の量が含まれる。

具体的には、一例では、高レベルの加熱を必要とする物質について、図３Ｂのパターンを選択してもよい。これは、物質に付与される光の量が図３Ａのパターンより多いからである。加熱される物質の形状等の他の要因も、使用するパターンの決定に影響を及ぼし得る。

光パターンを生成するために、光源装置５０４７は、要素アレイを含んでもよい。各要素は、対応するパターン要素を生成する。例えば、光源装置５０４７ は、ＶＣＳＥＬアレイに構造的分布を有するＶＣＳＥＬ要素を含んでもよい。

光源装置５０４７は、光源装置５０４７からの投射光に必要なパターンを付与するために、光源３１５上に重ねられた回折光学素子を含んでもよい。

光源装置５０４７は、光源装置５０４７から放出された光を変調し、変調した光をＭＥＭＳミラーを使用して方向付けることによって、患者に付与されたパターンをスキャンすることができる。

光源装置５０４７の目的は、局所領域に熱を供給することである。これは、パターン要素に赤外線を照射することで実現される。パターン要素のサイズ及び形状はあらかじめ決定されており、これにより、加熱する局所領域が明確になる。

パターン要素のサイズ及び形状が決定されると、赤外線の強度及び赤外線が患者に照射される時間によって局所領域に加えられる熱が決定される。赤外線が照射される所与の物質について、決定した熱量に対応する分だけ、物質の温度を上昇させる。物質の加熱領域のサイズと動きを追跡することにより、物質の変位、さらには物質自体を決定することができる。

後述するように、赤外線のパターン、照射する赤外光の強度及び持続時間、並びに赤外光が照射される物質は、図５に示すような表に記憶されている。

図４を参照すると、表５００が示されている。表５００は、諸実施形態において、ＣＣＵ５０３９内の記憶装置に記憶されている。表５００は、記憶装置の代わりに、ネットワーク上の場所に記憶されてもよいことは言うまでもない。

表５００には、第１、第２及び第３のパターンの詳細がそれぞれ記憶されている。これらは、列５０２に記憶されている。各パターンに関連付けられているは、物質の列５０４である。これら物質は、患者内で発見されたものである。患者内で発見された３つの物質（血液、筋肉、器官）が物質の列に列挙されているが、これより多くの又は少ない物質を定義してもよい。また、患者内で発見される他のカテゴリーの物質を定義してもよい。例えば、異なる器官、軟骨、腱等を定義してもよい。

表５００は、物質上で熱を検出しなければならない時間である列５０６も含む。これにより、当該期間にわたる物質の変位を測定することができる。本例の場合、列５０６に含まれるのは、物質の変位を追跡する１秒、２秒又は３秒の選択である。勿論、列５０６に記載されているものより長い、短い、又は異なる時間が想定される。

この表は、加える熱の強度を示す列５０８を含む。この強度は、熱を加える領域によって変化する。患者内における敏感な領域では、物質への損傷を避けるために、低度の熱がより適切である。しかし、動きの影響を受ける領域では、高度の熱が適切である可能性があり、移動の影響を低減させるために当該物質の非常に特異的な領域に短時間にわたって熱が加えられる。

この表は、持続時間を示す列５１０を含む。この列は、物質に所望の強度及びパターンで赤外光（熱）が照射される持続時間を示す。内視鏡操作者はパターン、物質、変位の追跡時間及び強度を選択し、当該ユーザ選択された基準に基づいて、赤外光（熱）を物質に照射しなければならない正しい期間を選択することが想定される。その後、ＣＣＵ５０３９は、適切なパターン、所望の強度及び適切な持続時間で物質に赤外光を照射するよう光源装置５０４７を制御する。

表５００には示されていないが、単位時間当たりの流れが当該物質と関連付けて記憶されることが想定される。この値は、物質が血液である場合に特に有用である。具体的には、諸実施形態において、当該単位時間当たりの流れは、血液と関連付けて記憶され、人体のある部分における単位サイズの切り傷から流れた単位時間当たりの血液の移動量を示す。これは、患者のある部分における切り傷からの血流量が、所与のサイズの切り傷について患者間で一定だからである。言い換えれば、患者のある部分における切り傷からの血流量は、切り傷の単位面積当たり、（より大きな動脈に切り傷ができない限り）患者間で一定であるのが一般的である。後述するように、この流量値は、切り傷の原因を究明するために用いられる。

勿論、上記では血液の流量について説明しているが本開示はこれに限定されず、医療分野又は工業分野のいずれにおいても任意の流体に適用することができる。表５００は製造時にあらかじめ入力され、各時間は臨床試験中に決定されることが想定される。

図５に示す表は、単一パルスの赤外光に対するものである。しかし、赤外光は一定の間隔でパルス化されることが想定される。例えば、物質が静止している場合、赤外光のパルス間隔は、物質が急速に移動している場合よりも長くてもよい。これは、物質の動きが大きいと、物質の変位も大きいからである。したがって、パルス間隔は、物質の動きに応じて選択してもよい。例えば、内視鏡操作者が患者内の大きな切り傷（血液が急速に流れる）の場所を特定したい場合、連続パルスの間隔は、１００ｍｓに設定してもよい。しかし、内視鏡操作者が患者内の非常に小さい切り傷（血液が非常にゆっくり流れる）の発生源を発見したい場合、連続パルスの間隔は、３００ｍｓに設定してもよい。

上記では、内視鏡操作者がパルス間隔を選択することを説明しているが、本開示はこれに限定されない。例えば、ＣＣＵ５０３９を用いて、連続パルスの間隔を自動的に決定してもよい。

ここで、いくつかの例示的な実施形態について説明する。

まず、物質上の加熱領域が移動する場合について説明する。このようなケースは、例えば、呼吸中の器官において生じる。次に、物質が移動し、移動してさらに分散する場合について説明する。このようなケースは、例えば、切り傷が生じ、切り傷からの血流を追跡するときに生じる。

図４を参照すると、加熱した物質の動きが示されている。具体的には、図５の図では、時間ｔ＝０において、第１の赤外光パターン４００Ａが物質に照射される。例えば、第１の赤外光パターン４００Ａは、１５０ｍｓの間、高い強度で物質に照射される。これにより、特定の温度まで物質が加熱される。ＣＣＵ５０３９は、撮像部５００９内の赤外画像センサを用いて、この時点における加熱物質を撮像する。

時間ｔ＝１００ｍｓにおいて、物質の加熱領域は、実践の円で識別される新たな位置６０５Ａに移動する。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

同様に、時間ｔ＝２００ｍｓにおいて、物質の加熱領域は、実践の円で識別される新たな位置６０５Ｂに移動する。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

時間ｔ＝３００ｍｓにおいて、物質の加熱領域は、実践の円で識別される新たな位置６０５Ｃに移動する。さらに、光源装置５０４７は、１５０ｍｓの間、元の位置ある物質に高い強度で第１のパターン４００Ａを再照射する。言い換えれば、元の位置にある物質は、所望の温度に加熱される。このことは、図５において６０５Ｃ’として示されている。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

時間ｔ＝４００ｍｓでは、加熱物質の第１の領域は６０５Ｄに移動し、加熱物質の第２（後の）の領域は６０５Ｄ’に移動する。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

画像は１００ｍｓ毎に撮影される。図７は、図５に示す時間ｔ＝０、１００ｍｓ、２００ｍｓ及び３００ｍｓにおける加熱物質の中心位置を示す。図８は、これらの位置を接続線で示す。図８から明らかなように、赤外画像を周期的（この場合、１００ｍｓ毎）に撮影すると、接続線は加熱物質の移動方向を示すことになる。

図６を参照して、物質が移動して分散する第２のケースの説明に戻る。図６Ａには、分散していない加熱物質の移動が示されている。これは図５、７及び８の説明と同様なので、簡潔にするためにこれ以上の説明は行わない。

図６Ｂでは、加熱物質は移動しないが、その代わりに分散している。このような挙動は、わずかな出血（孔によるものな等）がある場合に見られる。言い換えれば、その穴から流れる血液の量が少ないため、切り傷から流れる代わりに、切り傷の周りに溜まるのである。具体的には、図６Ｂでは、時間ｔ＝０で第１の赤外光パターン４００Ａが物質に照射される。例えば、 第１の赤外光パターン４００Ａは、１５０ｍｓの間、高い強度で物質に照射される。これにより、物質は特定の温度にまで加熱される。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

時間ｔ＝１００ｍｓにおいて、加熱物質は元の位置の周囲に分散する。言い換えれば、加熱物質は移動しなかったが、元の加熱位置の周囲に分散したのである。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

同様に、時間ｔ＝２００ｍｓにおいて、加熱物質は元の位置の周囲に分散し続ける。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

図６Ｃには、移動及び分散する加熱物質を示す簡略図が示されている。このような挙動は、大出血（haemorrhage）がある場合に見られる。言い換えれば、出血により流れる血液の量は多いので、血液は移動し、同時に分散する。

図６Ｃでは、時間ｔ＝０において、第１の赤外光パターン４００Ａが物質に照射される。例えば、第１の赤外光パターン４００Ａは、１５０ｍｓの間、高い強度で物質に照射される。これにより、物質は特定の温度にまで加熱される。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

時間ｔ＝１００ｍｓにおいて、加熱物質は移動線７００Ｃに沿って移動し、分散している。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

時間ｔ＝２００ｍｓにおいて、加熱物質は移動線７００Ｃに沿って再び移動し、分散している。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

時間ｔ＝３００ｍｓにおいて、加熱物質は移動線７００Ｃに沿ってさらに移動し、分散している。ＣＣＵ５０３９は、赤外画像センサを用いて、この時点における加熱物質を撮像する。

図６Ｃに描かれた矢印から、加熱物質の経路が分かる。図６Ｃは、加熱物質の流れを追跡する簡略図を示すが、図９は、加熱物質の流れのより現実的な図を示す。具体的には、図６は、所与の瞬間における加熱物質の明確な円を示すが、実際には、加熱物質は連続体となる。これを図９に示す。図９では、ｔ＝０、１００、２００及び３００ｍｓの各時点における加熱物質の分散を示す。

図６Ｄは、時間ｔ＝０ｍｓ、ｔ＝１００ｍｓ、ｔ＝２００ｍｓ及びｔ＝３００ｍｓにおける別の簡略図を示す。図から分かるように、領域に加熱パターンが適用され、元の位置から血液が分散し始めると、血流は矢印の方向に沿って広がる。これは血流の方向を示しており、そこから切り傷又は漏出の原因が発見される可能性がある。

図６Ｅは、加熱パターンの適用により、どのように血溜まりの深さが変化するかを説明する簡略図を示す。特に、図６Ｅにおいて、血溜まりの側面図７００Ｅは、血溜まりが形成された組織のトポロジーを示す。この図から分かるように、血溜まりは、一端７０１Ｅでは非常に浅く、中央７０２Ｅでは深く、第２端７０３Ｅではわすかに浅い。

加熱パターンを適用し、適用直後に赤外センサで撮像すると、第２端７０３Ｅにおけるドットのサイズと比較して、より浅い一端７０１Ｅにおけるドットのサイズの方が大きいことが分かる。中央のドットのサイズが最も小さい。このサイズの違いは、各位置の血液の深さによるものである。血液が深いほど、より多くの熱が放散される。

各位置における加熱パターンの相対的なサイズを識別することで、各位置における血溜まりの深さを識別することができ、血溜まり下における組織の微細構造を確立することができる。

内視鏡から赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）及び青（Ｂｌｕｅ）、すなわち、ＲＧＢの値を取得するイメージセンサに赤外センサが追加され、赤外センサにおける各ピクセルはＲＧＢイメージセンサにおけるピクセルに該当するので、血流の方向が分かったら、ＣＣＵは取得したＲＧＢ画像に血流の方向付きの注釈を付けることが理解されよう。言い換えれば、撮像されたＲＧＢ画像と、ＩＲセンサにより撮像された画像から確立された注釈との組み合わせに基づいて、合成画像が形成される。

これらの注釈は、血溜まりの相対的な深さ及び 血溜まり下の組織の微細構造を含んでもよい。これは外科医にとって有用な情報であるため、ＲＧＢ画像に注釈として付してもよい。

図１０は、本開示の実施形態の動作を説明するフロー図１１００を示す。処理はステップ１１０５から開始する。

ステップ１１１０において、物質を加熱するための赤外光のパターンを決定する。この決定は、例えば、物質の形状や物質が加熱される量に基づいて、内視鏡操作者又はＣＣＵ５０３９により行われてもよい。

ステップ１１１５において、連続パルス間の時間を決定する。光の連続パルス間の時間が決定される。上述のように、当該時間は、例えば、物質の移動速度によって決定してもよい。

ステップ１１２０において、物質の最初の画像を撮像する。撮像された最初の画像は、赤外光の領域にある。言い換えれば、赤外光パルスを最初に印加する直前の物質の熱プロファイルを撮像する。これにより、後述するように、加熱物質の流れを確立するための基準画像が得られる。

ステップ１１２５において、決定したパターンを用いた光パルスを物質に適用する。

ステップ１１３０において、物質の画像を撮像する。撮像された画像は、赤外光の領域にある。言い換えれば、赤外光パルスを印加する（ほぼ）直前の物質の熱プロファイルを撮像する。これにより、後述するように、加熱物質の流れを確立するための基準画像が得られる。このようにして、赤外光パルスを印加したときの物質の熱プロファイルが得られる。この処理を最初に実施するときは、当該画像は時間ｔ＝０で撮像される。ステップ１１３０で撮像された画像に一意の識別子が適用され、これにより、他の光パルスから当該光パルスが一意に識別される。

ステップ１１３５において、血流を決定する。勿論、本開示は血流の決定に限定されず、漏洩により生じるあらゆる流体が想定される。

血流は、熱画像に対して背景減算アルゴリズムを用い、物質に光パルス印加した直後に（すなわち、ステップ１１３０で）撮像した画像から物質に光パルスを印加する直前に（すなわち、ステップ１１２０で）撮像した最初の画像の熱プロファイルを減算することにより、決定される。差分画像を用いて、最初の血流を決定する。

減算アルゴリズムの適用に先立ち、赤外画像のピクセルの平均移動法等の公知の技術を用いて、手振れを補正する。これにより、連続して撮像された画像間の違いが、手振れではなく血流によって生じたことが保証される。

図９に示す処理を最初に実施するときには、ステップ１１２０とステップ１１３０との間の時間が短いため、血流量は非常に少ないであろう。

しかし、ステップ１１４０において、内視鏡操作者及び／又は外科医が見る画像には、後述するように、注釈がつけられる。

ステップ１１４５において、ＣＣＵ５０３９は、図４を参照して説明したように、前回の光パルス印加からの経過時間が連続パルス間の所定の時間に達したか否かを判定する。経過時間が所定の時間に達していない場合、「ＮＯ」の経路を辿る。一方、経過時間が所定時間に達した場合、「ＹＥＳ」の経路を辿る。

ステップ１１５０において、切り傷の位置が発見されたか否かを判定する。これについては後述する。

当該位置が発見されなかった場合、「ＮＯ」の経路を辿り、処理はステップ１１２５に戻る。

ステップ１１２５を２度目に実施するときは、物質に第２の光パルスを印加する。この繰り返し処理では、前回のパルスが印加されてから１００ｍｓ後に光パルスを印加する。

ステップ１１３０を二度目に実施するときは、物質の画像を撮像する。撮像された画像は、赤外光の領域にある。言い換えれば、第２の赤外光パルスを印加する（ほぼ）直前の物質の熱プロファイルを撮像する。この処理を２度目に実施するときは、当該画像は時間ｔ＝１００で撮像される。ステップ１１３０で撮像された画像に一意の識別子が適用され、これにより、他の光パルスから当該光パルスが一意に識別される。

ステップ１１３５を二度目に実施するときは、二度目のステップ１１２５で物質にパルスを印加した直後に撮像された画像から一度目のステップ１１３０で撮像された画像の熱プロファイルを減算することにより、画像に対し背景減算を実施する。差分画像を用いて、直近の１００ｍｓの血流を決定する。

具体的には、二度目のステップ１１３０で撮像した画像は、二度目のステップ１１２５で印加された光パルスによる加熱物質と、一度目の加熱物質の流れとを含む。したがって、図９に示すように、例えば、その１００ｍｓにおける血液の移動分散距離は、加熱物質の移動距離と加熱物質の分散量及び分散形状とを検出することで決定される。

一度目の処理と同様の方法で、ステップ１１４０において、内視鏡操作者及び／又は外科医に向けて表示する画像に注釈を付ける。

処理は再びステップ１１４５に進み、ＣＣＵ５０３９は、図４を参照して説明したように、前回の光パルス印加からの経過時間が連続パルス間の所定の時間に達したか否かを判定する。経過時間が所定の時間に達していない場合、「ＮＯ」の経路を辿る。一方、経過時間が所定時間に達した場合、「ＹＥＳ」の経路を辿る。

切り傷の位置が発見されたか否かを判定する。これについては後述する。

当該位置が発見されなかった場合、「ＮＯ」の経路を辿り、処理はステップ１１２５に戻り、三度目の処理が行われる。その後、当該処理は、ステップ１１５０で切り傷の原因が発見されるまで継続される。

ステップ１１５０において切り傷の原因が発見された場合、「ＹＥＳ」の経路を辿り、ステップ１１５５において、 内視鏡操作者及び／又は外科医に向けて表示する画像に注釈を付ける。その後、当該処理は、ステップ１１６０で終了する。

図１１及び１２を参照して、切り傷の位置を決定する（ステップ１１５０）ための処理１２００について説明する。

処理１２００は、ステップ１２０５で開始する。当該処理は、ステップ１２１０に進み、各パターン要素４０５Ａ～４０５Ｃについての血流が経時的に決定される。言い換えれば、最初の画像以来の各パターン要素４０５Ａ～４０５Ｃについての血流が決定される。いくつかの実施形態では、当該血流は、例えば、図１０のステップ１１３５における増分移動を用いたカルマンフィルターにより経時的に血流の動きをモデル化することにより決定される。いくつかの実施形態では、切り傷が生じる組織の微細構造により、熱拡散速度が変化する可能性がある。この場合、微細構造における差異を解消するために、任意の記憶されたパターンの速度及び方向を粗く選択してもよい。さらに又はあるいは、多くの一般的なパターンを記憶してもよく、一連の一般的なパターンの重み付けにより個々のパターンを構築することができる。

図１２の例では、切り傷１３１０の領域が示されている。図１２に見られるように、血流１３００は、図１０を参照して説明した技術を用いて確立される。具体的には、加熱された血液の動きが図１０に示す処理の反復中に追跡され、結果として生じる図１２に示す血液の動きが確立される。例えば、図１０に示す処理の一度目の実施中に、加熱パターンを血液に適用し、点線の境界１３０５Ａ及び１３０５Ｂで示す円形領域にある物質が加熱される。当該処理を二度目に実施する間に、一度目の実施で加熱された物質が点線の境界１３１０Ａ及び１３１０Ｂに移動し、点線領域１３０５Ａ及び１３０５Ｂにある血液に加熱パターンが適用され、点線の境界１３０５Ａ及び１３０５Ｂ内の円で画定される血液が局所的に加熱される。

図１０に示す処理を繰り返し実施する間、血流を追跡することができる。

その後、処理はステップ１２１５に進み、血流（切り傷）の発生源が推定される。血流を所定の期間又は所定の回数分析することにより、発生源を推定することができる。図１２から分かるように、切り傷の領域１３１０は、当該切り傷から流出する血液を有する。切り傷の典型的な特徴は、（この例のように）血液の動きが切り傷から離れる（壊れた組織が周囲の組織より多い）切り傷の領域から血液が流出するか、（壊れた組織が周囲の組織よりも少ない）切り傷に血液が流入し溜まることである。このことを、図１３に強調して示す。図１３において、繰り返し処理における血流１３００のＸ－Ｘ’線及びＹ－Ｙ’線に沿った断面を、それぞれ１４００及び１４０５で示す。したがって、当該流体の流れ（動き）を決定することにより、血液の発生源、本例の場合、切り傷を発見することができる。

処理はステップ１２２０に進み、画像に注釈を付け、血流源の位置を特定する。これは、外科医/内視鏡操作者が迅速に切り傷の位置、すなわち、血流源を確定するのに役立つ。

処理は、ステップ１２２５で終了する。

撮像面におけるパターン要素の移動を経時的に追跡するために、動き補償を実行することが想定される。これは、観察画像の外観に対する内視鏡の動きへの影響を軽減するためである。パターン要素が血流等の影響を受けて移動する撮像画像を揃えるために、両センサの光学系が一直線上にあり、かつ、類似していれば、カメラから取得した可視データに基づいて適切な変換を算出することができる。これを実行するには様々な演算を利用することができるが、その複雑さやタイムスケールは様々である。

［画像マッチングを用いた映像安定化］。この処理では、隣接する画像を相互に比較して、これらの対応関係を最もよく説明する画像のグローバル変換（Ｘ及びＹの変位、回転、拡大縮小）を見出し、それ自体が移動した要素を無視して、（例えばアフィン変換を用いて）画像を変換して当該画像のグローバルアライメントを実行する。画像間の対応関係を生成するために一致点を見つける手段に基づいて、異なる方法を利用することができる。

このことは、非特許文献１において説明されており、その内容が参照により本明細書に援用される。

［加速度計及びジャイロスコープを用いた映像安定化］。この場合、３軸加速度計及び／又はジャイロスコープ（簡略化のためどちらも図示せず）は、イメージセンサと同一場所に設置され、画像を揃えるために、それらの測定値を用いて短期間に画像を変換する。当該方法は、「ローリングシャッター」カメラによる歪みを補正するのにも使用される。このことは非特許文献２において説明されており、その内容が参照により本明細書に援用される。

より複雑な演算は、モーションアルゴリズムに基づいて構造から深度マップを生成しようとする。これを用いて、（生成された３Ｄシーンの新しいビューを取得することで）カメラの視点をわずかに変化させる投影を取得すると、画像シーケンス中においてカメラが動いていないかのように短い一連の画像を安定化することができる。これは非特許文献３において説明されており、その内容が参照により本明細書に援用される。

より長時間安定化するためには、一連の画像を通して滑らかな経路生成が必要となる。しかし、ＳＬＵは数秒で分散してしまうので、この要件に適用することはできない。適切な安定化の例は、「マイクロソフト・ハイパーラプス（Microsoft (R) Hyperlapse (R)）」である。

図１４は、パターン要素を用いて特定の領域、例えば、流体の流出源（例えば、切り傷）に対する内視鏡のオートフォーカスを改善する本開示の別の実施形態を示す。特に、第１のパターンは、波上の組織の２つの領域に向けられた１５００で示されている。第１の領域１５０５では、パターン要素がほぼ同じサイズであり、中心パターンのパターン要素は周囲のパターン要素より大きい。これは、中心パターンが周囲のパターン要素よりも内視鏡に近いことを示す。逆に、第２の領域１５１０では、中心パターンのパターン要素は、周囲のパターン要素よりも小さい。これは、中心パターンが周囲のパターン要素よりも内視鏡から遠いことを示す。

したがって、レンズの焦点を繰り返し調整し、パターン要素のシャープネスを評価することで、レンズの焦点を自動的に合わせることができる。

図１５Ａ～１５Ｃは、内視鏡画像に適用することができる注釈を示す。具体的には、図１５Ａには、 内視鏡操作者又は外科医を支援する注釈のない内視鏡画像が示されている。図１５Ｂには、血流の注釈を含む 内視鏡画像が示されている。これは、典型的には、図１０に示すステップ１１４０からの出力である。図１５Ｃでは、血流及び流出源（例えば、切り傷）の注釈を含む内視鏡画像が示されている。この場合、血流が示されるだけでなく、切り傷も示される。勿論、血流なしに切り傷を示すことも想定される。

［物質の識別］
本開示の諸実施形態では、患者内で発見された物質（又は非医療内視鏡検査シナリオの物体）を区別するためにパターン要素を用いることができる。

ミストを見つけるための使用
ミスト上に形成されたパターン要素は、液体や固体に形成されたものよりも均一性が劣る（すなわち、パターン要素自体の形状がそれほど均一でない）可能性がある。また、ミスト粒子は、液体又は固体粒子よりも流動性が高い可能性がある。したがって、ミスト内の熱拡散は、液体又は固体に形成されたパターン要素内の熱拡散とは著しく異なる可能性がある。したがって、物質に付与されたパターン要素の均一性及び／又は加熱物質の熱拡散を分析することで、ミストの存在を確認することができる。

人工物を発見するための使用
内視鏡手術中に、非有機物で作られた物体（例えば、手術用器具）が使用される。これら非有機物が患者内にある有機物に対し異なる熱特性を示す場合、実施形態の方法を用いてそれらを検出することができる。

例えば、静的な液体における熱拡散は、ブラウン運動によって支配され、液体内の全ての方向においてほぼ均一である可能性が高い。しかし、非有機物は、内視鏡画像において典型的にみられる有機物とは異なる熱伝導率を有する可能性が高い。この熱伝導率が十分に異なる場合は、様々な物質を区別することができる。また、他の物質は、熱が伝わる方法に影響する特定の構造（例えば、積層された構造）を有する可能性がある。この構造の熱流（例えば、熱が伝わる方向）を検出し、これを区別要素として使用することができる。熱伝達を検出する技術は、図１０を参照して説明したとおりである。

物質を区別するための使用
図１６Ａを参照すると、内視鏡図２０００が示されている。この図２０００には、静脈２０１０及び２０１５が筋肉２００５と結合して示されている。筋繊維は、矢印２２２０の方向に向けられている。静脈２０１０において、血液は 筋肉２００５に向かって流れる。静脈２０１５において、血液は矢印２０１５１及び矢印２０１５１で示される方向に流れる。

図１６Ｂは、加熱パターンが適用された瞬間（すなわち、ｔ＝０）の図１６Ａの内視鏡図を示す。言い換えれば、図１６Ｂの内視鏡図２０５０は、加熱パターンを適用したときの図１６Ａの内視鏡図を示す。この場合、加熱パターンは、図３Ａに示すものと同様のドット２０５５からなる。

図１６Ｃは、加熱パターンを適用してから一定の時間間隔経過後の図１６Ｂの内視鏡図を示す。図１６Ｃに示す特定の実施形態では、当該時間間隔は１００ｍｓ後である。図１６Ｃから分かるように、筋肉２００５における加熱パターンは、筋繊維の長さに沿って拡散している。さらに、静脈上の加熱パターンは、静脈の長さに沿って拡散している。特に、静脈２０１０の加熱パターンは、筋肉の方向に拡散している。これは、特定の静脈の血流を示す。同様に、静脈２０１５において、加熱パターン２０１５Ａ及び２０１５Ｂは、どちらも筋肉から離れるように拡散している。

なお、その時間間隔における拡散量は、加熱パターンが適用される物質の種類を示す。具体的には、筋肉における拡散量は、静脈における拡散量よりも少ない。これは、筋肉の熱拡散特性が血液の熱拡散特性と異なるからである。この拡散速度は制御回路により測定され、患者内で発見される様々な物質について記憶された拡散値と比較される。これら記憶された値は、臨床試験中に取得され、記憶装置に記憶される。あるいは、当該値は、ネットワークを介して取得される。

測定した拡散速度を臨床試験中に取得した値と比較することにより、加熱パターンが適用された物質の種類を識別することができる。さらに、図１７に例示するように、血液の分散速度も所与の時間に静脈を通過する血液量に応じて変化し得る。例えば、静脈が毛細血管である場合、血液により熱が拡散しないので、血流量、したがって熱拡散は少なくなる。しかし、静脈が実際には、静脈と比較して血流の速度が大きい動脈であった場合、熱が血液により拡散されるため、熱拡散は大きくなる。これにより、外科医に対して切り傷の危険性が示される。切り傷が毛細血管にある場合、患者に対する危険性は低いが、切り傷が動脈にある場合、患者に対する危険性は高い。

また、物質における血流速度を測定することにより、癌及び腫瘍を検出することができる。これは、癌性物質及び腫瘍における血流速度は、非癌性物質と比較して大きいからである。言い換えれば、癌性物質及び腫瘍を通過する血流は、非癌性物質及び非腫瘍を通過する血流よりも多いため、熱拡散の速度は予想よりも早くなる。これは、２つの方法により測定することができる。１つ目の方法では、組織における既知の非癌性部分に加熱パターンを適用して、熱拡散の速度を測定し、当該熱拡散の速度を癌性領域である可能性がある領域における熱拡散の速度と比較する。２つ目の方法では、癌性領域である可能性がある領域における熱拡散の速度を記憶値と比較する。

したがって、要約すると、熱拡散の速度を測定し、当該熱拡散の速度を手術若しくは医療措置の前又は手術若しくは医療措置中に取得した記憶済みの基準速度と比較することにより、物質の種類を確定することができる。また、熱拡散の形状から確立される拡散の方向を特定することにより、物質の方向、さらには血流の方向を特定することができる。さらに、熱拡散の速度を測定することにより、組織の領域が癌性であるか否かを判断することができる。

図１７及び図１８は、内視鏡画像に適用することができる例示的な注釈を示す。また、図１９では、内視鏡画像における様々な異物にも注釈を付けることができる。これには、血流の領域、血流の方向、さらには、外科医をその領域に導いて生検等を行わせるために癌性物質である可能性がある物質も含まれ得る。また、その領域に対する血流の量や方向を測定することにより、外科医はそのような生検を実施する際の患者のリスクを知ることになる。

上記では、ＣＣＵ５０３９により実行される図１０及び図１１に示す処理について説明したが、本開示はこれに限定されない。例えば、１つ以上の処理又は処理の一部を、カメラヘッド制御部５０１５が実行してもよい。

上記では、光源をＶＣＳＬとして説明したが、本開示はこれに限定されない。例えば、光源は、赤外スペクトルの光、上述のように赤外及び可視光スペクトルの両方の光、又は可視光スペクトルのみの光を生成してもよい。

上記では物質を局所的に加熱するための熱を供給するものとして光源を説明しているものの、物質を局所的に加熱するための赤外スペクトルの光を供給するために光源を使用してもよい。物質を加熱しない場合、領域を可視光で照らして 内視鏡操作者及び／又は外科医を支援するために光源を使用してもよい。これにより、内視鏡に必要とされる光源の数を減少させることができ、内視鏡装置のサイズ、コスト及び複雑さを低減させることができる。

さらに、光源は、（レーザ光等の）コヒーレントな光又は（発光ダイオードによって生成される光等の）非コヒーレントな光を生成してもよい。光源は、様々なスペクトルの光を生成してもよい。例えば、光源は、人体による吸収率が高い緑色光等の単一波長（又は狭帯域）の光を生成してもよい。あるいは、光源は、様々な色の光について調整されてもよい。この場合、物質による光の吸収が変化すると、当該物質及び光の波長に応じて、物質を所与の量だけ加熱する時間が変化する。そのため、加熱パターン要素を生成するために使用される光の波長を、図４に示す表に記憶してもよい。

上記では、例えば、切り傷の原因を特定することとしたが、本開示はこれに限定されない。組織における血流を決定することにより、ある領域への血液供給が不十分であるか過剰であるかを判断して、組織内の血管分布及び還流も推定することができる。

上記では、内視鏡検査について説明したが、本開示はこれに限定されない。実際、本開示の諸実施形態は、あらゆる種類の外科用装置又は医療撮像装置に適用することができる。その例としては、脳神経外科等での処置や損傷の切除に使用するための外科手術用顕微鏡、子宮鏡検査で使用されるような他の医療撮像装置が挙げられるが、これに限定されない。

本開示の様々な実施形態は、以下に示す番号を付した項によって定義される。

上記の教示に照らして、本開示の様々な修正及び変更が可能であることは明らかである。したがって、添付の特許請求の範囲内で、本明細書に具体的に記載されているものとは別の補法で本開示を実施できることが理解されよう。

ソフトウェア制御データ処理装置によって、少なくとも部分的に本開示の実施形態が実施されるものとして説明されている限りにおいて、そのようなソフトウェアを有する光ディスク、磁気ディスク、半導体メモリ等の非一過性のコンピュータ読取可能な記録媒体が本開示の一実施形態を表すとも考えられることが理解されよう。

明確にするための上記の記載により、異なる機能ユニット、回路及び／又はプロセッサを参照して実施形態が説明されたことが理解されよう。しかし、実施形態から逸脱することなく、異なる機能ユニット、回路及び／又はプロセッサ間において機能を適切に分担して実施してもよいことは明らかである。

説明した実施形態は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む適切な形式で実施してもよい。説明した実施形態は、少なくとも部分的に１つ以上のプロセッサ及び／又はデジタル信号処理装置上で動作するコンピュータソフトウェアとして、選択的に実施してもよい。任意の実施形態における要素及び構成要素は、任意の適切な方法で、物理的、機能的及び論理的に実施してもよい。実際、単一のユニット、複数のユニット又は他の機能ユニットの一部として当該機能を実施することができる。このように、開示された実施形態は、単一のユニットで実施してもよく、あるいは、異なるユニット、回路及び／又はプロセッサ間で物理的及び機能的に分担して実施してもよい。
本開示は、いくつかの実施形態に関連して記載されているが、本明細書に記載の特定の形式に限定することを意図するものではない。さらに、特定の実施形態に関連して特徴を記載しているように見える可能性があるが、当業者であれば、説明した実施形態の様々な特徴を本技術を実施するのに適切な任意の方法で組み合わせてもよいことを認識するであろう。

Claims (20)

1. 複数の加熱パターン要素を備える加熱素子と、
   物質に局所的に加えられる熱量を決定する決定部と、
   前記熱量に基づいて前記複数の加熱パターン要素のうちの少なくとも１つの加熱パターン要素が前記物質に適用されるように前記加熱素子を制御することで、前記物質を局所的に加熱する制御部と、
   前記加熱パターン要素を適用してから所定時間経過後に、前記加熱された物質の画像を取得するように構成された画像センサと、
   前記所定時間経過後に取得された前記物質の画像に基づいて、前記物質における前記局所的に加熱された領域の変化を測定するように構成された回路と、
   少なくとも、赤、緑及び青の色成分を含む内視鏡画像を撮像するためのイメージセンサと、
   を含み、
   前記制御部は、前記加熱素子を所定のパルス間隔で制御することで、前記物質を前記所定のパルス間隔で局所的に加熱し、
   前記制御部は、前記物質の動きが大きいほど前記所定のパルス間隔を狭くする
   医療撮像システム。
2. 請求項１に記載の医療撮像システムであって、
   前記決定部は、前記物質に適用される前記少なくとも１つの加熱パターン要素の形状、サイズ、及び、適用時間のうちの少なくとも１つを決定し、
   前記制御部は、前記決定部により決定された前記少なくとも１つの加熱パターン要素の形状、サイズ、及び、持続時間のうちの前記少なくとも１つに基づいて前記加熱素子を制御することで、前記物質を局所的に加熱する
   医療撮像システム。
3. 請求項１に記載の医療撮像システムであって、
   前記加熱素子は、形状の異なる複数の前記加熱パターン要素を備え、
   前記決定部は、前記形状の異なる複数の加熱パターン要素のなかから前記物質に適用される前記少なくとも１つの加熱パターン要素を決定する
   医療撮像システム。
4. 請求項３に記載の医療撮像システムであって、
   前記複数の加熱パターン要素のうちの形状の同じ加熱パターン要素は、行方向及び／又は列方向に所定の間隔で配置された実質的に同じサイズの加熱パターン要素である
   医療撮像システム。
5. 請求項１に記載の医療撮像システムであって、
   前記加熱素子は、赤外線を放射して前記物質を加熱するように構成される
   医療撮像システム。
6. 請求項５に記載の医療撮像システムであって、
   前記加熱素子は、さらに、可視スペクトルの光を放射するように構成される
   医療撮像システム。
7. 請求項１に記載の医療撮像システムであって、
   前記加熱素子は、レーザ発光装置である
   医療撮像システム。
8. 請求項７に記載の医療撮像システムであって、
   前記加熱素子は、内視鏡装置の先端に配置された垂直共振器面発光レーザである
   医療撮像システム。
9. 請求項１に記載の医療撮像システムであって、
   前記画像センサは、前記所定時間経過前にも、前記加熱された物質の画像を取得するように構成され、
   前記回路は、前記所定時間経過後に取得された画像と前記所定時間経過前に取得された画像とを比較することにより、前記物質の移動を測定するように構成される
   医療撮像システム。
10. 請求項１に記載の医療撮像システムであって、
    前記回路は、前記画像センサにより取得された前記画像に対して画像安定化を適用した後、画像安定化後の前記画像に基づいて前記局所的に加熱された領域の変化を測定する
    医療撮像システム。
11. 請求項１に記載の医療撮像システムであって、
    前記物質は、流体であり、
    前記回路は、所定の時間にわたる前記局所的に加熱された領域の変化に基づいて、前記流体の移動を測定するように構成される
    医療撮像システム。
12. 請求項１１に記載の医療撮像システムであって、
    前記回路は、前記移動に基づいて、前記流体の発生源を特定する
    医療撮像システム。
13. 請求項１に記載の医療撮像システムであって、
    前記回路は、前記局所的に加熱された領域の変化に基づいて、前記局所的に加熱された領域の熱拡散速度を測定するように構成される
    医療撮像システム。
14. 請求項１３に記載の医療撮像システムであって、
    前記回路は、前記熱拡散速度に基づいて、前記物質の特徴を決定するように構成される
    医療撮像システム。
15. 請求項１に記載の医療撮像システムであって、
    前記回路は、前記取得された画像に前記物質の移動に関する注釈を付けて、注釈付きの画像を表示するように構成される
    医療撮像システム。
16. 請求項１１に記載の医療撮像システムであって、
    前記回路は、前記取得された画像に前記流体の発生源に関する注釈を付けて、注釈付きの画像を表示するように構成される
    医療撮像システム。
17. 請求項３に記載の医療撮像システムであって、さらに、
    レンズ構成を含み、
    前記回路は、複数の前記加熱素子のサブセットの焦点が合うように前記レンズ構成の焦点距離を調整するように構成される
    医療撮像システム。
18. 請求項１に記載の医療撮像システムであって、さらに、
    前記画像センサは、赤外波長の光を検出するように構成される
    医療撮像システム。
19. 請求項１８に記載の医療撮像システムであって、さらに、
    前記画像センサは、可視スペクトルの光を検出するように構成される
    医療撮像システム。
20. 複数の加熱パターン要素のうちの少なくとも１つの加熱パターン要素を物質に適用して前記物質を局所的に加熱するように構成された加熱素子と、画像を取得するように構成された画像センサと、少なくとも、赤、緑及び青の色成分を含む内視鏡画像を撮像するためのイメージセンサとを備える医療撮像システムを制御するためのプロセッサを機能させるコンピュータプログラムであって、
    前記少なくとも１つの加熱パターン要素を用いて前記物質に局所的に加えられる熱量を決定する第１工程と、
    前記少なくとも１つの加熱パターン要素を物質に適用して前記物質を局所的に加熱する第２工程と、
    前記加熱パターン要素を適用してから所定時間経過後に、前記画像センサに前記加熱された物質の画像を取得させる第３工程と、
    前記所定時間経過後に取得された前記物質の画像に基づいて、前記物質における前記局所的に加熱された領域の変化を測定する第４工程と、
    を前記プロセッサに実行させ、
    前記第２工程は、前記加熱素子を所定のパルス間隔で制御することで、前記物質を前記所定のパルス間隔で局所的に加熱し、
    前記第２工程は、前記物質の動きが大きいほど前記所定のパルス間隔を狭くする
    コンピュータプログラム。

Images