JP7276150B2 - 医用イメージングシステム、方法およびコンピュータプログラム製品 - Google Patents

Description

関連出願の相互参照

本出願は、２０１７年６月２１日に出願された欧州特許出願第１７１７７２１２．２号に対する優先権を主張し、その内容全体は参照することにより本明細書に組み込まれる。

本開示は、外科用イメージングシステムおよび方法に関する。

本明細書に提供される「背景技術」の記述は、本開示の文脈を概略的に提示する目的のためである。本発明者の論文は、その論文がこの背景技術のセクションに記載されている限り、さもなくば出願の時点で従来技術とみなされないこともある説明の態様同様、明示的にも、暗示的にも、本開示に対する従来技術とは認められない。

結腸等の内部解剖学的構造に対する外科的処置、例えば、内視鏡検査または顕微鏡検査を行う際の問題は、それらの内部解剖学的構造はほとんど標識点を有しておらず、患者によって、また外科的処置中、かなり異なり得ることである。これにより、内部解剖学的構造の画像およびビデオを評価および解釈することが難しくなる。

加えて、標識点がないことにより、患者の特定の領域の位置特定および位置の再特定が難しくなる。領域の位置を再特定する際の支援のために、領域に入れ墨をし、吸盤を当てることが公知である。しかし、内臓は動き、硬くないため、これらの技術は不確かであり得る。これにより、処置の時間が長くなり、いわゆる「部位取り違え」手術のリスクが高まることによる合併症につながる。

本開示の目的は、少なくともこれらの課題を解決することである。

Ｐｈａｓｅ－ｂａｓｅｄ Ｖｉｄｅｏ Ｍｏｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ， Ｎｅａｌ Ｗａｄｈｗａ，Ｍｉｃｈａｅｌ Ｒｕｂｉｎｓｔｅｉｎ，Ｆｒｅｄｏ Ｄｕｒａｎｄ，Ｗｉｌｌｉａｍ ｔ． Ｆｒｅｅｍａｎ．ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ，Ｖｏｌ．３２，Ｎｕｍｂｅｒ ４（Ｐｒｏｃ ＳＩＧＧＲＡＰＨ），２０１３

一態様によると、内視鏡または顕微鏡である外科用デバイスにより取り込んだ画像内の領域の、脈波の伝搬に応じた画像特徴を強調し、前記領域の前記画像特徴の変化を特定し、前記画像特徴の変化に基づいて前記外科用デバイスに対する心臓または肺の位置を特定するように構成された回路を備えた外科用イメージングシステムが提供される。

上記段落は、概略の紹介として記載されたのであって、以下の請求項の範囲を制限することを意図したものではない。さらなる利点と一緒に記述される実施形態は、添付の図面と併せて以下の発明を実施するための形態を参照することで最も良く理解されるであろう。

本開示およびその付随する利点の多くは、以下の詳細な記述を参照し添付図面とともに検討してより良く理解することで、本開示およびその付随する利点の多くをより完全に理解することが容易になるであろう。

図１は、内視鏡下手術システムの概略的構成の例を示す図である。 図２は、図１に示すカメラヘッドおよびカメラ制御ユニット（Camera Control Unit：ＣＣＵ）の機能的構成の例を示すブロック図である。 図３は、本開示の実施形態を説明する内視鏡ビューを概略的に示す。 図４は、本開示の実施形態を説明する内視鏡ビューを概略的に示す。 図５は、本開示の実施形態によるトレーニング段階を説明するフローチャートである。 図６は、本開示の実施形態を説明するフローチャートである。 図７は、本開示の実施形態を説明する内視鏡ビューである。 図８は、本開示による実施形態を説明する血管系の分岐を示す。 図９は、本開示による実施形態を説明する血管系の分岐を示す。 図１０は、本開示による実施形態を説明する血管系の分岐を示す。 図１１は、本開示による実施形態に係るフローチャートを示す。 図１２は、本開示による実施形態に係るフローチャートを示す。 図１３は、振動源から離れた介在物の検出を説明する図を示す。 図１４は、振動源から離れた介在物の検出を説明する図を示す。

ここで、図面を参照するが、いくつかの図面を通して同一または対応する部分は同一の参照番号で示される。

１．用途
＜＜１．用途＞＞
本開示の実施形態に係る技術は、種々の製品に適用可能である。例えば、本開示の実施形態に係る技術は、内視鏡下手術システムに適用されてよい。

図１は、本開示の一実施形態に係る技術が適用可能な内視鏡下手術システム５０００の概略的構成の例を示す図である。図１では、外科医（医師）５０６７が内視鏡下手術システム５０００を用いて患者用ベッド５０６９にいる患者５０７１に手術を行っている状態が示される。図示のように、内視鏡下手術システム５０００は、内視鏡５００１、他の手術器具５０１７、内視鏡５００１を支持する支持アーム装置５０２７および内視鏡下手術用の種々の装置が設置されるカート５０３７を含む。

内視鏡下手術では、開腹手術を行うために腹壁を切開する代わりに、トロカール５０２５ａ～５０２５ｄと呼ばれる複数の管状開口デバイスを使用して腹壁を穿刺する。次に、内視鏡５００１の鏡筒５００３および他の手術器具５０１７が、トロカール５０２５ａ～５０２５ｄを介して患者５０７１の体腔に挿入される。図示された例では、他の手術器具５０１７、気腹チューブ５０１９、エネルギー治療器具５０２１および鉗子５０２３が患者５０７１の体腔に挿入される。さらに、エネルギー治療器具５０２１は、高周波電流または超音波振動によって、切開を行い、組織を剥離し、血管を封止するため等の治療器具である。しかしながら、図示されている手術器具５０１７はほんの一例に過ぎず、手術器具５０１７として、例えば、ピンセットまたは牽引子のような、内視鏡下手術で一般的に使用される種々の手術器具を使用してもよい。

内視鏡５００１によってイメージングされた患者５０７１の体腔内の手術領域画像は、表示装置５０４１に表示される。外科医５０６７は、リアルタイムで表示装置５０４１に表示された手術領域の画像を見ながらエネルギー治療器具５０２１または鉗子５０２３を使用し、患部の切除等の治療を行う。図示されていないが、気腹チューブ５０１９、エネルギー治療器具５０２１および鉗子５０２３は、手術中に外科医５０６７、助手等によって支持されることに留意されたい。

（支持アーム装置）
支持アーム装置５０２７は、ベースユニット５０２９から延びるアームユニット５０３１を備える。図示された例では、アームユニット５０３１は、関節部５０３３ａ、５０３３ｂおよび５０３３ｃならびにリンク５０３５ａおよび５０３５ｂを備え、アーム制御装置５０４５の制御下で駆動される。内視鏡５００１は、内視鏡５００１の位置および姿勢が制御されるようにアーム部５０３１によって支持される。その結果、内視鏡５００１の安定した位置固定を実現することができる。

（内視鏡）
内視鏡５００１は、患者５０７１の体腔内に挿入される遠位端から所定の長さの領域を有する鏡筒５００３と、鏡筒５００３の近位端に接続されたカメラヘッド５００５とを備える。図示された例では、硬性鏡として硬性タイプの鏡筒５００３を備える内視鏡５００１が図示されている。しかし、そうでない場合、内視鏡５００１は軟性タイプの鏡筒５００３を有する軟性鏡として構成されてもよい。

鏡筒５００３は、対物レンズが取り付けられる開口部を遠位端に有する。光源装置５０４３は、光源装置５０４３で発生した光が、鏡筒５００３の内部に延びるライトガイドによって鏡筒の遠位端に導かれ、対物レンズを通して患者５０７１の体腔内の観察目標に向けて照射されるように内視鏡５００１に接続される。内視鏡５００１は、直視鏡であっても、または斜視鏡もしくは側視鏡であってもよいことに留意されたい。

光学系および撮像素子は、観察目標からの反射光（観察光）が光学系によって撮像素子に集光されるようにカメラヘッド５００５の内部に設けられる。観察光は、撮像素子により光電変換され、観察光に対応する電気信号、すなわち、観察画像に対応する画像信号を生成する。画像信号は、ＲＡＷデータとしてＣＣＵ５０３９に送信される。カメラヘッド５００５には、カメラヘッド５００５の光学系を適切に駆動して倍率および焦点距離を調整する機能が内蔵されることに留意されたい。

例えば、立体視（３次元（Three Dimensional：３Ｄ）表示）との互換性を確立するために、複数の撮像素子がカメラヘッド５００５に設けられてもよいことに留意されたい。この場合、複数のリレー光学系が、複数の撮像素子それぞれに観察光を導くために鏡筒５００３の内部に設けられる。

（カートに組み込まれたさまざまな装置）
ＣＣＵ５０３９としては、中央処理装置（Central Processing Unit：ＣＰＵ）、グラフィック処理装置（Graphics Processing Unit：ＧＰＵ）等が挙げられ、内視鏡５００１および表示装置５０４１の動作を統合的に制御する。特に、ＣＣＵ５０３９は、カメラヘッド５００５から受信した画像信号に対して、例えば、現像処理（デモザイク処理）等、画像信号に基づいて画像を表示するさまざまな画像処理を行う。ＣＣＵ５０３９は、画像処理が行われた画像信号を表示装置５０４１に提供する。さらに、ＣＣＵ５０３９は、カメラヘッド５００５に制御信号を送信してカメラヘッド５００５の駆動を制御する。制御信号は、倍率または焦点距離等の撮像条件に関する情報を含んでいてもよい。

表示装置５０４１は、ＣＣＵ５０３９の制御下でＣＣＵ５０３９によって画像処理が行われた画像信号に基づき画像を表示する。内視鏡５００１が４Ｋ（水平画素数３８４０×垂直画素数２１６０）、８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度のイメージングに対応しているか、かつ／または３Ｄ表示に対応している場合、対応する高解像度の表示および／または３Ｄ表示を可能にする表示装置を、表示装置５０４１として使用してもよい。装置が４Ｋまたは８Ｋ等の高解像度のイメージングに対応している場合、表示装置５０４１として使用される表示装置が５５インチ以上のサイズを有していれば、より没入感のある体験を得ることができる。さらに、目的に応じて、異なる解像度および／または異なるサイズを有する複数の表示装置５０４１を設けてもよい。

光源装置５０４３としては、例えば、発光ダイオード（Light Emitting Diode：ＬＥＤ）等の光源が挙げられ、手術部位のイメージングのための照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサを備え、所定のコンピュータプログラムに従って動作し、所定の制御方法に従って支持アーム装置５０２７のアームユニット５０３１の駆動を制御する。

入力装置５０４７は、内視鏡下手術システム５０００の入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡下手術システム５０００への各種情報の入力または指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報、手術の外科的処置に関する情報等の手術に関する各種情報を入力する。さらに、ユーザは、入力装置５０４７を介して、例えば、アームユニット５０３１の駆動指示、内視鏡５００１による撮像条件（照射光の種類、倍率、焦点距離等）の変更指示、エネルギー治療器具５０２１の駆動指示等を入力する。

入力装置５０４７の種類は限定されておらず、種々の公知の入力装置のいずれの種類であってもよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７および／またはレバー等を適用してもよい。入力装置５０４７としてタッチパネルを用いる場合、タッチパネルは表示装置５０４１の表示面に設けられてもよい。

そうでない場合は、入力装置５０４７は、例えば眼鏡タイプのウェアラブルデバイスまたはヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）等のユーザに装着されるデバイスであり、前述したデバイスのいずれかによって検出されたユーザの身振りまたは視線に応じて各種入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを備え、カメラによりイメージングされたビデオから検出されたユーザの身振りまたは視線に応じて各種入力が行われる。また、入力装置５０４７は、ユーザの音声を集音可能なマイクロホンを備え、マイクロホンによって集音された音声により各種入力が行われる。このように接触することなく各種情報を入力できるように入力装置５０４７を構成することにより、特に清潔区域に属するユーザ（例えば、外科医５０６７）は、接触することなく不潔区域に属する装置を操作することができる。さらに、ユーザは、所持する手術器具を手から離さずに装置を操作できるため、ユーザの利便性が向上する。

治療器具制御装置５０４９は、組織の焼灼または切開、血管の封止等のために、エネルギー治療器具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１の視野を確保し、外科医の作業空間を確保するために、気腹チューブ５０１９を通して患者５０７１の体腔内にガスを供給し、体腔を膨張させる。レコーダ５０５３は、手術に関する各種情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種情報をテキスト、画像またはグラフのような種々の形態で印刷できる装置である。

以下、内視鏡下手術システム５０００の特徴的な構成を特により詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、土台としての役割を果たすベースユニット５０２９と、ベースユニット５０２９から延びるアームユニット５０３１とを備える。図示された例では、アームユニット５０３１は、複数の関節部５０３３ａ、５０３３ｂおよび５０３３ｃと、関節部５０３３ｂにより互いに連結された複数のリンク５０３５ａおよび５０３５ｂとを備える。図１では、簡略化した例示のため、アームユニット５０３１の構成は簡略化した形で図示されている。実際には、関節部５０３３ａ～５０３３ｃならびにリンク５０３５ａおよび５０３５ｂの形状、数および配置、ならびに関節部５０３３ａ～５０３３ｃの回転軸の方向等は、アームユニット５０３１が望ましい自由度を有するように適切に設定できる。例えば、アームユニット５０３１は好ましくは、６自由度以上の自由度を有するように構成されてよい。これにより、内視鏡５００１をアームユニット５０３１の可動範囲内で自由に移動させることができる。その結果、内視鏡５００１の鏡筒５００３を所望の方向から患者５０７１の体腔内に挿入することが可能になる。

アクチュエータが関節部５０３３ａ～５０３３ｃそれぞれに設けられ、関節部５０３３ａ～５０３３ｃは、対応するアクチュエータの駆動により、所定の回転軸を中心に回転可能であるように構成されている。アクチュエータの駆動は、アーム制御装置５０４５により制御され、各関節部５０３３ａ～５０３３ｃの回転角度を制御することにより、アームユニット５０３１の駆動を制御する。その結果、内視鏡５００１の位置および姿勢の制御を実施できる。したがって、アーム制御装置５０４５は、力制御または位置制御等の種々の公知の制御方法によってアームユニット５０３１の駆動を制御できる。

例えば、外科医５０６７が入力装置５０４７（フットスイッチ５０５７を含む）を介して操作入力を適切に行う場合、アームユニット５０３１の駆動は、内視鏡５００１の位置および姿勢を制御する操作入力に応じてアーム制御装置５０４５によって適切に制御され得る。アームユニット５０３１の遠位端にある内視鏡５００１が前述の制御により任意の位置から異なる任意の位置に移動された後、内視鏡５００１は移動後の位置で固定支持され得る。アームユニット５０３１は、マスタスレーブ式で操作され得ることに留意されたい。この場合、アームユニット５０３１は、手術室から離れた場所に配置された入力装置５０４７を介してユーザによって遠隔制御されてもよい。

さらに、力制御が適用される場合、アーム制御装置５０４５は、パワーアシスト制御を行い、アームユニット５０３１がユーザによる外力を受け、外力に追従してスムーズに移動し得るように関節部５０３３ａ～５０３３ｃのアクチュエータを駆動し得る。これにより、ユーザがアームユニット５０３１に直接触れて移動させると、アームユニット５０３１を比較的弱い力で移動させることが可能になる。したがって、ユーザは、より単純で容易な操作によって内視鏡５００１をより直感的に移動させることが可能となり、ユーザの利便性が向上され得る。

ここで、一般に内視鏡下手術では、内視鏡５００１はスコピストと呼ばれる医師によって支持されている。対照的に、支持アーム装置５０２７を用いた場合、手がなくても内視鏡５００１の位置をより確実に固定できるため、手術領域の画像を安定的に取得でき、手術をスムーズに行うことができる。

アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよいことに留意されたい。さらに、アーム制御装置５０４５は必ずしも単一の装置でなくてもよい。例えば、アーム制御装置５０４５は、複数のアーム制御装置５０４５が互いと協働してアームユニット５０３１の駆動制御を実施するように、支持アーム装置５０２７のアームユニット５０３１の関節部５０３３ａ～５０３３ｃそれぞれに設けられてもよい。

（光源装置）
光源装置５０４３は、手術部位のイメージングのための照射光を内視鏡５００１に供給する。光源装置５０４３は、例えば、ＬＥＤ、レーザ光源またはこれらの組み合わせを含む白色光源を備える。この場合、白色光源は赤、緑および青（ＲＧＢ）のレーザ光源の組み合わせを備え、各色（各波長）に対して出力強度および出力タイミングが高精度で制御できるため、撮像画像のホワイトバランスの調整は光源装置５０４３によって行うことができる。さらに、この場合、対応するＲＧＢレーザ光源からのレーザビームが観察対象に時分割で照射され、カメラヘッド５００５の撮像素子の駆動は照射タイミングに同期して制御される場合、Ｒ、ＧおよびＢの色に個別に対応する画像を時分割で撮像できる。前述の方法に従うと、例えば撮像素子に色フィルタが設けられていなくてもカラー画像を得ることができる。

さらに、光源装置５０４３の駆動は、出力される光の強度が所定の時間ごとに変化するように制御され得る。光の強度の変化のタイミングと同期してカメラヘッド５００５の撮像素子の駆動を制御し、時分割で画像を取得し、画像を合成することによって、露出不足での黒つぶれおよび露出過度での白飛びのない高ダイナミックレンジの画像を作成できる。

さらに、光源装置５０４３は、特殊光観察に対応した所定の波長帯の光を供給するように構成され得る。特殊光観察において、例えば、体組織での光吸収の波長依存性を利用して、通常の観察時の照射光（すなわち白色光）に比べて狭い帯域の光を照射することによって、所定の組織、例えば、粘膜の浅部の血管等を高コントラストで撮像する狭帯域光観察（狭帯域イメージング）が行われる。あるいは、特殊光観察において、励起光の照射により発生した蛍光から画像を取得する蛍光観察を行ってもよい。蛍光観察では、体組織に励起光を照射することにより体組織からの蛍光の観察を行う（自己蛍光観察）か、またはインドシアニングリーン（Indocyanine Green：ＩＣＧ）等の試薬を体組織に局所的に注入し、試薬の蛍光波長に対応する励起光を体組織に照射することによって蛍光画像を取得することができる。光源装置５０４３は、上述の特殊光観察に適した狭帯域光および／または励起光を供給するように構成できる。

（カメラヘッドおよびＣＣＵ）
内視鏡５００１のカメラヘッド５００５およびＣＣＵ５０３９の機能を、図２を参照してより詳細に説明する。図２は、図１に示すカメラヘッド５００５およびＣＣＵ５０３９の機能的構成の例を示すブロック図である。

図２を参照すると、カメラヘッド５００５は、その機能としてレンズユニット５００７、撮像ユニット５００９、駆動ユニット５０１１、通信ユニット５０１３およびカメラヘッド制御ユニット５０１５を有する。さらに、ＣＣＵ５０３９は、その機能として通信ユニット５０５９、画像処理ユニット５０６１および制御ユニット５０６３を有する。カメラヘッド５００５およびＣＣＵ５０３９は、伝送ケーブル５０６５により双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、カメラヘッド５００５と鏡筒５００３との接続位置に設けられた光学系である。鏡筒５００３の遠位端から取り込まれた観察光は、カメラヘッド５００５内に導かれ、レンズユニット５００７に入る。レンズユニット５００７は、ズームレンズおよび焦点合わせレンズを含む複数のレンズの組み合わせを備える。レンズユニット５００７は、観察光が撮像ユニット５００９の撮像素子の受光面に集光されるように調整された光学特性を持つ。さらに、ズームレンズおよび焦点合わせレンズは、光軸におけるそれぞれの位置が、撮像画像の倍率および焦点を調整するために移動可能であるように構成される。

撮像ユニット５００９は撮像素子を備え、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、撮像素子の受光面に集光され、観察画像に対応する画像信号は、撮像素子の光電変換により生成される。撮像ユニット５００９によって生成された画像信号は、通信ユニット５０１３に提供される。

撮像ユニット５００９に含まれる撮像素子としては、例えば、ベイヤー配列を有し、カラーで撮像可能な相捕型金属酸化膜半導体（Complementary Metal Oxide Semiconductor：ＣＭＯＳ）型の画像センサが用いられる。撮像素子としては、例えば４Ｋ以上の高解像度の画像のイメージングに対応した撮像素子が用いられてもよい。手術領域の画像が高解像度で得られる場合、外科医５０６７は、手術領域の状態をさらに詳細に把握でき、手術をよりスムーズに進めることができる。

さらに、撮像ユニット５００９に含まれる撮像素子は、３Ｄ表示に対応した右目用および左目用の画像信号を取得するための一対の撮像素子を有するように含む。３Ｄ表示が適用される場合、外科医５０６７は手術領域の生体組織の深さをより正確に把握できる。撮像ユニット５００９が多段タイプのものとして構成される場合、撮像ユニット５００９の個々の撮像素子に対応して複数のレンズユニット５００７のシステムが設けられることに留意されたい。

撮像ユニット５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像ユニット５００９は、鏡筒５００３内部の対物レンズのすぐ後ろに設けられてもよい。

駆動ユニット５０１１としてはアクチュエータが挙げられ、カメラヘッド制御ユニット５０１５の制御下でレンズユニット５００７のズームレンズおよび焦点合わせレンズを光軸に沿って所定の距離だけ移動させる。その結果、撮像ユニット５００９が撮像する画像の倍率および焦点は、適切に調整することができる。

通信ユニット５０１３としては、ＣＣＵ５０３９との間で各種情報を送受信する通信装置が挙げられる。通信ユニット５０１３は、撮像ユニット５００９から取得した画像信号を、ＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。その後、手術領域の撮像画像を低レイテンシで表示するために、好ましくは画像信号は光通信によって送信される。これは、手術時に、外科医５０６７が撮像画像を通して患部の状態を観察しながら手術を行うため、高い安全性および確実性をもって手術を行うために、手術領域の動画をできるだけリアルタイムで表示することが要求されるためである。光通信が適用される場合、電気信号を光信号に変換する光電変換モジュールが通信ユニット５０１３に設けられる。画像信号は、光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

さらに、通信ユニット５０１３は、カメラヘッド５００５の駆動を制御する制御信号をＣＣＵ５０３９から受信する。制御信号は、撮像条件に関する情報、例えば、撮像画像のフレームレートが指定されているという情報、撮像時の露出値が指定されているという情報および／または撮像画像の倍率および焦点が指定されているという情報を含む。通信ユニット５０１３は、受信した制御信号をカメラヘッド制御ユニット５０１５に提供する。ＣＣＵ５０３９からの制御信号は、光通信によって送信されてもよいことにさらに留意されたい。この場合、光信号を電気信号に変換する光電変換モジュールは通信ユニット５０１３に設けられる。制御信号が光電変換モジュールにより電気信号に変換された後、カメラヘッド制御ユニット５０１５に提供される。

撮像条件、例えば、フレームレート、露出値、倍率または焦点は、取得した画像信号に基づいて、ＣＣＵ５０３９の制御ユニット５０６３によって自動的に設定されることに留意されたい。換言すると、内視鏡５００１には、自動露出（Auto Exposure：ＡＥ）機能、自動焦点（Auto Focus：ＡＦ）機能、および自動ホワイトバランス（Auto White Balance：ＡＷＢ）機能が組み込まれている。

カメラヘッド制御ユニット５０１５は、通信ユニット５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御ユニット５０１５は、撮像画像のフレームレートが指定されているという情報および／または撮像時の露出値が指定されているという情報に基づいて、撮像ユニット５００９の撮像素子の駆動を制御する。さらに、例えば、カメラヘッド制御ユニット５０１５は、撮像画像の倍率および焦点が指定されているという情報に基づいて、駆動ユニット５０１１を制御し、レンズユニット５００７のズームレンズおよび焦点合わせレンズを適切に移動させる。カメラヘッド制御ユニット５０１５は、鏡筒５００３および／またはカメラヘッド５００５を特定する情報を記憶する機能をさらに備えていてもよい。

レンズユニット５００７および撮像ユニット５００９等の部品を高い気密性および防水性を持つ密閉構造体に配置することにより、カメラヘッド５００５にオートクレーブ滅菌処理に対する耐性を与えられることに留意されたい。

次に、ＣＣＵ５０３９の機能構成について説明する。通信ユニット５０５９は、カメラヘッド５００５との間で各種情報を送受信する通信装置を備える。通信ユニット５０５９は、カメラヘッド５００５から送信された画像信号を伝送ケーブル５０６５を介して受信する。したがって、画像信号は、好ましくは上述のように光通信によって送信されてもよい。この場合、光通信との互換性のために、通信ユニット５０５９は、光信号を電気信号に変換する光電変換モジュールを備える。通信ユニット５０５９は、電気信号に変換した後の画像信号を画像処理ユニット５０６１に提供する。

さらに、通信ユニット５０５９は、カメラヘッド５００５の駆動を制御する制御信号をカメラヘッド５００５に送信する。制御信号は、光通信によって送信されてもよい。

画像処理ユニット５０６１は、カメラヘッド５００５から送信されたＲＡＷデータの形式の画像信号に対して種々の画像処理を行う。画像処理としては、種々の公知の信号処理、例えば、現像処理、画質改善処理（帯域強調処理、超解像処理、雑音除去（Noise Reduction：ＮＲ）処理および／または画像安定化処理）および／または拡大処理（電子ズーム処理）が挙げられる。さらに、画像処理ユニット５０６１は、ＡＥ、ＡＦおよびＡＷＢを行うために画像信号の検出処理を行う。

画像処理ユニット５０６１は、ＣＰＵまたはＧＰＵ等のプロセッサを備え、プロセッサが所定のコンピュータプログラムに従って動作すると、上記の画像処理および検出処理を実行できる。画像処理ユニット５０６１が複数のＧＰＵを備える場合、画像処理ユニット５０６１は、複数のＧＰＵによって画像処理が並行して行われるように画像信号に関する情報を適切に分割する。

制御ユニット５０６３は、内視鏡５００１による手術領域の撮像および撮像画像の表示に関する各種制御を行う。例えば、制御ユニット５０６３は、カメラヘッド５００５の駆動を制御するために制御信号を生成する。したがって、ユーザによって撮像条件が入力されると、制御ユニット５０６３は、ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１がＡＥ機能、ＡＦ機能およびＡＷＢ機能を内蔵している場合、制御ユニット５０６３は、画像処理ユニット５０６１による検出処理の結果に応じて、最適な露出値、焦点距離およびホワイトバランスを適切に算出し、制御信号を生成する。

さらに、制御ユニット５０６３は、画像処理ユニット５０６１によって画像処理が行われた画像信号に基づいて、表示装置５０４１を制御し、手術領域の画像を表示する。したがって、制御ユニット５０６３は種々の画像認識技術を用いて手術領域画像内の種々の物体を認識する。例えば、制御ユニット５０６３は、手術領域画像に含まれる物体のエッジの形状、色等を検出することによってエネルギー治療器具５０２１を使用した場合等、鉗子等の手術器具、特定の生体領域、出血、曇りを認識できる。制御ユニット５０６３は、表示ユニット５０４１を制御して手術領域画像を表示させると、認識結果を用いて手術領域の画像に各種手術支援情報を重ねて表示させる。手術支援情報が重ねて表示され、外科医５０６７に提示される場合、外科医５０６７は、より安全かつ確実に手術を進めることができる。

カメラヘッド５００５とＣＣＵ５０３９とを接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、または電気通信および光通信の両方に対応した複合ケーブルである。

ここで、図示された例では、伝送ケーブル５０６５を用いた有線通信によって通信が行われているが、他の場合、カメラヘッド５００５とＣＣＵ５０３９との通信は、無線通信によって行われてもよい。カメラヘッド５００５とＣＣＵ５０３９との通信が無線通信によって行われる場合、手術室に伝送ケーブル５０６５を敷設する必要はない。したがって、手術室での医療従事者の移動が伝送ケーブル５０６５によって妨げられるような状況をなくすことができる。

本開示の一実施形態に係る技術を適用可能な内視鏡下手術システム５０００の例について上記で説明した。ここでは、内視鏡下手術システム５０００を一例として説明したが、本開示の一実施形態に係る技術を適用可能なシステムはこの例に限定されないことに留意されたい。例えば、本開示の一実施形態に係る技術は、検査用の軟性内視鏡システムまたは顕微鏡下手術システムに適用されてもよい。

本開示の一実施形態に係る技術は、上述した構成要素のうち、制御ユニット５０６３に適切に適用できる。具体的には、本開示の一実施形態に係る技術は、内視鏡検査および／または顕微鏡検査に関する。本開示の一実施形態に係る技術を内視鏡検査および／または顕微鏡検査技術に適用することによって、内視鏡および／または顕微鏡の位置をより容易に見つけることができる。このことにより、より高い安全性および確実性で手術を行うことが可能になる。

内視鏡位置特定技術
ナビゲーションを支援し、内視鏡画像にコンテキストを提供するために、受動的および能動的な技術が存在する。受動的技術は、内視鏡によって生成された画像データを使用して患者の体内の位置を特定しようとするものである。これは通常、術前画像または３Ｄモデルの記録を通して実現される。これは、術前画像の取得を必要とするため、手順のコストおよび複雑さが増す。さらに、これは、患者がさらなる術前処置をするというリスクを高める場合がある。加えて、組織が時間の経過とともに移動するため、画像記録は、術前画像と内視鏡検査中に取り込んだ画像との間の組織の移動によって複雑になり得る。

能動的技術としては、磁気イメージングが挙げられる。磁気イメージングでは、第２のデバイス（磁気イメージャ）が内視鏡のリアルタイム３Ｄ位置特定を示すために提供される。この技術は、経験の浅い操作者向けであり、手術室に追加の手術器具を大量に配置する必要がある。これにより、処置のコストおよび時間が劇的に増加する。

他の情報が使用されてもよい。例えば、挿入深度、回転データおよび軟性内視鏡の立体構造を追跡し、結腸鏡検査等の処置の画像にタグ付けすることができるが、このような情報は、体内の内部構造の変形性故に解剖学的画像の位置に関しては信頼できない。

内視鏡だけでなく、顕微鏡検査等の他の外科用デバイスに対しても改善された位置特定技術を提供する必要がある。

位置特定を改善するために、他の内臓までの距離および／または方向を見つけることができる。一般に、これは、取り込んだ画像内の組織の色および／または動きの小さな変化を強調することによって達成される。これにより、その内臓までの距離および／または方向を決定できる。さらに、他の位置特定された生理学的特徴が確認されてもよい。例えば、任意の位置特定された切り傷、出血点または鬱血が確認されてもよい。

この効果の例を図３および図４に示す。

図１では、患者５０７１は結腸鏡検査等の外科的処置を受けている。患者５０７１はヒトとして示されているが、本開示はそのように限定されず、当該手術は医学の任意の分野、例えば獣医学に適用されてもよい。

実施形態に係る外科用デバイス（内視鏡であってもよいが顕微鏡であってもよい）からの画像を３００に示す。通常、この画像は導入部で説明したように標識点をほとんど含まない。しかし、図３では、１～４とラベル付けされた脈波がある。これらの脈波は、患者５０７１の心臓３１０が拍動することによって生じる。特に、心拍動は、結腸の表面に沿って肉眼では見えない非常に小さな波紋を引き起こす。これは、心臓が動くときに心臓が身体に機械的運動を加えるためである。この機械的運動によって、患者の体内の軟組織を横断する機械的な波面が生じる。機械的運動は、心臓から比較的短い距離でも非常に小さいため、機械的波面の振幅は人間の目では見えない。しかし、本開示の実施形態では、画像内の振動運動を強調するために内視鏡画像に対して画像処理が実行される。これは、通常は人間の目には見えない波面として図３に示されるように、波紋を強調する。当然ながら、この例は心拍動を波紋の原因として述べているが、本開示はそれに限定されない。特に、物理的に動く肺等、体に機械的な動きを加えるいかなる器官も波紋を引き起こし得る。

図３の画像３００は、４つの波面で構成されている。波面は、図３の矢印３１５によって示される方向に進んでいることが理解されるであろう。換言すれば、波面は、心臓３１０から離れる方向に動いている。画像を取り込むために、２つの画像処理が実行される。１つ目の画像処理は、画像内の波面の生成である。これは、画像内の振動運動を強調することによって達成される。換言すれば、心臓の動きによって引き起こされる機械的運動（波面または波紋）を強調する画像処理が実行される。

これを達成するために、実施形態では、オイラービデオ処理が取り込んだ画像に対して実行される。オイラー処理は、各画像を空間周波数帯域に分解するいくつかの画像処理技術のうちの１つである。次に、同じ時間フィルタを各空間周波数帯域に適用し、フィルタリングされた空間周波数帯域を所定量だけ増幅する。換言すれば、この処理の目標は、特定の時間周波数帯域内の画像の時間的変化を増幅し（すなわち、帯域時間増幅を適用し）、画像の静的パッチの強度／色の振動変化を明らかにするか、または画像の領域内の物体の振動運動を強調することである。オイラービデオ処理は、大きな運動がある場合に小さな運動を拡大するため、ラグランジュ的手法と比較すると特に有用である（内視鏡および内臓が動く手術に有用である）ことに留意すべきである。「オイラービデオ処理の簡単な説明」は後述する。

生理学的特徴に対する内視鏡の位置の決定
ここで図３に戻ると、オイラービデオ処理が取り込んだ画像に適用された後、図３の４つの波面のうちの１つ目が特定される。実施形態では、オイラー画像処理は、回路から構成される画像処理ユニット５０６１で実行される。当然ながら、本開示はそのように限定されず、画像処理はＣＣＵ５３９または実際にはカメラヘッド５００５のどこででも実行され得る。短い所定の期間（例えば、５００ｍｓ）にわたって、取り込んだフレーム間の組織表面の振幅変化が分析される。これにより、振動の変化を特定して抽出できる。当該期間にわたる振動の周波数は、ウェーブレット変換またはフーリエ変換等の変換関数を使用して求められる。

（後述するように）必要ではないが、振幅を使用して距離を決定した場合、振幅測定の解像度はイメージングシステムの解像度に関連付けられる。オイラー増幅技術は、単一の画素よりも小さな（１画素の１／１００までの）動きを検出および解像できるため、他の運動検出技術よりも小さな動きの振幅をより良好に解像できる。さらに、本開示の実施形態には相対振幅のみが必要とされる。例えば、異なる画像領域間の比較によって、振幅の比較差分が与えられ、心室収縮と心房収縮の間のタイミングおよび相対振幅差が特定される。

表面上のこれらの機械的振動は、例えば、患者の呼吸または内視鏡によって引き起こされる他の組織の動きによって生じる他の振動から分離できる。この分離は、安静時のヒトの心拍動の既知の範囲の周期性、振幅、周波数および動的プロファイルを使用して、心拍動と関係した波面を抽出する心振動参照データ（画像処理ユニット５０６１によってアクセス可能なストレージに保存される）を使用して達成される。これは、オイラービデオ処理の後に行われても、またはオイラービデオ処理の一部として行われてもよい。例えば、オイラービデオ処理における時間増幅ステップは、典型的な心拍動周波数で実行されてよい。

当業者には明らかであるが、本文脈中における用語「動的プロファイル」とは、複数の心腔が順番に拍動することによって引き起こされる機械的振動の繰り返しパターンを意味する。より具体的には、これは、時間の経過とともに波形に生じる特徴的な周波数および振幅の変化となる。例えば、これは、心室収縮と心房収縮の間の既知の許容範囲の振幅または周波数比であってもよい。

画像の各セクションで心振動が発生するタイミングを決定することができるため、画像内の心振動の広がりの観察が可能になる。この処理を図３に示す。例えば３Ｄモデリングを通してイメージングされた表面の３Ｄ配向を知ることができれば、表面全体の振動の広がる方向は３Ｄでも決定できる。これは、患者および内視鏡の配向が内視鏡システムに（例えば内視鏡でのジャイロスコープの使用を通して）知らされるためである。これらの方向を反転することにより、心振動源のおおよその方向を判定できる。

しかし、撮像ユニット５００７内の画像センシング回路のフレームレートに比べて組織内の音の伝播は高速であるため、画像は心周期と同位相で取得され、画像内の波伝播の複数段階を取得することができる。換言すれば、画像センサ回路のフレームレートは、患者の心拍動と同位相になるように調整され得る。心拍動はＥＣＧまたは他の手段によって決定され得る。

次いで、心臓までの距離に関する近似値は、ＣＣＵ５０３９（回路を含む）により、可視血管の対応する血液の脈波（後述するようにオイラー処理を使用して取得した色変化によって決定される）に対する心振動の到達時間の差およびその推定速度によって決定される。これらの推定速度は、軟組織および動脈の既知の音速値および脈波速度値から決定される。これらの値は、トレーニング段階で取得され得る。トレーニング段階については、「介在物および組織サンプルのトレーニング段階」というセクションで後述する。

直線伝播経路を仮定すると、両信号の共通の起点までの距離は、速度の比に画像内の到達時間差を乗じることによってことによって決定できる。

あるいは、この距離は、患者の脈拍または心臓からの既知の距離における心臓の機械的振動のいずれかの個々の記録と比較することにより決定されてもよい。換言すれば、色の変化が心臓までの距離を決定するために要求されることは必須ではない。具体的には、トレーニング段階中、内視鏡の位置は、波面および（所望により）色変化の対応するパラメータと一緒に連続的に記録される。使用中、波面のパラメータを用いて、保存されたパラメータおよび所望により色変化を保存されたパラメータおよび（所望により）色変化と比較することにより、内視鏡の位置を決定する。

内視鏡と心臓との間の距離推定を改善するために、推定は、挿入深度法等の他の距離推定方法と組み合わせてもよい。

時間内の周波数スペクトルの拡大および周波数成分の分離は、患者の心臓上の胸部画像からの心振動の同様の測定と比較して決定することができる。周波数プロファイルに対するこれらの変化は、非線形伝播の指標であり、その効果は伝播距離とともに高まる。

これは、信号が体内を通った距離を推定する方法を提供し、これは他の記述した方法と組み合わせて使用されてもよい。

心臓の機械的波形の周波数成分の基準測定は、例えば、患者の心臓上の胸部で撮影されたビデオを分析することにより行われ得る。その後、他の位置から行われる機械的波形の測定値をこれと比較し、変化が生じた測定部位での変化の程度、ひいては移動距離の推定値を決定できる。

あるいは、振動参照データの心拍動周波数ダイナミクスに患者間変動がほとんどない場合、心臓付近で取得した振動スペクトルおよびダイナミクスの参照データと比較してもよい。

上記は、軟組織にのみ加わる機械的運動を用いてユーザの心臓（または肺）に対する内視鏡の特定を説明しているが、本開示はそれに限定されない。例えば、上記は、任意の生理学的特徴の位置を検出するために応用され得る。生理学的特徴は、ヒトの解剖学的構造内にある任意の特徴である。この例は、切り傷、出血点、鬱血等または内臓である。

上記で簡単に述べたように、実施形態では、心臓（または肺）に対する内視鏡の位置特定を支援するために、機械的運動に関して上述したものの代わりに、またはそれに加えて、画像内の見えない色の変化の強調が使用され得る。

上記では軟組織を通る脈波の伝播を用いて内視鏡の位置を決定することについて説明したが、実施形態では、イメージングされた表面上の血管系を通る脈波の伝播も追跡し得る。さらに、これにより、心臓の方向に対する画像の方向および位置を導き出すことができる。
左心室等の心腔の収縮により、進むにつれて消散する、動脈を通る血液の脈波が放たれる。これにより、脈波が組織内の血液量を周期的に変化させるため、画像内で動きおよび色の変化が生じる。これらの変化は、脈波がイメージングされた表面内の血管系に到達したときに典型的には小さいため、肉眼では見えない。

上記実施形態のように、これらの小振幅振動はオイラービデオ処理によって検出され、フレーム間で生じる組織表面の微小な変化が一定期間にわたって分析され、振動性質を伴う変化を抽出できる。

観測された複合的な表面振動の特定の時間間隔にわたる周波数スペクトルは、フーリエ変換またはウェーブレット変換関数を用いて求めることができる。

色および運動の両方について、脈波から生じる振動は、既知の心拍動周波数、脈波ダイナミクス（拡張期および収縮期に対応する脈波成分であってよい）および波形の周期からなる参照データを使用して、他の振動から分離される。他の例としては、時間の経過とともに変化する脈波形の任意の特性を挙げることができることが理解されるであろう。この「血管参照データ」は、血管系に関連付けられ得るこれらのパラメータの予想範囲を定義し、ＣＣＵ５０３９がアクセス可能であるように保存される。

血管参照データは、安静時の異なる血管系面積内の脈波の既知の範囲の周期性、変化振幅、周波数、および動的プロファイルからなる。このデータは、上記で説明した軟組織の波面の場合のように、母集団の断面を表すテストケースから測定され得る。所望により、これは検査中の患者の別の場所から記録されてもよい。

血管系のすべての予想範囲内にある振動の成分は、「血管振動」に分類される。

画像の各セクションで血管振動が生じるタイミングが決定され、それにより画像内の血管系を通る脈波の広がりの観察が可能になる。例えば３Ｄモデリング手法を通してイメージングされた表面の３Ｄ配向を知ることができれば、表面全体の血管振動の広がる方向は３Ｄでも決定される。これは、患者および内視鏡の配向が内視鏡システムに（例えば内視鏡でのジャイロスコープの使用を通して）知らされるためである。これらの方向を反転することにより、心振動源のおおよその方向を判定できる。

しかし、画像センサのフレームレートに比べて組織内の音の伝播は高速であるため、画像は心周期と同位相で取得され、画像内の波伝播の複数段階を取得することができる。換言すれば、内視鏡システムの画像センサのフレームレートは、患者の心拍動と同位相になるように調整され得る。心拍動はＥＣＧまたは他の手段によって決定され得る。

場合によっては、血流方向は主幹動脈から最も近い分岐に依存し得、これは心臓に向かう方向とは大きく異なっている場合がある。この場合、この不正確さを軽減するために、上記の心拍動によって波紋が生じる機械的運動メカニズム等、他の心臓位置の合図が使用されてもよい。

心臓と内視鏡の間の構造の決定
図４を参照すると、本開示の実施形態が示されている。同じ数字が同じ特徴を指し示す図３と同様に、内視鏡は結腸鏡検査を行っている。しかし、この例では、内視鏡によって取り込んだ画像４００は、図３の波面および領域５を含む。この例では、領域５は波面を含まない。

一例では、領域５は、胃４０５によって隠れている心臓３１０から発せられた波面によって生成される。換言すれば、本開示の実施形態では、内視鏡と心臓３１０との間の胃４０５（それ自体は運動を生じない）の存在は、いわゆる心振動差分を生み出す。領域５は、波面を有していなくても、または上記の図３を参照して記述されたものとは異なる波面を有していてもよく、心振動差分の一例である。一般論として、本実施形態では、本開示は、それ自体は運動を生じないが、心臓等の運動を生じる器官からの波面を分析することによってその存在を特定可能な介在構造の特定について述べる。

この場合、異なる伝播経路により生じるイメージングされた表面の振動を観察することにより、心臓または肺の振動差分伝達機能を有する特定の器官等の介在構造が特定され得る。例えば、図４に示すように、胃４０５の位置は、胃が心臓とイメージングされた表面との間に位置するときに生じる屈折、反射および減衰パターンによって特定され得る。胃の位置が特定され得るが、本開示はそのように限定されない。一般的に言えば、差分伝達機能とは、速度、減衰および周波数を変える影響に関する、介在する器官が振動信号に与える影響である。空間等の高度に反射する構造（胃の特定に役立つ）の例とは別に、異なる密度の組織は、測定部位に伝播する周波数成分とそれらが到達する速度とに影響する。伝達経路間の比較が可能な信号があれば、波形および到達時間の分析により、特定の器官として特定できるであろう、ある経路内のより密度の高いかまたは低い介在構造の存在を判断できる。

心振動は上記のように特定される。

場合によっては、心振動の特定される振幅、周波数スペクトル、動的周波数プロファイル、または空間的および時間的プロファイルが、複数の画像において画像の別個の領域間で異なる場合がある。

部分的に空気で満たされた胃等、反射率の高い介在構造の場合、イメージングされた表面のあるセクションで心振動信号の振幅が大幅に減少する。患者のさまざまな箇所における屈折、反射および減衰パターンは、トレーニング段階中に取り込まれる。例えば、心臓運動のさまざまな周波数成分の到達ステップ時間等、内視鏡の特定の位置での運動パターン差分により、異なる介在構造が推測される。加えて、介在構造によっては、信号にその構造特有の特徴的なパターンが作り出されることがあり、それらのパターンは他の伝播経路で繰り返されなければ認識され得る。これらの特徴的なパターンは、モデリングソフトウェアまたは実験から患者に確立できる。

信号の経路長が長い場合、一部の介在器官のとらえにくい影響を抽出することはあまりに困難である場合がある。しかし、胃のように経路長が短く、介在器官の影響が比較的大きい場合、２つの信号経路間の観測された差分を用いて、高い信頼度で胃が特定され得る。

したがって、胃によって心振動が遮られた領域を特定できる。

遮られていない表面からの心臓の方向について知ることができれば、胃の方向および一部の境界が三角測量によって特定できる。これは、到来する波の方向を知ることができれば、観測された遮られている領域を用いて胃のエッジをおおよそ画定できるため実現可能である。音響陰影の明瞭度は、空隙からの距離とともに低下し得、これにより特定の距離から先は影響に気付けなくなる場合があると理解されたい。

したがって、イメージングされた表面上での到達時間および波の伝播角度を用いて、周囲で波が屈折したさらに離れた（すなわち、特定の距離を超えた）空隙の存在を判断することができる。これらの波をフィルタリングして、不明瞭な領域を画定できる。しかし、波の角度は胃までの距離とともに小さくなるため、この作業は胃からの距離とともに困難になる。

図１３および図１４を参照して、介在物の存在を測定するための１つのメカニズムの説明を行う。図１３を参照すると、例示的な例１３００は、波を作り出す心臓１３０５を含み、胃１３１０は遮っている（介在）物体である。内視鏡は、組織表面１３１５の画像を取り込む。この場合、胃１３１０は、イメージングされる組織表面１３１５から遠くにあるため、陰影効果によって容易に特定することができない。この場合、胃１３１０の存在は、波の飛行時間の相対的な変化により特定され得る。

図１３に示す回折した音響経路１３２０の経路長は、遮られていない直線伝達経路１３２５の経路長よりも長くなる。これにより、イメージングされた組織の中心（すなわち、セクション２）に向かう飛行時間差が徐々に大きくなる。十分な時間分解能があれば、このパターンは、イメージングされた組織の配向に関係なく、到達する波が（胃のエッジに垂直な）中心点に向かって伝播ベクトル成分を持ってこの表面を通るときに認識される。ベクトル成分は、イメージングされた組織表面のセクション１に存在する波伝播ベクトルに重畳されるが、これは心臓１３０５までの組織の直線距離の関数となる。組織表面１３１５のセクション１および２で観察され得る波伝播ベクトルの例を図１４に示す。

図１４では、内視鏡ビュー１４００を示す。しかし、図１３の開示と関連して、内視鏡の視野１４００がセクション１と２の境界を越えて移動するとき等、組織の小さなセクションのみが見える場合でも、組織の幾何形状によるものではない観測波の方向ベクトル（波の伝播速度または方向）の差分は、この境界を画定するために使用されることが明らかである。したがって、心臓１３０５からの伝達経路内の胃１３１０の存在は確実に特定される。同様に、内視鏡ビュー１３１５の特定可能な境界を含まない領域を走査することにより、イメージングされた表面上の線形到着時間進行の異なるレジームまたは中心点に向かう相対的な到着時間の変化は、比較を必要とせずに特定できる。

内視鏡ビューが十分な確実性をもってこのような特徴を特定するには小さすぎる場合、仮想画像領域構築技術を用いて、内視鏡の移動中に複数の生物学的（心拍動）サイクルにわたってより広い領域を測定してもよい。

屈折および反射に起因する信号の成分は、直接隠れた領域内に信号が残っていることがあるため、この境界画定手法の精度を損なう場合がある。しかし、これらの信号は、心臓からの直接信号とは異なる角度およびタイミングで入射するため、フィルタリングでき、したがって上記のようにイメージングされた表面全体での異なる広がり方向から、また他の表面への到達タイミングによって与えられるタイミングの期待値から特定可能である。

肋骨等の構造は、心臓に近接していることと、著しく異なる機械的特性故に、特定の周波数成分をイメージングされた表面に効率的に伝達し得る。これは介在構造ではないが、その位置は信号成分の方向によっても特定され得、呼吸サイクルの間に生じる心振動の周波数成分の変化を分析することにより、より確実に特定できるが、これは肋骨がイメージングされた表面に対して顕著に動く傾向があるためである。

心室収縮と心房収縮のタイミングおよび相対振幅等の異なる器官に起因する観測された運動のダイナミクス（前者の方が大きな振幅擾乱が検出される）、または呼吸中の胸郭および横隔膜によって作り出される異なる運動を用いて、器官に対する配向および距離が推測できる。

上記は検出される器官の存在を参照して説明したが、異なる種類の組織の存在を判断するために同様のプロセスが適用されてもよい。

この場合、心臓または肺等の自然源から生じる小さな振動を用いて組織の特性を評価できる。例えば、組織の硬さの変化を検出して、癌組織を特定できる。この場合、トレーニング段階中に、患者の体内の癌組織と類似の場所で癌組織に対するトレーニングを実行することにより振動運動への影響が測定され得る。

同様に、上記の介在構造および器官の特定のために、表面異常の位置は、心振動の特性が変わる画像セクションによって決定され得る。

腫瘍は一般に周囲の軟組織よりも硬いため、心振動に対して周囲の組織とは異なった反応をする。周波数スペクトルの特定のシフト等、これらの変化した振動は、可能な表面腫瘍伝達関数の参照データと自動的に比較できる。したがって、特定の表面異常が腫瘍である可能性を特定できる。用語「表面腫瘍伝達関数」は、表面腫瘍が心振動にどのように影響するかを説明する関数である。既知の振動を組織に適用し、振動に対する表面腫瘍の影響を測定することにより、伝達関数を事前に見積もってもよい。当然ながら、上記では表面腫瘍について説明しているが、器官等のあらゆる種類の介在物が想定される。

異常と正常な組織との境界は、正常な心振動および局所的な変化した振動からの移行形状によっても調べられ得る。これは、例えば、腫瘍の境界を画定するのみならず、ハードエッジの腫瘍とソフトエッジの腫瘍を判別するのに役立ち得る。

生理的特徴に対する内視鏡の位置を決定する操作
図５を参照すると、トレーニング段階を説明するフローチャート５００が示されている。プロセスは５０５で開始する。ステップ５１０では、内視鏡が試験患者に挿入される。内視鏡の正確な位置は、ステップ５１５で特定される。これは、磁気イメージング等を用いて行われる。内視鏡内にあるジャイロスコープおよび／または加速度計を使用して内視鏡の配向も決定される。取り込まれた画像には、ステップ５２０にてオイラービデオ処理が行われる。オイラービデオ処理は、振動運動を強調する。その位置における波面の周期性、サイズおよび動き等の脈波ダイナミクスがステップ５２５で決定される。特に、波面間のタイミングは周期性を定義する。脈波の動きは、血管に沿った波速度の測定によって定義される。脈波の振幅は、任意箇所での血管幅の最大相対増加の測定により決定される。得られた脈波ダイナミクスは、ステップ５３０で内視鏡の位置に関連付けて保存される。

ステップ５３５では、トレーニングが完了したかどうかが判定される。これは典型的には、外科医または内視鏡操作者によって判断される。実施形態では、脈波ダイナミクスの取り込みおよび保存は連続した手順であるため、本プロセスはデフォルトで、内視鏡が操作者によって動かされるステップ５４０に移り、プロセスはステップ５１５に戻る。しかし、プロセスが完了すると外科医はプロセスを停止するため、プロセスはステップ５４５で終了する。

図６を参照すると、心臓および／または肺の位置技術を説明するフローチャート６００が記載されている。プロセスはステップ６０５で開始する。プロセスは、内視鏡が試験中の患者に挿入されるステップ６１０へ移る。

オイラー画像処理は、ステップ６１５で実行される。その位置における波面の周期性、サイズおよび動き等の脈波ダイナミクスがステップ６２０で決定される。得られた脈波ダイナミクスは、図５のトレーニング段階中に得られた保存済みの脈波ダイナミクスと比較される。

ここで、周期性は波の基本周波数、サイズは最大振幅、動きは速度および方向であることに留意すべきである。さらに、オイラー拡大法により、定義された周波数範囲内の運動が増幅される。同じ時間的増幅は、トレーニングおよび試験中に使用される。データは基本的に、異なる位置（この場合は１つの位置）での周波数、位相および振幅である。代わりに、これらは、その位置での複合波の振幅および位相、または複合波の同等の振幅、方向および速度として見ることができる。

得られた脈波ダイナミクスに最も近い保存済み脈波ダイナミクスがステップ６３０で選択される。次いで、ステップ６３５で確認が実行され、保存済みの脈波ダイナミクスと得られた脈波ダイナミクスとの差分の量が決定される。その差分が閾値以下であれば、「はい」の経路をたどる。

あるいは、差分が閾値を超えていれば、「いいえ」の経路をたどる。実施形態では、閾値は測定値の０．３％である。当然ながら、他の値を選択してもよい。閾値の目的は、得られた位置が内視鏡の位置をユーザに示すのに十分正確であるかどうかを判定することである。

位置の確実性が低すぎる場合、ユーザに不正確な位置が表示されると手順が複雑になり得るため、ステップ６４０では位置が表示されない。位置が表示されなければステップ６５５にてプロセスは終了する。

ステップ６３５に戻り、差分が閾値以下である場合、「はい」の経路をたどり、内視鏡の位置は保存済みの位置値から検索される。これはステップ６４５で実行される。

内視鏡システムが内視鏡の位置を検索するとき、心臓（または肺）と内視鏡の間の相対距離（および方向）が確立され得る。次に、相対距離および方向は、内視鏡の操作者に表示される取り込まれた画像にオーバーレイされ得る。オーバーレイされた画像の例を図７に示す。その後、プロセスはステップ６５５にて終了する。

図７を参照すると、オーバーレイされた画像７００は、内視鏡からの画像７１５およびコンテキスト情報７０７を含む。図７の例では、コンテキスト情報７０７は、心臓７１０への表示および肺７０５への表示を含む。コンテキスト情報は画像のどこにでも提供され得る。例えば、コンテキスト情報は、コンテキスト情報によって隠されて内視鏡画像の量を最小限にすることを避けるために、画像の下部に提供され得る。さらに、コンテキスト情報の色およびサイズは、確実にコンテキスト情報の影響が大きくなりながらも、内視鏡画像が隠れる量を最小限に抑えるように選択され得る。

標識点の決定
上記のように、内視鏡検査中に患者の体内に標識点を配置し、外科医または内視鏡検査操作者が関心のある領域の位置を特定または再特定できるようにする。これは典型的には、入れ墨または吸盤マークである。このマークは、器官等の解剖学的特徴に対して配置され得るが、これは必須ではない。

標識点付けの現在の技術には２つの問題が存在する。第一に、外科医は典型的には、移動経路に沿って一定の距離に標識点を配置する。これにより、外科医は標識点が移動した距離を測定できる。これは、通過した標識点の数を数え、経過時間を測定することで達成される。しかし、移動の認識（ｓｅｎｓａｔｉｏｎ）は、見ている物体までの距離に依存する。これにより、距離推定が不正確になり、標識点が不均一になり得る。

第二の問題は、手術中に解剖学的特徴が動くため、組織表面に配置された標識点（入れ墨または吸盤等）の効果が低下することである。

本開示の実施形態の目的は、これらの問題に対処することである。

標識点付けに関連する第一の問題は、内視鏡と心臓または肺との間の相対距離がオイラービデオ処理を用いて決定される上記技術を用いて主に対処される。これは、移動距離が、見ている物体からの距離とは独立して決定されるためである。したがって、上記技術を用いて等間隔で標識点を作成できる。

第二の問題は、標識点の外観ではなく、標識点を含む特徴同士の関係を利用する。実施形態では、使用される標識点は血管系である。

局部標識点について、図８を参照して説明する。図８では、血管系８００が示されている。標識点「Ｓ」を特定するために、血管系の分岐が使用される。具体的には、分岐点または交差点からなる「ノード」は、それらに、またはそれらからつながる血管の数によって分類される。すると、「分岐」は、ユーザが標識を付けたい同一起点ノード、この場合は位置「Ｓ」から始まる一連のつながったノードとして定義される。これらの分岐を用いて、位置「Ｓ」を一意に特定する。

図８の例では、位置「Ｓ」の場所を特定する４つの分岐が示されている。分岐番号および番号付けシステムを図８に示す。具体的には、位置「Ｓ」は４つの異なる分岐システム、すなわち分岐システム１～４からなる。分岐システムは、ノードに出入りする分岐によって定義される。したがって、血管系８００の例では、分岐システム１は分岐２、２、３、３で構成され、分岐システム２は分岐２、２、３、３で構成され、分岐システム３は分岐２、２、３、３、１、４で構成され、分岐システム４は、分岐２、３、１、３、４で構成される。

位置「Ｓ」を特定するために、血管系分岐システムはパターンで構成される。このパターンは、マルチポイント適合近似（Ｃｌｏｓｅｎｅｓｓ ｏｆ Ｆｉｔ）のような既知のパターン照合技術を用いて特定される。したがって、ユーザがユーザインタフェースを使用して位置「Ｓ」を標識点として特定すると、標識点に関連付けられた血管系の分岐が取り込まれる。したがって、内視鏡が位置「Ｓ」を再び訪れると、血管系分岐システムはパターン照合を用いて特定され、ユーザは現在位置「Ｓ」にいることが通知される。マルチポイント適合近似が使用される場合、画像内の取り込まれたパターンが既知の位置「Ｓ」である尤度が求められる。

したがって、標識点の位置（位置「Ｓ」）は血管系によって決定されるため、たとえ表面が変形したとしても血管系の分岐の特性は一定のままである。したがって、標識点はそのような変形に影響されない。

加えて、ユーザが不要になった標識点を削除し得ることも想定される。例えば、万が一ユーザが位置「Ｓ」の通知を必要としない場合は、ユーザはユーザインタフェースを使用して、その位置に関連付けられている保存済みの血管系分岐を削除し得る。したがって、ユーザには標識点である位置「Ｓ」が通知されなくなる。これは、ストレージを節約し、必要ないときにはユーザへの通知を回避するのに役立つ。当然ながら、以前保存された標識点をいつ削除するか決定する他のメカニズムが存在する。例えば、標識点を設定するときに、重要度レベルが設定され得る。重要度レベルは、外科医にとっての標識点の重要度のレベルを設定したものである。したがって、新しい標識点が古い標識点よりも重要であると外科医が確認した場合、古い標識点は自動的に削除され得る。

血管系９００の数字がミリ秒等の時間の単位を表す図９を参照して、さらなる局部標識点を説明する。図９には、図８と同じ血管系が示されている。しかし、図８の血管系では、内視鏡操作者（例えば外科医）は血管系を見なければならない。しかし、図９の実施形態では、標識点は処置中に部分的に隠れている場合があり、これにより操作者が認識するのを妨げる。

これに対処するために、動的標識点が提供される。動的標識点では、共通の始点および後に観察可能なノードを有する２つの血管分岐が特定される。脈波が共通の分岐点から各ノードに移動するのにかかる時間は、各分岐で測定され、動的標識点として使用される。標識点に戻ると、たとえいずれかの分岐が部分的に隠れているかまたは変形している場合でも、可視ノードにおける相対的な脈波タイミングによって分岐が特定され得る。

血管内の脈波振幅散逸率および分岐点で発生する減少はタイミング情報と同様の方法で使用され、たとえ特定の分岐が部分的に隠れていても特定され得る。例えば、図９に示す分岐１の２番目のノード９０５が隠れている場合、血管が分岐した回数は、１番目のノードと３番目のノードの間の脈波振幅の減少から推定でき、それによって不足している分岐情報を埋め合わせることができる。脈波振幅は、上記で説明したオイラー処理を使用して測定される。場合によっては、予備知識がなくても、観察されていない分岐が少なくとも１つあることを特定できる場合がある。

図１０は、本開示のさらなる実施形態を示す。図１０では、図８に示す血管系が再度描かれている。しかし、本実施形態では、血管系１０００は、いくつかの分岐を横切る切り傷１００５を有する。内視鏡下手術中、心臓または呼吸回数、または血流異常等、患者の生理学的状態に関する情報が画像から明らかでない場合がある。これらは、画像の視野外にある近くの切り傷／狭窄を示し得る。生理学的状態の変化を特定できないと、合併症または準最適な患者の転帰につながり得る。後者の適用は、特に外科手術等の処置に関連している。

イメージングされた表面１０１０の下流にある図１０の切り傷の方向を特定するために、血管の血圧を使用して切り傷による圧力損失を示す。これは、異なる血管経路内の脈波の速度および振幅を比較することで相対的に測定される。脈波は、オイラー処理に関して上述した実施形態によって特定される。

最も低い推定圧力を有する血管内の流れ方向を用いて、内視鏡の視野１０１０外で発生した切り傷の方向を推定する。次に、この情報は、内視鏡画像に切り傷の方向インジケータで注釈を付けることによりユーザに中継される。

切り傷ができる前の血圧を観察することも可能である。この例では、変化が監視され、血圧が所定の期間にわたって所定量だけ低下すると、分岐内の切り傷が推測され得る。

上記のように、血圧の低下を用いて切り傷を特定することができる。しかし、標識点付け技術を使用して、イメージング領域の内側または外側の切り傷、鬱血または他の出血点を検出することもできる。具体的には、上記のように、標識点を決定するためのパターンの使用について説明する。イメージング領域外側の切り傷の検出との関連では、このパターンは、血流、１つもしくは複数の切り傷または鬱血のパターンであり得る。

パターンが血流、切り傷または鬱血である場合、パターンの起点（すなわち、切り傷の位置）を決定することができる。これを実現するために、任意の所定の切り傷または鬱血点についてパターンが特定される。これは、標識点付けに関して上述したのと同じ方法で行われる。パターンが切り傷または鬱血として特定されると、切り傷または鬱血の位置が記録され、ユーザに表示される。

血流、切り傷または鬱血を判断するための代替的なメカニズムまたは追加のメカニズムとして、その位置におけるパターンが保存される。その後、内視鏡がパターンを再度見たときに、パターンを最初に見たときとパターンを２度目に見たときの差分を決定する。この差分は、１つもしくは複数の切り傷または鬱血点に関連した変化に起因する。この差分は、切り傷または鬱血点に関連したある種の特徴を特定できる。例えば、血液量（体積）が減少する場合もあれば、血流強度が低下している場合もある。これは、外科医が行った任意の治療行為（例えば、切り傷の焼灼）の成功を示すか、または状況が悪化したため、治療行為の必要性を示している場合もある。血流強度が高まった場合、内視鏡システムは外科医に特定の治療行為を行うように指示し得ることが想定される。

上記では、保存済みのパターンを内視鏡ビューと比較することによるパターンの特定について記述したが、内視鏡システムは、物体認識を用いてパターンを特定するように構成され得る。物体認識では、物体全体を見て、その物体全体を物体の保存済み表現に照合することに頼るのではなく、物体の特徴を用いて物体を識別する。物体認識は公知であるため、簡潔さを期して説明しない。

当然ながら、切り傷または鬱血のある種の特有の特徴がその視野内にある場合、内視鏡の視野内の切り傷または鬱血を特定することが可能である。例えば、切り傷は典型的には、赤い血液の細い線形領域である画像特性を有する。したがって、物体認識アルゴリズムは、これらの特性を満たす領域を特定し、したがって、以前に保存された切り傷の例に正確に合致する切り傷を有するのではなく、これらの固有の特徴を用いて切り傷を特定する。

内視鏡の視野の外側にある１つもしくは複数の切り傷または鬱血を特定するために、視野の外側にある切り傷を示す、視野内の特徴を特定することが可能である。例えば、切り傷の下の位置にある組織は、周囲の組織ほど赤みがない傾向にある。これは、切り傷によりその組織に供給される血液が少なくなるためである。組織の色に応じて切り傷の重症度を特定することもできる。例えば、重度の切り傷がある場合、切り傷がそれほど重度ではない状況に比べて、組織はより赤みが少なく見える。したがって、切り傷自体がカメラの視野内にない場合でも、取り込んだ画像の色または他の画像特性に応じて、切り傷の位置および重症度を特定することができる。

物体認識を使用して出血点を検出することに加えて、物体認識を用いて上記の標識点を特定することもできる。これは、内視鏡システムが、標識点をより容易に変更できるように、取り込んだ標識点を保存済みの標識点と比較するのではなく標識点の特徴を学習するという利点を持つ。

図１１は、内視鏡検査中の特定された部位の標識点付けを説明するフローチャート１１００を示す。プロセスはステップ１１０５で開始する。プロセスは、内視鏡が患者に挿入されるステップ１１１０へ移る。ステップ１１１５において、外科医は内視鏡を動かして、標識点として機能する適切な部位を特定する。外科医はユーザインタフェースと対話することにより標識点付けを実行する。特に、外科医が標識点を付ける部位を特定すると、外科医はユーザインタフェースと対話してその部位に標識点を付ける。その部位に標識点を付けるとき、ＣＣＵ５０３９は、実施形態では標識点を特定している画像からパターンを抽出する。このパターンとしては、血管系分岐システム、または血管系内の分岐の相対位置、または何らかの他のパターンが挙げることができるが、これらに限定されず、これを後で比較するために保存してもよい。他の実施形態では、当然ながらパターンが取り込んだ画像自体であってもよい。プロセスはステップ１１２５で終了する。

図１２は、標識点が付けられた部位の特定を示すプロセス１２００を示す。プロセスはステップ１２０５で開始する。ステップ１２１０では内視鏡が患者に挿入される。内視鏡からの画像はステップ１２１５で取り込まれる。取り込んだ画像はステップ１２２０で保存済みの標識点と比較される。実施形態では、関連するパターン（血管系等）は、取り込んだ画像から抽出され、保存済みのパターンと比較される。当然ながら、保存済みのパターンが標識点が付けられた部位の画像である場合、取り込んだ画像は標識点が付けられた部位の保存済み画像と比較される。

プロセスはステップ１２２５に移り、保存済みの標識点と取り込んだ画像間の類似度が決定される。この類似度は、保存済み画像に対する取り込んだ画像の類似性が閾値内にあるかどうかを判定することによって決定される。類似値は、マルチポイント適合近似アルゴリズムから得てもよい。

取り込んだ画像が保存済みのパターンと類似していない場合、「いいえ」の経路をたどり、ステップ１２１５に戻る。あるいは、取り込んだ画像が類似していれば、「はい」の経路をたどり、プロセスはステップ１２３０に移る。ステップ１２３０では、画像は標識点部位として特定される。次いで、ステップ１２３５では、標識点が外科医に表示される。これは、内視鏡の画像にオーバーレイされたグラフィックとして表示される。

プロセスはステップ１２４０に移り、外科医が標識点の検索を完了したかどうかが判定される。これを判定するために、外科医はグラフィカルユーザインタフェースを使用して、外科医が検索を完了したかどうかを示す。外科医が検索を完了していない場合、「いいえ」の経路をたどり、ステップ１２１５に戻る。外科医が検索を完了している場合、プロセスは「はい」の経路をたどった後、ステップ１２４５で終了する。

本開示の各種実施形態は以下の番号付けした項目によって定義される。
１．取り込んだ画像内の領域の画像特徴を強調し、当該領域の画像特徴の変化を特定し、画像特徴の変化に基づいて外科用デバイスに対する生理学的特徴の位置を特定するように構成された回路を備えた外科用イメージングシステム。
２．回路は、各画像を空間周波数帯域に分解し、同じ時間フィルタを各空間周波数帯域に適用し、フィルタリングされた空間周波数帯域を所定量だけ増幅することによって、運動を強調するように構成された、項目１に記載の外科用イメージングシステム。
３．回路は、オイラービデオ処理を取り込んだ画像に行うことによって運動を強調するように構成された、項目２に記載の外科用イメージングシステム。
４．強調は、画像内の領域の色変化に基づく、任意の先行する項目に記載の外科用イメージングシステム。
５．色変化は物体の表面を横切る脈波であり、回路は、領域内の色の変化と物体の表面を横切る対応する脈波との間の時間差を測定することによって内臓までの距離を決定するように構成された、項目４に記載の外科用イメージングシステム。
６．強調は、画像内の物体の運動に基づく、任意の先行する項目に記載の外科用イメージングシステム。
７．物体の運動は物体の表面を横切る脈波である、項目６に記載の外科用イメージングシステム。
８．ディスプレイに接続されるように構成されたコネクタ回路をさらに備え、回路は、内臓の位置の表示を取り込んだ画像のうちの１枚にオーバーレイして合成画像を生成し、合成画像をコネクタ回路に提供するように構成された、任意の先行する項目に記載の外科用イメージングシステム。
９．生理学的特徴は内臓または出血点である、任意の先行する項目に記載の外科用イメージングシステム。
１０．取り込んだ画像の領域の色および／または運動を強調し、強調した運動を保存済みの強調した運動と比較し、比較に基づき物体の物質を特定するように構成された回路を備えた外科用イメージングシステム。
１１．取り込んだ画像の領域の色および／または運動を強調し、強調した運動を保存済みの強調した運動と比較し、比較に基づき標識点を特定するように構成された回路を備えた外科用イメージングシステム。
１２．回路は、血管系を標識点として特定するように構成される、項目１１に記載の外科用イメージングシステム。
１３．回路は、出血点を標識点として特定するように構成される、項目１１に記載の外科用イメージングシステム。
１４．取り込んだ画像の領域の色および／または運動を強調し、強調した運動の固有の特徴に基づき標識点を特定するように構成された回路を備えた外科用イメージングシステム。
１５．回路は、出血点を標識点として特定するように構成される、項目１４に記載の外科用イメージングシステム。
１６．標識点として血管系のパターンを取り込んだ画像を特定し、取り込んだパターンを保存し、後に取り込んだ画像を保存済みのパターンと比較し、比較に基づき後の画像を標識点として特定するように構成された回路を備えた外科用イメージングシステム。
１７．複数の画像を取り込むように構成された画像センサ回路を備える、項目１、１０、１１、１４または１６に記載の外科用イメージングシステム。
１８．取り込んだ画像内の領域の画像特徴を強調することと、当該領域の画像特徴の変化を特定することと、画像特徴の変化に基づいて外科用デバイスに対する生理学的特徴の位置を特定することとを含む、外科用イメージング方法。
１９．各画像を空間周波数帯域に分解し、同じ時間フィルタを各空間周波数帯域に適用し、フィルタリングされた空間周波数帯域を所定量だけ増幅することによって、運動を強調することを含む、項目１８に記載の外科用イメージング方法。
２０．オイラービデオ処理を取り込んだ画像に行うことによって運動を強調することを含む、項目１９に記載の外科用イメージング方法。
２１．強調は、画像内の領域の色変化に基づく、項目１８～２０のうちいずれか一項に記載の外科用イメージング方法。
２２．色変化は物体の表面を横切る脈波であり、回路は、領域内の色の変化と物体の表面を横切る対応する脈波との間の時間差を測定することによって内臓までの距離を決定するように構成された、項目２１に記載の外科用イメージング方法。
２３．強調は、画像内の物体の運動に基づく、項目１８～２２のうちいずれか一項に記載の外科用イメージング方法。
２４．物体の運動は物体の表面を横切る脈波である、項目２３に記載の外科用イメージング方法。
２５．内臓の位置の表示を、表示装置上で、取り込んだ画像のうちの１枚にオーバーレイして合成画像を生成し、合成画像をコネクタ回路に提供することをさらに含む、項目１８～２４のうちいずれか一項に記載の外科用イメージング方法。
２６．生理学的特徴は内臓または出血点である、項目１８～２５のうちいずれか一項に記載の外科用イメージング方法。
２７．取り込んだ画像の領域の色および／または運動を強調することと、強調した運動を保存済みの強調した運動と比較することと、比較に基づき物体の物質を特定することとを含む、外科用イメージング方法。
２８．取り込んだ画像の領域の色および／または運動を強調することと、強調した運動を保存済みの強調した運動と比較することと、比較に基づき標識点を特定することとを含む、外科用イメージング方法。
２９．標識点は血管系である、項目２８に記載の外科用イメージング方法。
３０．標識点は出血点である、項目２８に記載の外科用イメージング方法。
３１．取り込んだ画像の領域の色および／または運動を強調することと、強調した運動の固有の特徴に基づき標識点を特定することとを含む、外科用イメージング方法。
３２．標識点は出血点である、項目３１に記載の外科用イメージング方法。
３３．標識点として血管系のパターンを取り込んだ画像を特定することと、取り込んだパターンを保存することと、画像センサによって取り込んだ画像を保存済みのパターンと比較することと、比較に基づき後の画像を標識点として特定することとを含む、外科用イメージング方法。
３４．コンピュータにロードされたときに、項目１８～３３のうちいずれか一項に記載の方法を実行させるようにコンピュータを構成するコンピュータ可読命令を含むコンピュータプログラム製品。

上記教示に鑑みて本開示の多数の改変および変形が可能であることが明らかである。したがって、添付の特許請求の範囲内にて、本開示は本明細書に具体的に記載されているのとは別様に実施できると理解すべきである。

本開示の実施形態が、少なくとも部分的にソフトウェア制御式データ処理装置によって実施されるものとして記載されている限り、このようなソフトウェアを保持する、光ディスク、磁気ディスク、半導体メモリ等の非一時的な機械可読媒体も、本開示の一実施形態を代表するものとみなされることが理解されるであろう。

上記の記載においては、明確さのために、異なる機能ユニット、回路および／またはプロセッサを参照して実施形態を説明したものであることが理解されるであろう。しかし、異なる機能ユニット、回路および／またはプロセッサ間の機能においては、実施形態に悪影響を与えずに任意の適切な分散を採用できることは明らかである。

記載された実施形態は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含む任意の好適な形態で実施されてよい。記載された実施形態は、所望により、１つまたは複数のデータプロセッサおよび／またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実施されてもよい。任意の実施形態の要素および構成要素は、任意の適切な方法で、物理的に、機能的に、かつ論理的に実施されてよい。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて、または他の機能ユニットの一部として実施されてもよい。したがって、開示される実施形態は、単一のユニットにおいて実施されても、さまざまなユニット、回路およびプロセッサ間で物理的かつ機能的に分散配置されてもよい。

本発明はいくつかの実施形態に関連して説明してきたが、本明細書に記載される特定の形式に限定することは意図していない。加えて、ある特徴が、特定の実施形態に関連して説明されているかのように見えるが、当業者であれば、記載された実施形態の種々の特徴が、本技術を実施するために好適な任意の方法で組み合わせられてもよいことは認識するであろう。

オイラービデオ処理の簡単な説明
要約すると、周波数範囲内で発生する特定の位置における画像の画素強度値（ＲＧＢ）の振動が増幅される。原則として、ビデオデータの３Ｄ立方体（Ｘ、Ｙ、Ｔ）を取得し、Ｔ方向にのみ帯域周波数フィルタリング操作を適用する。

１．処理は、特定の空間位置それぞれで独立して実行される。したがって、画像は時間周波数増幅窓では適度に静止していることが望ましい（だが必須ではない）。これは、必要であればビデオ安定化アルゴリズムを適用することで改善できる。
２．画像信号が増幅されるため、画像の雑音が増幅されるという問題が生じる。これを緩和するためには、実信号（一部の空間範囲で動作する）を増幅するために信号対雑音比が十分に高いことを保証するために、何らかの形式の空間平均化が必要とされる。これは、例えば、次のような多くの異なる方法で実行できる。
ａ．画像は操作前に平滑化およびダウンサンプリングできるが、これにより、最終的な画像／ビデオがより小さく、低解像度になる。
ｂ．画像は、ラプラシアンピラミッド等を用いて異なる空間周波数帯域に分離できる。ここでは、画像は、選択された小さな空間平滑化重畳、例えば空間ガウシアン（ダウンサンプリングレートに合致）により平滑化され、前の（平滑化されてない）画像からサブトラクションされ、その後例えば半分のサイズまでダウンサンプリングされる。この操作は、小さな残像が残るまで繰り返される。その後、時間周波数増幅は、空間帯域画像（および残像）それぞれに対して、その帯域用の予想信号対雑音比に応じた増幅係数（空間周波数が大きくなると改善されるはずであるため、増幅係数はより高くなり得る）を用いて個別に実行される。次いで、帯域増幅された画像は、最終的な完成画像／ビデオに（アップサンプリングおよびアドイン（ａｄｄ ｉｎ）により）再度合成される。
３．時間的増幅は、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等を使用して単一の画素時間シーケンスデータに帯域フィルタを適用することにより、そのデータ各々に沿って個別に実行される。ここで、データ窓は、周波数領域に変換され、フィルタのＤＣＴを小数点乗算し、次いで画素データ領域に変換して戻される。例えば、０．５～５Ｈｚの周波数を選択し増幅する。帯域フィルタは動的で、例えば、心拍数（心電図（Electrocardiogram：ＥＣＧ）信号またはパルスオキシメータによって提供される）を追跡してもよく、または固定されていてもよく、また狭帯域であっても広帯域であってもよい。増幅値は固定されていても、信号対雑音比の何らかの測定値から計算されても、またはユーザにより調整されてもよい。
４．振動運動信号の増幅は、小さな空間振動および低水準の増幅にのみ適用され、そうでない場合、顕著な歪みが生じる。
５．増幅に使用される時間帯域フィルタは、用途に応じて、理想的な（方形波パルス）フィルタ、２次無限インパルス応答（Infinite Impulse Response：ＩＩＲ）フィルタ等の幅広い選択肢から選択できる。フィルタは、ユーザ指定の遮断周波数に対して生成され、その後、例えばリアルタイムで適用できる。
６．処理は画素時系列で動作するため、時間的増幅に使用される時間窓に関連したいかなるリアルタイム実施にも固有のレイテンシがいくらかある。

オイラーアルゴリズムは、大きな振動運動を視覚化するためにパフォーマンスを向上させ得、これは雑音の影響を受けにくい。これは、（直交フィルタを用いて）縮尺および方向の両方を分解する処理ピラミッドによって実行される空間分解によって達成され、時間的増幅はこのピラミッドの位相に対して実行される［１］。

介在物および組織サンプルのトレーニング段階
空気で満たされた胃または実際にはさまざまな種類の組織等の介在物による心臓および肺の振動に対する影響を判断するために、トレーニング段階を実行しなければならない。トレーニング段階の間、これらの物体によって生じる屈折、反射および減衰パターンは患者のさまざまな箇所で取り込まれる。トレーニングが一度行われ、結果が照合され、製造中に内視鏡システムの記憶媒体に保存されることが予想される。

トレーニング段階中、内視鏡の位置は、磁気イメージングを用いて継続的に監視される。屈折、反射および減衰パターンの代表値を得るために、トレーニング段階中の患者の心肺機能は、内視鏡検査を受ける患者を代表するものでなければならない。これには、平均的な心臓の強さ、平均的な肺機能および平均体脂肪組成（体脂肪の過剰は誤ったトレーニング結果となり得るため）とともに平均心拍数を有する患者が挙げられる。当然ながら、標準から外れた他の患者を選択して、外れ値を取得してもよい。この場合、試験中の平均値および外れ値に対する内視鏡の位置および患者の位置における屈折、反射および減衰パターンの間には相関関係が存在し得る。換言すれば、患者の体脂肪がちょうど平均値と外れ値の間にあった場合、波面の減衰も、患者の体内の同じ場所ではちょうど平均値と外れ値に関して予測された減衰になり得る。

同様に、トレーニング段階中にさまざまな異なる物質の影響が取り込まれ得る。例えば、トレーニング段階中に選択された患者の場合、一方の患者は悪性腫瘍があり得、他方の患者には同様の場所に良性腫瘍があり得る。所定のセットの既知の位置における悪性腫瘍および良性腫瘍によって引き起こされる屈折、反射および減衰パターンが観察され記録され得る。これらは、製造中に内視鏡システムに保存され、システムを操作するときに使用されて、腫瘍が悪性または良性である可能性を特定し得る。

Claims (16)

1. 内視鏡または顕微鏡である外科用デバイスにより取り込んだ画像内の領域の、脈波の伝搬に応じた画像特徴を強調し、前記領域の前記画像特徴の変化を特定し、前記画像特徴の変化に基づいて前記外科用デバイスに対する心臓または肺の位置を特定するように構成された回路を備えた外科用イメージングシステム。
2. 前記回路は、各画像を空間周波数帯域に分解し、同じ時間フィルタを各空間周波数帯域に適用し、前記フィルタリングされた空間周波数帯域を所定量だけ増幅することによって、運動を強調するように構成された、請求項１に記載の外科用イメージングシステム。
3. 前記回路は、オイラービデオ処理を前記取り込んだ画像に行うことによって前記運動を強調するように構成された、請求項２に記載の外科用イメージングシステム。
4. 前記強調は、前記画像内の前記領域の色変化に基づく、請求項１に記載の外科用イメージングシステム。
5. 前記色変化は物体の表面を横切る脈波であり、前記回路は、前記領域内の色の変化と前記物体の前記表面を横切る対応する脈波との間の時間差を測定することによって前記心臓または前記肺までの距離を決定するように構成された、請求項４に記載の外科用イメージングシステム。
6. 前記強調は、前記画像内の物体の運動に基づく、請求項１に記載の外科用イメージングシステム。
7. 前記物体の前記運動は前記物体の表面を横切る脈波である、請求項６に記載の外科用イメージングシステム。
8. ディスプレイに接続されるように構成されたコネクタ回路をさらに備え、前記回路は、前記心臓または前記肺の前記位置の表示を前記取り込んだ画像のうちの１枚にオーバーレイして合成画像を生成し、前記合成画像を前記コネクタ回路に提供するように構成された、請求項１に記載の外科用イメージングシステム。
9. 内視鏡または顕微鏡である外科用デバイスにより取り込んだ画像内の領域の、脈波の伝搬に応じた画像特徴を強調することと、前記領域の前記画像特徴の変化を特定することと、前記画像特徴の変化に基づいて前記外科用デバイスに対する心臓または肺の位置を特定することとを含む、外科用イメージング方法。
10. 各画像を空間周波数帯域に分解し、同じ時間フィルタを各空間周波数帯域に適用し、前記フィルタリングされた空間周波数帯域を所定量だけ増幅することによって、運動を強調することを含む、請求項９に記載の外科用イメージング方法。
11. オイラービデオ処理を前記取り込んだ画像に行うことによって前記運動を強調することを含む、請求項１０に記載の外科用イメージング方法。
12. 前記強調は、前記画像内の前記領域の色変化に基づく、請求項９に記載の外科用イメージング方法。
13. 前記色変化は物体の表面を横切る脈波であり、前記位置を特定することでは、前記領域内の色の変化と前記物体の前記表面を横切る対応する脈波との間の時間差を測定することによって前記心臓または前記肺までの距離を決定する、請求項１２に記載の外科用イメージング方法。
14. 前記強調は、前記画像内の物体の運動に基づく、請求項９に記載の外科用イメージング方法。
15. 前記物体の前記運動は前記物体の表面を横切る脈波である、請求項１４に記載の外科用イメージング方法。
16. 前記心臓または前記肺の前記位置の表示を、表示装置上で、前記取り込んだ画像のうちの１枚にオーバーレイして合成画像を生成し、前記合成画像をコネクタ回路に提供することをさらに含む、請求項９に記載の外科用イメージング方法。

Images