JP2024507108A - 内視鏡カメラ関心領域の自動露出 - Google Patents

Abstract

画像を捕捉および出力するカメラと、カメラに連結されたカメラコントローラと、カメラまたはカメラコントローラに連結されたユーザー入力装置とを有し、ユーザー入力装置が、画像の関心領域を選択するために使用可能であり、関心領域が画像のサブ部分であり、カメラコントローラが、関心領域の測定輝度値を計算し、測定輝度値と目標輝度値の比較に応答して露出を調整する、内視鏡カメラシステム。

Description

本開示は、内視鏡手術で使用される装置に関し、より具体的に、内視鏡カメラ画像における関心領域の自動露出のためのシステムおよび方法に関する。

内視鏡光学システムの視野（ＦＯＶ）が広いほど、より多くの視覚的情報が外科医に提示される。光出力は視野の周囲に向かって落ちる傾向があるため、広視野内視鏡によって見える光景を均一に照明することは困難である。従来の自動露出アルゴリズムは、光景の中心領域を中心点として使用して、輝度を計算する。しかしながら、広視野アプリケーションにおいて、ユーザーは、関心領域をよりよく見るために、光景の周辺に向かって領域をデジタル的にズームインまたはセンターインすることを選択しうる。その場合、光景／スコープの縁での光特性および光学特性を考慮すると、ユーザーは、全体的な光景の露出を調整しないであろう周辺での光の変化に起因して、低画質（通常よりも暗い）および低応答性を経験しうる。加えて、関心領域の光景の露出レベルは、全体的に広視野の場合と異なりうる。適切な照明および露出応答の欠如は、外科医を混乱させる画像をもたらし、目の疲労を引き起こし、組織および解剖学的構造の誤認につながる可能性がある。

先行技術の欠点を是正する改善された自動露出システムに対するニーズが存在する。

本開示は、ユーザーによって選択される関心領域に基づいて自動露出を制御することによって、先行技術の欠点を是正する自動露出システムを有する内視鏡カメラシステムに関する。一実装において、内視鏡カメラシステムは、画像を捕捉および出力するカメラと、カメラに連結されたカメラコントローラと、カメラまたはカメラコントローラに連結されたユーザー入力装置とを有する。ユーザー入力装置は、画像の関心領域を選択するために使用可能であり、関心領域は画像のサブ部分である。カメラコントローラは、関心領域の測定輝度値を計算し、測定輝度値と目標輝度値の比較に応答して露出を調整する。一実装において、輝度値は、関心領域の平均緑色強度、平均赤色強度、平均青色強度のうちの少なくとも一つの加重和である。輝度値は、関心領域の平均緑色強度の加重和でありうる。露出を調整することは、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することを含みうる。

随意に、カメラは長手方向軸を有し、長手方向軸に対してゼロ以外の角度で画像を捕捉する。カメラは、長手方向軸に対して４５度の捕捉角度で画像を捕捉してもよい。一実装において、ユーザー入力装置は、実際の捕捉角度と異なる見かけの捕捉角度を有する関心領域を選択するために使用可能である。カメラは、９０度よりも大きい視野を有する画像を捕捉し、出力してもよい。一実装において、カメラは、約１４０度の視野を有する画像を捕捉し、出力する。ユーザー入力装置は、画像視野よりも小さい見かけの視野を有する関心領域を選択するために使用可能でありうる。

一実装において、画像は、画像中心および配向インジケータを有し、関心領域は、画像中心から固定距離に位置付けられた関心領域の中心を有し、カメラコントローラは、配向インジケータの位置の変化に基づいて関心領域の中心を変更する。露出を調整することは、関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含みうる。随意に、ゲイン調整は、関心領域内のピクセルのすべてにわたって均一でない。ピクセルゲインは、画像の中心からのピクセルの位置に応じて、勾配を使用して調整されてもよい。

一実装によると、撮像システムの露出を調整する方法は、カメラから画像を受信することと、画像の関心領域をユーザーから受信することであって、関心領域が画像のサブ部分である、受信することと、関心領域の測定輝度値を計算することと、測定輝度値と目標輝度値の比較に応答して露出を調整することとを含む。測定輝度値を計算することは、関心領域の平均緑色強度、平均赤色強度、平均青色強度の加重和を計算することをさらに含みうる。一実装において、測定輝度値を計算することは、関心領域の平均緑色強度の加重和を計算することをさらに含む。露出を調整することは、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することをさらに含みうる。

画像は、長手方向軸に対してゼロよりも大きい実際の捕捉角度で捕捉されてもよく、受信された関心領域は、実際の捕捉角度と異なる見かけの捕捉角度を有してもよい。一実装において、画像は、９０度よりも大きい視野を有し、受信された関心領域は、画像視野よりも小さい見かけの視野を有する。

一実装において、画像は、画像中心および配向インジケータをさらに含み、関心領域は、画像中心から固定距離に位置付けられた関心領域の中心を有し、方法は、配向インジケータの位置の変化に基づいて、新しい関心領域の中心を計算することをさらに含む。露出を調整することは、関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含みうる。随意に、ゲイン調整は、関心領域内のピクセルのすべてにわたって均一でない。随意に、ピクセルゲインは、画像の中心からのピクセルの位置に応じて、勾配を使用して調整される。

これらおよび他の特徴を以下に記載する。

本発明の特徴、態様および利点は、以下の説明、添付の請求項および添付図面に関してよりよく理解されるであろう。
図１は、一実装による内視鏡カメラシステムの概略図である。 図２は、追加的な一実装による内視鏡カメラシステムの概略図である。 図３は、一実装によるカメラの遠位部分の概略図である。 図４は、関心領域の例を示す。 図５は、一実装による自動露出の方法を図示するフローチャートである。

好ましい実装の以下の説明において、添付図面への参照を行い、これらの図面は例証として、本発明が実施されうる特定の実装を示している。可能な限り、図面全体を通して、同じまたは類似の部品を指すために同じ参照番号を使用する。当然のことながら、本開示の範囲から逸脱することなく、他の実装を利用することができ、また構造的および機能的変更を行うことができる。

図１～３を参照すると、一実装による内視鏡カメラシステム１０は、カメラ１２を有する。カメラ１２は、ハンドピース１６に連結可能なシャフト軸１４を有する。ハンドピース１６は、ボタン、スイッチまたはダイヤルなどの入力装置１８を有してもよい。ハンドピース１６は、カメラコントローラ２０（「ＣＣＵ」または「カメラコントローラ」）に接続可能である。ハンドピース１６およびカメラコントローラ２０は、ワイヤを介して接続されて、カメラとカメラコントローラの間のデータ転送を容易にしてもよい。カメラ１２およびカメラコントローラ２０はまた、ＩＥＥＥ ８０２．１１ｂもしくはＩＥＥＥ ８０２．１１ｎまたは超広帯域（ＵＷＢ）を介してなど、無線接続されて、データ転送を容易にしてもよい。カメラコントローラ２０は、マウス、キーボード、タッチパッド、またはタッチスクリーンモニターなどの少なくとも一つの入力装置２２に接続可能であってもよい。加えて、カメラコントローラ２０は、ディスプレイ２４と、画像を記憶するためなどの記憶装置２６とに接続可能であってもよい。

画像センサ２８は、シャフト１４の内部に、およびシャフト１２の遠位先端３０の近位に位置付けられてもよい。画像センサ２８は例えば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）であってもよい。広角レンズ３２などの光学レンズは、光を画像センサ２８に向ける。

画像センサ２８および光学レンズの位置は、画像野がシャフトの遠位先端の真正面にあるように、シャフト１４の長手方向軸３４にほぼ沿って（長手方向軸に対して約０度の捕捉角度）、視野を提供しうる。一部の実装において、光学レンズは、シャフト１４の長手方向軸に対してゼロ以外の捕捉角度で画像を提供してもよい。例えば、捕捉角度は、長手方向軸に対して約３０度または約７０度であってもよい。図３に示す通り、一実装において、光学レンズは、シャフト１４の長手方向軸３４に対して約４５度の捕捉角度を有する画像軸４８に沿った画像を提供してもよい。加えて、カメラ１２は光源３６に連結されてもよい。光源３２はカメラ１２の内部にあってもよい。

光源３６はランプを含む。ランプは例えば、視野を照明するためのレーザーまたはＬＥＤなどの半導体光源であってもよい。光源３６は、ビデオカメラの視野を適切に照明するように構成されている。さらに、発生した光ならびにカメラ感度は、可視スペクトルを超えて延在しうる。照明は、標的において、またはインドシアニングリーンなどの蛍光物質において蛍光を直接励起することが意図されている場合があり、これは次いで、カメラによって検知される。例えば、光源３６は、近赤外線（ＮＩＲ）範囲内の照明を生成してもよく、カメラは、より長いＩＲ波長で蛍光を検知してもよい。照明およびカメラ感度は、ＵＶからＮＩＲまで継続的に延在する可能性があるか、または別個のナローバンドから成る可能性がある。

図２を参照すると、カメラコントローラ２０は、広範囲の制御、ユーザインターフェース、および画像取得／処理機能に対応するのに十分な処理能力を包含する、プログラム可能なユニットであることが好ましい。カメラコントローラ２０は、様々な能力を提供するプログラムアプリケーションを実行するプロセッサ３８を有する。例えば、画像捕捉および表示能力は、カメラコントローラ２０に連結されたディスプレイ２４を通した画像のライブフィードの表示と画像捕捉の両方を可能にする。捕捉された画像は、内部記憶装置４０または外部記憶装置２６などに記憶されてもよく、または他の装置に送信されてもよい。

ビデオカメラのタイミングは、非常に正確で一貫性がなければならない。画像センサ２８からの出力を制御および処理するために、プロセッサフィールドプログラマブルゲートアレイ（ＦＰＧＡ）４２を使用してもよい。他のコントローラを使用してもよいものの、ビデオ画像を処理するために一つ以上のＦＰＧＡを使用することは、標準的ビデオ出力信号を生成するために必要な正確なタイミングをシステムが達成することを可能にする。ユーザーインターフェースロジックおよび可能な外部ネットワーク接続は、プロセッサ３８上で実行中のソフトウェアによって行われうる。

一実装において、アナログＲＧＢデータは、画像センサ２８からカメラコントローラ２０に送信される。アナログＲＧＢデータは、アナログ／デジタル変換器４４を通って、ビデオが処理されるプロセッサＦＰＧＡ４２に至る。次いで、処理されたビデオは、ビデオが様々な表示フォーマットにフォーマットされるフォーマッタＦＰＧＡ４６を含みうるビデオ出力に伝えられる。フォーマッタＦＰＧＡ４６はまた、患者情報および／または医師情報などの情報をビデオにオーバーレイしてもよい。フォーマットされたビデオは、表示用にアナログ信号に再び変換されうる。フォーマットされたビデオは、ディスプレイ２４および／または記憶装置２６に送られる。代替的に、アナログ／デジタル変換器がカメラヘッド内に位置してもよく、デジタルＲＧＢデータがカメラヘッド１２からカメラコントローラ２０に送信される。加えて、画像センサ２８自体は、アナログ／デジタル変換器を含んでもよい。

カメラコントローラ２０は、カメラ１２にコマンドを発行して、その動作特性を調整し、カメラ１２は、カメラがコマンドを受信したという確認をカメラコントローラ２０に送ってもよい。プロセッサＦＰＧＡ４２および／またはプロセッサ３８は、カメラコントローラ２０またはカメラ１２のいずれかの中のシャッタードライバと通信して、画像センサ２８の露出期間を制御しうる。加えて、プロセッサＦＰＧＡ４２および／またはプロセッサ３８は、光源３２と通信して、光源３２のランプへの駆動電流を制御する。

図３および図４に示す通り、広角レンズ３２は、広角画像５０を可能にする。画像は、約９０度よりも大きく、より好ましくは約１４０度よりも大きい視野を有してもよい。カメラ入力装置１８またはカメラコントローラ入力装置２２などの入力装置を使用して、ユーザーは広角画像５０内の関心領域５２を選択してもよい。ユーザーは例えば、広角画像５０の一部分を拡大するために、または実際の捕捉角度と異なる見かけの捕捉角度をシミュレートするために、所望の通りに関心領域５２を選択してもよい。例えば、限定されるものではないが、ユーザーは、３０度、４５度、または７０度の見かけの捕捉角度を選択してもよい。

例えば、図３に示す通り、カメラは、長手方向軸３４に対して約４５度の捕捉角度を有する画像軸４８に沿って広角画像５０を撮影するように構成されてもよい。しかしながら、ユーザーは、長手方向軸に対して約３０度の捕捉角度で画像を撮影する内視鏡カメラをシミュレートするために、関心領域５２を選択してもよい。関心領域は中心５４および領域５６を有する。関心領域が特定されると、中心５４および領域５６は、以下に説明する通り、自動露出補正のために使用される。一部の場合において、関心領域は円形であり、領域５６は関心領域の半径に基づいて計算される。しかしながら、関心領域は、異なる形状を有してもよい。

図４に示す通り、シャフト１４が第一の位置から第二の位置に回転される際に、画像中心５３は変化しないが、関心領域５２はシャフトとともに回転する。関心領域５２が選択されると、画像中心５３に対する関心領域の位置が分かる。スコープの配向は、ストップマスクの形状などの配向インジケータ５８から取得されうる。図４で分かる通り、配向インジケータ５８は、スコープとともに回転し、関心領域５２の位置を追跡および更新するために使用されうる。関心領域の露出は、スコープが回転されると自動的に更新される。

図５を参照すると、カメラコントローラ２０は、カメラ１２から画像を受信する（工程６０）。カメラコントローラ２０はさらに、ユーザーから関心領域識別を受信し、関心領域は画像のサブ部分である（工程６２）。コントローラが、関心領域の中心および領域を含む関心領域識別をユーザーから受信すると、カメラコントローラ２０は、関心領域の測定輝度値を計算する（工程６４）。測定輝度値は、関心領域の平均緑色強度、平均赤色強度、平均青色強度の少なくとも一つの加重和を計算することによって得られうる。好ましい一実装において、測定輝度値は、関心領域の平均緑色強度の加重和を計算することによって得られる。

測定輝度値が計算されると、測定輝度値は目標輝度値と比較される（工程６６）。一実装において、目標輝度値は、カメラ入力装置１８またはカメラコントローラ入力装置２２を使用することによってなど、ユーザーによって調整可能である。

比較に応じて、カメラコントローラは露出を調整して、測定輝度値を目標輝度値に近づける（工程６８）。カメラコントローラは、カメラの構成と、測定輝度値が目標輝度値とどの程度異なるかとに応じて、幾つかの変数のうちの一つ以上を調整することによって、露出を調整しうる。例えば、カメラコントローラ２０は、画像センサ２８の露出時間を調整してもよい。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ２０は、露出時間を増加させて、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ２０は、露出時間を減少させうる。

加えて、カメラコントローラ２０は、光源３６の強度を調整してもよい。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ２０は、光源時間の強度を増加させて、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ２０は、光源の強度を減少させうる。

加えて、カメラコントローラ２０は、取得された画像に適用されるデジタルゲインを調整してもよい。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ２０は、取得された画像に適用されるデジタルゲインを増加させて、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ２０は、デジタルゲインを減少させうる。

加えて、カメラが、画像センサ２８に到達する光の量を制御する可変絞りを有する場合、カメラコントローラは、可変絞りを制御して、画像センサに到達する光の量を変更しうる。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ２０は、絞りのサイズを増加させ、より多くの光が画像センサ２８に到達することを可能にして、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ２０は、絞りのサイズを減少させて、より少ない光が画像センサに到達することを可能にしうる。加えて、カメラコントローラ２０は、画像センサ２８の感度を調整してもよい。

カメラコントローラ２０は、複数のパラメータを調整する必要がありうる。例えば、カメラコントローラ２０が、露出時間を最大限に可能な露出時間まで既に増加させていて、かつ測定輝度値が依然として、目標輝度値よりも低い場合、カメラコントローラは、デジタルゲインなどの別のパラメータを調整して、測定輝度値をさらに増加させうる。

一実装において、既知のカメラ空間照明特性が、露出を調整する際にさらに考慮され、露出補正は、関心領域にわたって不均一である。例えば、カメラ１２が広角画像の周辺に向かって光が減少することが知られている場合、勾配を計算して適用し、自動露出設定を変更してもよい。選択された関心領域が広角画像の周辺の近くのピクセルを含む場合、周辺により近い関心領域内のピクセルには、増加させたデジタルゲインが提供されてもよい。一実装において、関心領域の各ピクセルが、広角画像の中心からどの程度離れているかに応じて、勾配が適用される。

先行技術に関連するデメリットを完全かつ効果的に克服する外科手術撮像システムおよび方法が、上記説明および図面に開示されている。しかしながら、本開示の実装の変形および修正が、本発明の原理から逸脱することなく行われうることが明らかであろう。本明細書における実装の提示は、限定ではなく例示の目的でのみ提供されていて、本発明の真の範囲および趣旨は、以下の特許請求の範囲によって示されている。

Claims (23)

1. 画像を捕捉および出力するカメラと、
   前記カメラに連結されたカメラコントローラと、
   前記カメラまたは前記カメラコントローラに連結されたユーザー入力装置と、を備え、前記ユーザー入力装置が前記画像の関心領域を選択するために使用可能であり、前記関心領域が前記画像のサブ部分であり、
   前記カメラコントローラが、
   前記関心領域の測定輝度値を計算し、
   前記測定輝度値と目標輝度値の比較に応答して露出を調整する、内視鏡カメラシステム。
2. 前記輝度値が、前記関心領域の平均緑色強度、平均赤色強度、平均青色強度のうちの少なくとも一つの加重和である、請求項１に記載のシステム。
3. 前記輝度値が、前記関心領域の平均緑色強度の加重和である、請求項１に記載のシステム。
4. 前記露出を調整することが、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することをさらに含む、請求項１に記載のシステム。
5. 前記カメラが長手方向軸を有し、前記長手方向軸に対してゼロ以外の角度で前記画像を捕捉する、請求項１に記載のシステム。
6. 前記カメラが、前記長手方向軸に対して４５度の捕捉角度で前記画像を捕捉する、請求項５に記載のシステム。
7. 前記ユーザー入力装置が、実際の捕捉角度と異なる見かけの捕捉角度を有する関心領域を選択するために使用可能である、請求項５に記載のシステム。
8. 前記カメラが、９０度よりも大きい視野を有する画像を捕捉し、出力する、請求項１に記載のシステム。
9. 前記ユーザー入力装置が、前記画像視野よりも小さい見かけの視野を有する関心領域を選択するために使用可能である、請求項８に記載のシステム。
10. 前記画像が、画像中心および配向インジケータをさらに含み、
    前記関心領域が、前記画像中心から固定距離に位置付けられた関心領域の中心を有し、
    前記カメラコントローラが、前記配向インジケータの位置の変化に基づいて、前記関心領域の中心を変更する、請求項１に記載のシステム。
11. 前記露出を調整することが、前記関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含む、請求項１に記載のシステム。
12. 前記ゲイン調整が、前記関心領域内の前記ピクセルのすべてにわたって均一でない、請求項１１に記載のシステム。
13. ピクセルゲインが、前記画像の中心からの前記ピクセルの位置に応じて、勾配を使用して調整される、請求項１２に記載のシステム。
14. 撮像システムの露出を調整する方法であって、
    カメラから画像を受信することと、
    ユーザーから前記画像の関心領域を受信することであって、前記関心領域が前記画像のサブ部分であることと、
    前記関心領域の測定輝度値を計算することと、
    前記測定輝度値と目標輝度値の比較に応答して露出を調整することと、を含む方法。
15. 前記測定輝度値を計算することが、前記関心領域の平均緑色強度、平均赤色強度、平均青色強度の加重和を計算することをさらに含む、請求項１４に記載の方法。
16. 前記測定輝度値を計算することが、前記関心領域の平均緑色強度の加重和を計算することをさらに含む、請求項１４に記載の方法。
17. 前記露出を調整することが、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することをさらに含む、請求項１４に記載の方法。
18. 前記画像が、長手方向軸に対してゼロよりも大きい実際の捕捉角度で捕捉され、前記受信された関心領域が、前記実際の捕捉角度と異なる見かけの捕捉角度を有する、請求項１４に記載の方法。
19. 前記画像が、９０度よりも大きい視野を有し、前記受信された関心領域が、前記画像視野よりも小さい見かけの視野を有する、請求項１４に記載の方法。
20. 前記画像が、画像中心および配向インジケータをさらに含み、
    前記関心領域が、前記画像中心から固定距離に位置付けられた関心領域の中心を有し、
    前記方法が、前記配向インジケータの位置の変化に基づいて、新しい関心領域の中心を計算することをさらに含む、請求項１４に記載の方法。
21. 前記露出を調整することが、前記関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含む、請求項１４に記載の方法。
22. 前記ゲイン調整が、前記関心領域内の前記ピクセルのすべてにわたって均一でない、請求項２０に記載の方法。
23. ピクセルゲインが、前記画像の中心からの前記ピクセルの位置に応じて、勾配を使用して調整される、請求項２１に記載の方法。
    
    
    

Images