JP6972233B2 - 表示されるシーンの所定の目標輝度を維持するための自動露出及び照明制御のためのシステム - Google Patents

Description

関連出願
本願は、２０１４年３月１７日に出願された米国特許出願第６１／９５４，３３６号、及び２０１４年３月１７日に出願された米国特許出願第６１／９５４，３８１号についての利益を主張する国際出願ＰＣＴ／ＵＳ２０１５／０２０８９２の国内移行出願に関するものであり、これら各文献は、参照により本明細書に組み込まれる。

本発明の態様は、内視鏡イメージングに関し、より具体的には、遠隔操作手術システムにおける組織接触検出、表示されるシーンの輝度制御、カメラの自動露出制御、及び照明制御に関する。

カリフォルニア州のサニーベールのIntuitive Surgical, Inc.により商品化されているda Vinci（登録商標）手術システムは、身体への低減した外傷、より早い回復及び短い入院日数等の多くの利益を患者に提供する最小侵襲性遠隔操作手術システムである。da Vinci（登録商標）手術システムの１つの特徴は、外科医に立体視を提供するために、２チャンネル（すなわち、左右の）ビデオキャプチャを提供し且つ可視化画像を表示させる能力である。このような電子的な立体視撮像システムは、高解像度ビデオ画像を外科医に出力することができ、及び、外科医が、特定の組織タイプ及び特性を特定するだけでなく、向上した精度で作業を行うことを可能にする「拡大」ビューを提供するズーム等の機能を可能にする。

しかしながら、手術部位の照明や手術部位の画像の取込み中に使用されるカメラ露出時間は、外科医に提供される画質に影響を与える要因の一部となる。例えば、特許文献１は、第１レベルの照明を提供する内視鏡を体内に導くステップと、第２レベルの照明を提供する照明装置を体内に導くステップと、を説明する。第２レベルの照明は、第１レベルの照明よりも大きく、且つ大きな標的領域を撮像するために使用される。内視鏡からのより低いレベルの照明は、より小さな標的領域を撮像するために使用される。

しかしながら、高輝度光源に関する潜在的な問題が認識され、その解決策が、特許文献２に提供される。この特許によれば、高輝度光源からの出力は、その出力が組織に向けられていないときはいつでも、光源の出力強度を安全レベルまで自動的に低減するように制御される。組織からの反射光が監視され、その反射光が、光源が組織に向けられていないことを示す場合には、光強度は、安全レベルまで低下される。

米国特許第８，５１２，２３２号 米国特許第６，５１１，４２２号

遠隔操作手術システムでは、制御装置が内視鏡のチップと組織との接触を検出した場合に、制御装置は、内視鏡のチップからの光パワー出力を減衰させる。これによって、組織が接触によって損傷を受けないようにしている。

一態様では、制御装置は、組織から反射された輝度を監視することにより、及び内視鏡からの光パワー出力を監視することによって接触を検出する。制御装置は、第１の光パワー出力から第２の光パワー出力への変化が、第１の光パワー出力についての反射輝度と比較して、第２の光パワー出力についての反射輝度の変化を生じさせない場合に、接触が発生したと判断する。

制御装置は、内視鏡のチップからの光パワー出力を、その後減衰させる既知のパターンで変化させる。制御装置は、反射輝度が光パワー出力を変更することに伴って変化するかどうかを検出する。反射輝度が変化する光パワー出力の既知のパターンに従う場合に、制御装置は、減衰を終了する。

遠隔操作手術システムは、照明装置、カメラ、及び制御装置を含む。照明装置は、光パワー出力を提供する。カメラは、組織を含むシーンを取り込むように構成される。制御装置は、照明装置に及びカメラに結合される。制御装置は、内視鏡と組織との接触を検出するように構成される。制御装置は、接触を検出した後に光パワー出力を減衰するように構成される。

制御装置は、カメラに結合された統計モジュールを含む。統計モジュールは、カメラにより取り込まれたシーンを受信する。統計モジュールは、取り込んだシーンの輝度ヒストグラムを作成し、取り込んだシーンの全体の輝度を決定する。制御装置の接触検出モジュールは、統計モジュールに結合される。接触検出モジュールは、取り込んだシーンの全体の輝度を受信し、且つカメラ露出時間を受信する。接触検出モジュールは、照明装置にも結合される。接触検出モジュールは、内視鏡のチップと組織との接触を検出する。

一態様では、照明装置は、ディザリング(dither)モジュールを含む。ディザリング・モジュールは、接触検出モジュールに結合される。ディザリング・モジュールは、接触検出モジュールによって有効にされた後に、光パワー出力を既知のパターンで変化させるように構成される。自動露出モジュールが、統計モジュールに結合される。自動露出モジュールは、取り込んだシーンの輝度変化を検出するように構成される。

遠隔操作手術システムは、制御システムを含む。制御システムは、カメラ制御ユニット及び照明制御装置を含む。照明制御装置は、遠隔操作手術システムの照明装置からの光パワー出力を制御するように構成される。カメラ制御ユニットは、遠隔操作手術システムのカメラからビデオストリームを受信するように構成される。カメラ制御ユニットは、照明制御装置に結合される。カメラ制御ユニットは、また、照明制御装置に命令して、光パワー出力を第１の光パワー出力から第２の光パワー出力に変更するように構成され、且つカメラに命令して、カメラ露出時間を第１の露出時間から第２の露出時間に変更するように構成され、それによって、フレームが、その後、第２の露出時間で、第２の光パワー出力から反射した光により取り込まれる。

一態様では、光源が、照明制御装置に結合される。内視鏡が、光源に結合される。カメラが、内視鏡に結合され、且つカメラ制御ユニットに結合される。

一態様では、カメラ制御ユニットは、統計モジュールを含む。統計モジュールは、ビデオストリームを受信するために、カメラに結合される。統計モジュールは、ビデオストリームのフレームについて輝度ヒストグラムを作成するように構成される。カメラ制御ユニットは、統計モジュールに結合された自動露出モジュールも含む。自動露出モジュールは、表示されるシーンの目標輝度を維持するように構成され、表示されるシーンは取り込んだフレームからのシーンである。また、自動露出モジュールは、取り込んだフレームのシーンの飽和画素をそのシーンのそれぞれの所定の画素数未満に制限するように構成される。また、自動露出モジュールは、照明装置からの最小光パワー出力を維持するように構成される。

別の態様では、カメラ制御ユニットは、第１及び第２の制御ループを含む。第１の制御ループは、表示されるシーンが目標輝度を有するように、ビデオ・パイプラインの利得及びカメラ露出時間の一方又は両方を自動的に調整するように構成される。

第２の制御ループは、光パワー出力を自動的に調整するとともに、続いて取り込まれるフレームのカメラ露出時間を調整するように構成される。第２の制御ループは、カメラ露出時間の値に基づいて、光パワー出力及びカメラ露出時間を調整するように構成される。

第２の制御ループは、カメラ露出時間が第１の露出閾値よりも大きい場合に、光パワー出力を増大させ、且つカメラ露出時間を減少させる。第２の制御ループは、カメラ露出時間が第２の露出閾値よりも小さい場合に、光パワー出力を低下させ、且つカメラ露出時間を増加させる。第２の制御ループは、カメラ露出時間が第１の露出閾値と第２の露出閾値との間にある場合に、光パワー出力及びカメラ露出時間を変えないままにする。

一態様では、第１の制御ループ及び第２の制御ループは、自動露出モジュールに含まれる。統計モジュールは、ビデオストリームを受信するためにカメラに結合され、且つ自動露出モジュールに結合される。統計モジュールは、ビデオストリームのフレームについて輝度ヒストグラムを作成するように構成される。

一態様では、カメラ制御ユニットは、表示されるシーンの目標輝度を自動的に調整して、続いて取り込まれるフレーム内の飽和画素数を減らすように構成された制御ループを含む。制御ループは、減少幅の制限を目標輝度に適用するように構成される。

さらに別の態様では、カメラ制御ユニットは、自動露出モジュールを含む。自動露出モジュールは、ビデオストリームのフレームの輝度ヒストグラムを受信するために、統計モジュールに結合される。また、自動露出モジュールは、ヒストグラムの情報を用いて平均輝度を決定するように構成される。自動露出モジュールは、目標輝度に対する平均輝度の関係に基づいて、ビデオ・パイプラインの利得及びカメラ露出時間の一方又は両方を調整するようにも構成される。自動露出モジュールは、取り込んだシーンの飽和画素数が飽和画素閾値よりも大きい場合に、目標輝度を低下させる。また、自動露出モジュールは、照明制御装置に命令して、照明装置の第１の出力を照明装置の第２の出力に変更し、且つカメラに命令して、照明装置の出力の変動を補償するために、カメラ露出を調整するように構成される。

遠隔操作手術システムを作動する作動方法は、取り込んだシーンの平均輝度及び表示されるシーンの目標輝度を用いて、ビデオ・パイプラインの利得及びカメラ露出時間の一方又は両方を調整するステップを含む。この作動方法は、カメラ露出時間を用いて、照明装置の光パワー出力及びカメラの露出時間も設定する。この作動方法は、目標輝度を低下させることによって、第２の取込みフレームにおける飽和画素数を減少させる。

シーンの飽和画素数の一部又は全てを制御するための、ビデオ・パイプラインの利得を制御するための、光パワー出力を制御するための、カメラ露出時間を制御するための、及び組織接触を検出するための制御装置を含む遠隔操作手術システムのブロック図である。 シーンの飽和画素数の一部又は全てを制御するための、ビデオ・パイプラインの利得を制御するための、光パワー出力を制御するための、カメラ露出時間を制御するための、及び組織接触を検出するための制御装置を含む遠隔操作手術システムのブロック図である。 シーンの飽和画素数を制御するための、ビデオ・パイプラインの利得を制御するための、光パワー出力を制御するための、カメラ露出時間を制御するための、及び組織接触を検出するための制御装置を含む遠隔操作手術システムの別のブロック図である。 統計モジュールによって生成される、取り込まれたシーンの輝度ヒストグラムである。 自動露出モジュールの一態様のプロセスフロー図である。 図４の飽和画素制限プロセスの一態様のプロセスフロー図である。 図４の利得及び露出時間調整プロセスの一態様のプロセスフロー図である。 図４のパワー及び露出時間調整プロセスの一態様のプロセスフロー図である。 カメラ露出時間を用いる光パワー出力の制御を説明する図である。 図２のカメラ制御ユニットのパイプライン図及び図４のプロセスフロー図である。

図面において、参照符号の最初の桁数は、その参照符号を含む要素が最初に現れた図を示す。

一態様では、遠隔操作手術システム１００Ａ，１００Ｂ（図１Ａ及び図１Ｂ）の内視鏡１０１で取り込まれ、且つ立体視ディスプレイ・ユニット１５１に表示されるシーンは、組織１０３と内視鏡１０１の先端チップとの間の作業距離が変化した場合であっても、一貫した輝度を維持する。遠隔操作手術システム１００Ａ，１００Ｂは、内視鏡１０１が組織に接触したことを自動的に検出し、組織の損傷が生じないように、照明装置１１０の光パワー出力を調整する。

照明装置１１０からの光パワー出力、例えば可視光を有する照明は、時にはチップと呼ばれる内視鏡１０１の先端チップにおいて内視鏡１０１から出射される。照明は、組織１０３から反射され、且つ左側カメラ１２０Ｌの左画像センサ１２１Ｌによって取り込まれる左カラーシーンを含むフレーム１２２Ｌとして、及び右側カメラ１２０Ｒの右画像センサ１２１Ｒによって取り込まれる右カラーシーンを含むフレームの１２２Ｒとして取り込まれる。左右の画像センサ１２１Ｌ，１２１Ｒのそれぞれは、シーンを含むフレームを取り込むといえる。

取り込まれたフレームは、フレーム毎にビデオストリームとしてカメラ制御ユニット１３０Ｌ，１３０Ｒに渡され、その制御ユニットで各フレームが処理され、次にビデオ・パイプライン１４０に渡される。ビデオ・パイプライン１４０は、以下で説明することを除いて、従来の遠隔操作手術システムにおけるビデオ・パイプラインの処理と同じ方法で各フレームを処理し、次に、そのフレームを外科医コンソール１５０の立体視ディスプレイ１５１に渡す。

こうして、組織１０３は、遠隔操作手術システム１００Ａ，１００Ｂのユーザによって、外科医コンソール１５０で視認される。シーンのビデオシーケンスが立体視ディスプレイ１５１に表示される間に、そのシーンは組織１０３の連続画像としてユーザに表示され、例えば、ユーザが、組織１０３の動きを確認し、出血を確認し、呼吸による動作等を確認する。しかしながら、ユーザは、立体視ディスプレイ１５１に表示されるシーンの輝度の変化に気を取られ、気が散ってしまう可能性がある。遠隔操作手術システム１００は、たとえ組織１０３と内視鏡１０１の先端チップとの間の作業距離が、増加又は減少のいずれかで変化しても、表示されたシーンの一貫した輝度を維持する。この例では、立体視内視鏡を用いているが、システム１００Ａ，１００Ｂは、単一の取り込んだシーンを処理することにより、単一の光チャンネルを有する内視鏡と同じように機能する。

立体視ディスプレイ１５１に表示されるシーンは、目標輝度と呼ばれる所定の輝度を有する。一態様では、目標輝度は、遠隔操作手術システム１００Ａ，１００Ｂによって設定される。しかしながら、いくつかの態様では、外科医は、表示されたシーンの輝度が外科医に許容可能となるように、目標輝度を調整することが許可される。

一態様では、内視鏡制御システムは、制御装置を含み、次にこの制御装置は、カメラ制御ユニット１３０Ｌ，１３０Ｒと、照明制御装置１１５とを含む。一態様では、カメラ制御ユニット１３０Ｌ，１３０Ｒは、２つの制御ループ１３１，１３２を含む（図１Ａ参照）。制御ループ１３１，１３２の組合せは、表示されるシーン（表示されるシーンは、取り込まれるフレーム内のシーンである）の目標輝度を維持するように構成され、且つ照明装置の最小出力を維持するように構成される。

内視鏡１０１が組織１０３から離れる際に、利得及び露出制御ループ１３１が、左画像センサ１２１Ｌによって取り込まれたシーンの、及び右画像センサ１２１Ｒによって取り込まれたシーンの全体の輝度が低下するのを検出した場合に、利得及び露出制御ループ１３１は、カメラ１２０Ｌ，１２０Ｒのいずれかに自動的に命令して、カメラ露出時間を増加させ、それによって、続いて取り込まれた画像が目標輝度を有する、又はビデオ・パイプライン１４０に命令して、ディスプレイ・ユニット１５１上に表示されるシーンの輝度を制御する利得を増大させ、それによって表示されるシーンが目標輝度有するようになる。いくつかの状況では、利得及び露出制御ループ１３１は、カメラ露出時間の増加、及びビデオ・パイプラインの利得の増大の両方を自動的に命令する。パワー及び露出制御ループ１３２は、照明装置１１０からの光パワー出力を増大すべきかどうかを判断する。光パワー出力が増大した場合に、パワー及び露出制御ループ１３２は、照明装置１１０の光パワー出力を増大させ、且つフレーム毎に固定サイズの同期線形ステップにおいてカメラ１２０Ｌ，１２０Ｒの露出時間を減少させる。

光パワー出力の増大及び露出時間の減少は、同じサイズの変更であり、例えば、光パワー出力の増大が１％であれば、露出時間の減少は１％となる。システムが完全であれば、元の光パワー出力及び元の露出時間で取り込まれたシーンと比較して、新しい光パワー出力及び新しい露出時間で取り込まれたシーンの全体の輝度に変化がないであろう。しかしながら、システムは完全ではないので、新しい光パワー出力及び新しい露出時間で取り込まれたシーンの全体の輝度に変化があり得る。こうして、光パワー出力及び露出時間の同期した変更によって生じる表示画像の輝度のフリッカーが外科医に気付かれないように、固定サイズのステップが選択される。

同様に、内視鏡１０１が組織１０３に向けて移動する際に、利得及び露出制御ループ１３１が、左側カメラ１２０Ｌの左画像センサ１２１Ｌによって、及び右側カメラ１２０Ｒの右画像センサ１２１Ｒによって取り込まれたシーンの輝度の増大を検出した場合に、利得及び露出制御ループ１３１は、カメラ１２０Ｌ，１２０Ｒのいずれかに自動的に命令して、カメラ露出時間を減少させ、それによって、続いて取り込まれる画像が目標輝度を有する、又はビデオ・パイプライン１４０に命令して、ディスプレイ・ユニット１５１上に表示されるシーンの輝度を制御する利得を低下させ、それによって表示されるシーンは目標輝度を有する。いくつかの状況では、利得及び露出制御ループ１３１は、カメラ露出時間の減少、及びビデオ・パイプラインの利得の低下の両方を自動的に命令する。パワー及び露出制御ループ１３２は、照明装置１１０からの光パワー出力を低下すべきかどうかを判断する。光パワー出力を低下させる必要がある場合に、パワー及び露出制御ループ１３２は、照明装置１１０の光パワー出力を低下させ、且つフレーム毎に固定サイズの同期線形ステップでカメラ１２０Ｌ，１２０Ｒの露出時間を増加させる。しかしながら、光パワー出力の低下が最小光パワー出力に達した場合に、照明装置１１０の光パワー出力は、最小光パワー出力に維持される。

別の態様では、カメラ制御ユニット１３０Ｌ，１３０Ｒは、３つの制御ループ１３１，１３２，１３３を含む（図１Ｂ参照）。制御ループ１３１，１３２，１３３の組合せは、表示されるシーン（表示されるシーンは、取り込まれたフレーム内のシーンである）の目標輝度を維持するように構成され、取り込まれたフレームのシーンの飽和画素をそのシーンのそれぞれの所定の画素数未満に制限するように構成され、且つ照明装置の最小出力を維持するように構成される。この態様では、制御ループ１３１，１３２は、上述したのと同様に機能する。

外科医にとって気が散る可能性がある輝度の変化に加えて、その領域の詳細を伝え損ねた、表示されるシーンの領域は、外科医の気をそらす可能性がある。画像センサ１２１Ｌ，１２１Ｒは、画素と呼ばれるウェルに光を取り込む。各ウェルは、限られた容量を有し、非常に多くの光がウェルに取り込まれた場合に、そのウェルはオーバーフローし、それによって有用な情報を失う。ウェルがオーバーフローするとき、その画素は、飽和画素と呼ばれる。

組織１０３の領域が非常に多くの光を反射し、組織のその領域によって反射された光を取り込む画素が飽和した場合に、外科医は、その領域を、詳細を含まない明るいスポットとして立体視ディスプレイ１５１上で見ることになる。その領域の組織、血管等の性質に関するあらゆる情報が失われる。こうして、一態様では、飽和画素制御ループ１３３は、フレーム全体における飽和画素数を決定し、その飽和画素数が外科医にとって気を散らすのに十分に大きい場合に、飽和画素制御ループ１３３は、フレームの飽和画素数が外科医の気をそらさないであろう数よりも少なくなるまで、フレーム毎に固定サイズの線形ステップで目標輝度を低下させる。しかしながら、目標輝度の低下は、範囲が限定される。これは、目標輝度が、システムによって設定され又は外科医によって選択された元の目標輝度等の一定割合以下に低下する、例えば目標輝度の最大変化が元の目標輝度の３５％未満に制限されることを意味する。こうして、飽和画素制御ループ１３３は、減少幅の制限を目標輝度に適用するように構成される。

飽和画素制御ループ１３３は、フレーム全体の飽和画素の総数を解析するので、飽和画素制御ループ１３３の動作は、フレーム内の飽和画素の位置に依存しない。このアプローチは、特徴の位置が表示されるシーンにおいて飽和画素の変化を生じさせる際に、例えば手術用器具がシーン内で動き回る際に、表示されるシーンの一貫性のある輝度を維持する。

内視鏡１０１（図１Ａ及び図１Ｂ）が組織１０３に向けて移動し続ける場合に、最終的に、内視鏡１０１は組織１０３に接触する。接触は、組織１０３から反射される輝度に殆ど又は全く変化を生じさせない、光パワー出力レベルの変化を検出することによって観察される。この状況がカメラ制御ユニット１３０Ｌ，１３０Ｒによって検出された場合に、照明装置１１０の光パワー出力は、組織との接触に安全なレベルまで低減される。

光パワー出力の変化が、組織１０３から反射される輝度の変化を殆ど又は全く生じさせない、例えば内視鏡１０１の先端チップがカニューレ内に引き込まれる場合に、組織接触以外の状況が存在する。誤検出等によって内視鏡１０１の動作が阻害されるのを防止するために、照明装置１０１の光パワー出力が組織接触に安全なレベルにされるが、光パワー出力は、既知の方法で変化される。光パワー出力のこの既知の変化が、カメラ制御ユニット１３０Ｌ，１３０Ｒによって検出された場合に、内視鏡１０１は、組織と接触しておらず、光パワー出力の通常制御が、カメラ制御ユニット１３０Ｌ，１３０Ｒによって再開される。

こうして、一態様では、制御装置は、組織１０３から反射された輝度を監視することにより、及び光パワー出力を監視することにより、内視鏡のチップと組織との接触を検出する。制御装置は、接触を検出すると、内視鏡のチップからの光パワー出力を減衰させる。反射輝度が直接的に測定されないので、制御装置は、カメラ露出時間に対する取り込んだシーンの全体的な輝度の比として反射輝度を決定する。ここで、全体の輝度は、フレームの平均輝度を示す。

こうして、接触を検出するために、制御装置は、反射輝度、すなわちカメラ露出時間に対する取り込んだシーン全体の輝度の比を監視し、且つ内視鏡１０１からの光パワー出力を監視する。制御装置は、第１の光パワー出力から第２の光パワー出力への変化が、第１の光パワー出力から反射した光によって取り込まれたシーンの比と比較して、比の変化を生じさせない、すなわち反射輝度の変化を生じさせない場合に、内視鏡のチップが組織に接触したと判断する。

遠隔操作手術システム１００（図１Ａ及び図１Ｂ）の一例は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.により市販されているda Vinci（登録商標）最小侵襲性遠隔操作手術システムである。遠隔操作手術システム１００Ａ，１００Ｂは、単なる例示であり、これに限定されるものではない。この例では、外科医コンソール２５０にいる外科医は、ロボットマニピュレータアーム（図示せず）に取り付けられた内視鏡２０１を遠隔で操作する。da Vinci（登録商標）手術システムに関連する等の他の部品、ケーブル等が存在しているが、これらは、本開示から逸脱するのを避けるために、図１Ａ及び図１Ｂに示していない。遠隔操作による最小侵襲性手術システムに関する更なる情報は、例えば、（２００７年６月１３日に出願された、”Minimally Invasive Surgical System”を開示する）米国特許出願第１１／７６２，１６５号、及び（２００１年１２月１８日に出願された、”Surgical Robotic Tools, Data Architecture, and Use”を開示する）米国特許第６，３３１，１８１号に見出すことができ、これら両文献は、参照により本明細書に組み込まれる。

照明システム、例えば照明装置１１０は、内視鏡１０１に結合される。一態様では、照明装置１１０は、光源１１１及び照明制御装置１１５を含む。照明制御装置１１５は、光源１１１に結合されるとともに、カメラ制御ユニット１３０Ｌ，１３０Ｒに結合される。

図１の態様では、光源１１１は、複数の色成分の照明源１１２を含む。一態様では、複数の色成分の照明源１１２は、複数の発光ダイオード（LEDs）を含む。ＬＥＤの使用は、単なる例示であり、これ限定されるものではない。複数の色成分の照明源１１２は、ＬＥＤの代わりに、例えば複数のレーザ源又は複数のレーザダイオードで実装することもできる。あるいはまた、光源１１１は、可視画像のための広帯域白色照明光を生成するために、楕円形のバックリフレクタ及び帯域通過フィルタコーティングを含むキセノンランプを使用することができる。キセノンランプの使用も、単なる例示であり、これに限定されるものではない。例えば、高圧水銀ランプ、他のアークランプ、又は他の広帯域光源を使用してもよい。

この態様では、照明装置１１０は、組織１０３を照明するために、立体内視鏡１０１内の少なくとも１つの照明経路に関連して使用される。照明装置１１０からの出力光が、コネクタ１１６に導かれる。コネクタ１１６は、光を立体内視鏡１０１内の照明経路に供給し、次にその光を手術部位１０３に導く。コネクタ１１６及び立体内視鏡１０１内の照明経路のそれぞれは、例えば、光ファイバ束、単一の剛性ロッド又は可撓性ロッド、又は光ファイバで実装することができる。一態様では、内視鏡１０１は、手術部位１０３から反射した光をカメラ１２０Ｌ，１２０Ｒに渡す２つの光チャンネル、すなわち立体視光路も含む。

カメラ１２０Ｌは、左側カメラ制御ユニット１３０Ｌ及びビデオ・パイプライン１４０により外科医コンソール１５０の立体視ディスプレイ１５１に結合される。カメラ１２０Ｒは、右側カメラ制御ユニット１３０Ｒ及びビデオ・パイプライン１４０により外科医コンソール１５０の立体視ディスプレイ１５１に結合される。カメラ制御ユニット１３０Ｌ，１３０Ｒは、システム・プロセス１６２から信号を受信する。システム・プロセス１６２及び中央制御装置１６０は、システム１００内の様々な制御装置の一部を表す。

表示モード選択スイッチ１５２は、ユーザインターフェイス１６１に信号を提供し、次に、選択された表示モード、例えばハイパワーモードをシステム・プロセス１６２に渡す。システム・プロセス１６２内の各種制御装置は、照明制御装置１１５を設定し、所望の画像を取得するために、左右のカメラ制御ユニット１３０Ｌ，１３０Ｒを設定し、及び外科医が必要とする画像をディスプレイ１５０に提示するように、取得した画像を処理するのに必要なビデオ・パイプライン１４０の他の要素を設定する。ビデオ・パイプライン１４０は、本明細書に提供される詳細を除いて、既知のビデオ・パイプラインと同様である。

中央制御装置１６０として説明したが、中央制御装置１６０だけでなく本明細書に記載した他の制御装置のそれぞれが、任意数のモジュールによって実際に実現してもよく、及び各モジュールは、コンポーネントの任意の組合せを含んでもよいことを理解されたい。各モジュール及び各コンポーネントは、ハードウェア、プロセッサ上で実行されるソフトウェア、ファームウェア、又はこれら３つの任意の組合せを含むことができる。また、本明細書に記載されるような中央制御装置１６０及び他の制御装置のそれぞれの機能及び作用は、１つのモジュールによって実行される、或いは異なるモジュール間で又はさらにモジュールの異なるコンポーネント間で分割してもよい。異なるモジュール又はコンポーネント間で分割する場合に、モジュール又はコンポーネントは、一箇所に集中させてもよく、又は分散型処理のためにシステム１００Ａ，１００Ｂに亘って分散させてもよい。こうして、本明細書に記載の中央制御装置１６０及び他の制御装置のそれぞれは、単一の物理的エンティティを必要とすると解釈すべきではなく、いくつかの態様では、制御装置は、システム１００Ａ，１００Ｂに亘って分散させてもよい。

図１Ａ及び図１Ｂでは、カメラ１２０Ｌ，１２０Ｒ及び光源１１２は、内視鏡１０１の外部に存在するものとして示されている。しかしながら、一態様では、カメラ１２０Ｌ，１２０Ｒ及び光源１１２は、内視鏡１０１の先端チップに含まれる。例えば、図２では、カメラ２２０及び光源２１１は、遠隔操作手術システム２００の内視鏡２０１に含まれる。

再び、遠隔操作手術システム２００の一例は、上述したda Vinci（登録商標）最小侵襲性遠隔操作手術システムである。遠隔操作手術システム２００は、単なる例示であり、これに限定されるものではない。遠隔操作手術システム１００Ａ，１００Ｂと同様に、da Vinci（登録商標）手術システムに関連する他の部品、ケーブル等が存在しているが、これらは、本開示から逸脱するのを避けるために、図２に示していない。

この例では、制御装置は、カメラ制御ユニット２３０及び照明制御装置２１５を含む。一態様では、カメラ制御ユニット２３０は、カメラ制御ユニット１３０Ｌ，１３０Ｒを表し、カメラ２２０は、カメラ１２０Ｌ，１２０Ｒを表す。別の態様では、カメラ制御ユニット２３０は、カメラ２２０の単一の光チャンネルに結合される。

カメラ制御ユニット２３０は、ディスプレイ・ユニット２５１に表示されるシーンの輝度を制御する自動露出モジュール２３２を含む。また、照明制御装置２１５による光パワー出力制御は、自動露出モジュール２３２に結び付けられ、外科的なシナリオが最大光パワー出力や照明装置の自動的な増光を必要としない場合で、外科的なシナリオが最小光パワー出力よりも多くの照明を必要とするときに、照明装置の自動調光を提供する。臨床用途では、良好な質のビデオを提供するために必要な多くの光を使用することが望ましい。これは、ハイパワー照明に起因する任意の負の組織相互作用を回避することができる。

標的２０３、例えば手術部位により反射された光源２１１からの光は、カメラ２２０によってカラーシーンとして取り込まれる。光源２１１は、自動露出モジュール２３２からのコマンドに応答して及び接触検出モジュール２３３からのコマンドに応答して、照明制御装置２１５によって制御される光パワー出力２１２を有する。標的２０３は、標的２０３の明るさの指標である輝度２０５を有する。通常、光パワー出力２１２が増減すると、標的２０３の輝度２０５も増減する。取り込まれた画像の輝度との混同を避けるために、標的２０３の輝度は、「反射輝度」と呼ばれ、取り込まれた画像の輝度は、「取込み画像輝度」又は「画像輝度」と呼ばれる。

一態様では、カメラ２２０は、ローリングシャッター・カメラである。本明細書で使用される場合に、ローリングシャッタは、カメラの画像センサからフレーム全体を一度に読み出す代わりに、情報が、上から下にフレームの各行から順次読み出されることを意味する。

カメラ２２０は、ビデオストリームを含むフレームの連続的なシーケンスを取り込む。取り込んだ各フレームは、標的２０３の瞬間的な時間のスナップショットであるカラーシーンを含む。ビデオ２２１は、カメラ２２０からカメラ制御ユニット２３０の統計モジュール２３１にストリーミングされる。統計モジュール２３１は、ビデオストリームの各フレームに関するリアルタイムの統計情報を収集する。これらの統計情報は、自動露出モジュール２３２に供給される、フレームの画素輝度のヒストグラムを含む。以下でより完全に説明するように、自動露出モジュール２３２は、目標輝度、カメラ２２０の露出時間、ビデオ・パイプライン２４０の利得、及び内視鏡２０１からの光パワー出力を制御する。一態様では、自動露出モジュール２３２は、
ディスプレイ・ユニット２５１に表示されるビデオ画像の目標輝度を維持し、
カメラ２２０によって取り込まれた各シーンにおける飽和画素の総数を飽和画素閾値より下に維持し、
カメラ２２０によって取り込まれるシーンの目標輝度を達成するのに必要な最小光パワー出力（最小限の照明輝度）を維持するように設定される。

別の態様では、自動露出モジュール２３２は、
ディスプレイ・ユニット２５１に表示されるビデオ画像の目標輝度を維持し、
カメラ２２０によって取り込まれるシーンの目標輝度を達成するのに必要な最小光パワー出力（最小限の照明輝度）を維持するように設定される。

本明細書中で使用される場合に、目標輝度は、ディスプレイ・ユニット２５１に表示されるシーンの輝度である。時には元の(original)目標輝度と呼ばれる初期目標輝度は、遠隔操作手術システム２００において、例えば１５００の目標輝度に設定される。しかしながら、一態様では、スライドスイッチが、ディスプレイ・ユニット２５１上に示されるユーザインターフェイスに提示され、ユーザがユーザにとって許容可能な、表示されるシーンの目標輝度を選択するのを許可する。初期目標輝度は、da Vinci（登録商標）遠隔操作手術システム等の遠隔操作手術システムのユーザからのフィードバックに基づいて、経験的に決定される。以下でより完全に説明するように、目標輝度は、自動露出モジュール２３２内の制御ループの制御パラメータである。

以下でより完全に説明するように、自動露出モジュール２３２は、シーンの平均輝度が目標輝度に等しくなるのを確実にすることによって、フレーム内の表示されるシーンの一定の輝度を保証する。ここで、シーンの平均輝度は、シーンの全体的な輝度又はフレームの全体的な輝度と呼ばれる。自動露出モジュール２３２は、減少幅の制限を目標輝度に適用することによって、表示されるシーンにおける飽和画素の影響も制限する。自動露出モジュール２３２は、ヒステリシスを有する輝度閾値を用いて照明装置２１０の光パワー出力を制御する。

以下でより完全に説明するように、自動露出モジュール２３２によって実装される制御システムは、ビデオ・パイプラインの利得２３６及びカメラ露出時間２３８を制御する。飽和画素が存在しない場合に、取り込んだシーンの全体の輝度の変化は、ビデオ・パイプラインの利得２３６及びカメラ露出時間２３８から構成される直線的な関数である。

しかしながら、シーンの飽和画素は、本質的に非線形である。残念ながら、カメラ２２０及び／又はビデオ・パイプライン２４０の限定されたビット深さ又は限定されたダイナミックレンジと組み合わされた非常に明るい鏡面反射性のハイライトが、ディスプレイ・ユニット２５１に表示されるシーンの画素の飽和を生じさせる。また、飽和画素は、飽和画素の領域の詳細が失われるため、画像に望ましくない。

鏡面反射性のハイライトは、高反射性である解剖学的構造から形成され、且つ内視鏡２０１の視野の間を移動する金属製（高反射性）の器具から形成される。自動露出モジュール２３２は、器具がシーン全体を移動する際にシーンの輝度変化を最小限に抑え、及び自動露出パラメータのユーザ調整を最小限に抑えるように構成される。

シーン全体を移動する反射性器具の影響を最小限に抑える１つの方法は、遠隔操作手術システム２００で利用可能な、器具の最も可能性の高い位置についての空間情報を使用するとともに、器具を配置する可能性がないシーンの領域に自動露出を焦点合わせすることである。１つのアプローチは、シーンの中央に矩形領域を規定することである。この場合に、統計モジュール２３１は、矩形領域内の画素位置についてのみ画像の統計情報を生成することになる。これは、表示されたシーンの輝度に影響を与えることなく、器具がシーンの周囲を移動するのを可能にする。このアプローチは、器具が大きな可動域を有しておらず、それによって矩形領域を頻繁に移動しない場合に、外科的手処置及び遠隔操作手術システムに有用となり得る。

しかしながら、器具が大きな可動域を有しており、それによって矩形領域を移動する場合に、矩形領域のみの統計情報の使用は、目に見えない障壁（領域の輪郭）を生成し、反射性器具がこの障壁と交差した場合に、自動露出モジュール２３２が、高反射性器具からの反射によってその領域の増大した輝度を調整するため、シーンの輝度の劇的な変化が生じさせるだろう。目に見えない障壁を横断する器具に関連する輝度の変化は、典型的に外科医の気をそらすため、そのような変化は望ましくない。このため、視認可能なシーン全体の統計情報は、一態様では考慮される。この態様では、フレーム全体を使用して表示されるシーンを生成するので、統計情報は、取り込まれるフレーム全体に対して生成される。別の態様では、表示されるシーンを生成するのに使用されなかった画素は、統計情報を含んでない、例えば、ビデオ処理は、表示されるシーンを取得するために取り込んだフレームをトリミングするので、トリミングされた画素は、統計情報の生成に使用されない。

こうして、一態様では、統計モジュール２３１は、カメラ２２０の画像センサによって取り込まれたフレームの全ての画素位置について輝度ヒストグラムを作成する。フレームの各画素位置において、赤、緑、青色画素が存在している。統計モジュール２３１は、赤、緑、青色画素値を、その画素位置の明るさ、例えば画像輝度に比例した値に変換する。

統計モジュール２３１は、フレーム内で可能な各輝度値を有する画素位置の数をカウントし、ヒストグラムを作成する。輝度が１バイト数で表される場合に、０から２５５の範囲の２５６個の可能な輝度値が存在する。図３は、飽和画素を含むフレームの典型的なヒストグラム３００を示す。可能な輝度値が、ｘ軸上にプロットされる。各輝度値のバーの高さは、フレーム内でその輝度値を有する画素位置の数を表す。また、ｘ軸に沿って輝度のグレースケール表現が存在している。

統計モジュール２３１は、フレーム・バッファを必要とせずに取り込んだフレームの統計情報を生成するので、フレームを処理するための追加のストレージを必要としないだけでなく、フレーム・バッファに保存及びこのバッファからの読出しに必要な時間もなくなる。

図４は、自動露出モジュール２３２の一態様のプロセスフロー図である。この態様では、自動露出モジュール２３２は、時にはプロセス４４１と呼ばれる飽和画素制限プロセス４４１、時にはプロセス４４２と呼ばれる利得及び露出時間調整プロセス４４２、時にはプロセス４４３と呼ばれるパワー及び露出時間調整プロセス４４３を含む。

自動露出モジュール２３２は、図１Ａ及び図１Ｂの３つの制御ループを実装する。第１の制御ループ（飽和画素制御ループ１３３）は、飽和画素制限プロセス４４１を含み、第２の制御ループ（利得及び露出制御ループ１３１）は、利得及び露出時間調整プロセス４４２を含み、及び第３の制御ループ（パワー及び露出制御ループ１３２）は、パワー及び露出時間調整プロセス４４３を含む。自動露出モジュール２３２によって提供される制御が安定化するように、時定数がこれら３つの制御ループについて選択される。飽和画素制限プロセス４４１を含む第１の制御ループは、利得及び露出時間調整プロセス４４２を含む第２の制御ループの時定数よりも長い時定数を有する。パワー及び露出時間調整プロセス４４３を含む第３の制御ループは、第２の制御ループの時定数よりも長い時定数を有する。図４は、３つのプロセス４４１，４４２，４４３を示しているが、いくつかの態様では、プロセス４４２，４４３のみが実施される（図１Ａ参照）。

以下でより完全に説明するように、飽和画素制限プロセス４４１は、飽和画素によって消費されるディスプレイ２５１の全画面領域を時間の経過とともに最小限に抑えることができる。飽和画素制限プロセス４４１は、この最小化を実行するために調整済み標的輝度４４４を制御する。図５Ａは、飽和画素制限プロセス４４１の一態様のプロセスフロー図である。完了すると、飽和画素制限プロセス４４１は、利得及び露出時間調整プロセス４４２に移行する。

利得及び露出時間調整プロセス４４２は、ビデオ・パイプラインの利得及びカメラ露出時間を制御する。利得及び露出時間調整プロセス４４２は、調整済み目標輝度４４４に対するフレームの平均輝度の関係に基づいて、ビデオ・パイプラインの利得４４５及びカメラ露出時間４４６のいずれかを調整する。ビデオ・パイプラインの利得４４５は、ビデオ・パイプラインの利得２３６を提供する。カメラ露出時間４４６は、カメラ露出時間２３８を提供する。

図５Ｂは、利得及び露出時間調整プロセス４４２の一態様のプロセスフロー図である。完了すると、利得及び露出時間調整プロセス４４２は、パワー及び露出時間調整プロセス４４３に移行する。

パワー及び露出時間調整プロセス４４３は、照明装置２１０の光パワー出力及びカメラ露出時間を制御する。カメラ露出時間が第２の露出閾値未満である場合に（図６参照）、光パワー出力が低下され、照明変化を補償するために、正の調整がカメラ露出時間に適用される。カメラ露出時間が第１の露出閾値よりも大きい場合に（図６参照）、照明装置２１０の光パワー出力が増大され、照明変化を補償するために、負の調整がカメラ露出時間に適用される。こうして、パワー及び露出時間調整プロセス４４３は、光パワー出力４４８及びカメラ露出時間調整４４７の変化が必要であり、その後、次のフレームの処理のために処理を飽和画素制限プロセス４４１に戻すかどうかを判断する。光パワー出力４４８は、光パワー出力２３７を提供する。図５Ｃは、パワー及び露出時間調整プロセス４４３の一態様のプロセスフロー図である。

上記に示したように、図５Ａは、飽和画素制限プロセス４４１の一態様を示す。飽和画素計数プロセス５０１は、ヒストグラム３００の最も高いビン（複数可）の画素数をカウントする。最も高いビン（複数可）、例えばビン２５５の画素数が飽和画素閾値よりも大きい場合に、過剰飽和画素チェックプロセス５０２は、目標輝度低下プロセス５０３に移行し、それ以外は調整済み目標輝度低下チェックプロセス５０４に移行する。飽和画素計数プロセス５０１がこの態様では飽和画素制限プロセス４４１に含まれるものとして示されているが、飽和画素計数プロセス５０１は、飽和画素制限プロセス４４１の代わりに、統計モジュール２３１に含めることができる。

一態様では、時にはプロセス５０１と呼ばれる飽和画素計数プロセス５０１は、ヒストグラム３００の飽和画素３０１の数をカウントする。図３の例では、ビン２５５における飽和画素数は、４１８７３である。

内視鏡２０１が立体内視鏡である場合に、統計モジュール２３１は、左右の光チャンネルのそれぞれについてヒストグラムを作成する。内視鏡２０１が立体内視鏡ではない場合に、統計モジュール２３１は、単一の光チャンネルについてヒストグラムを作成する。一態様では、２バイトを使用して輝度を表すので、ヒストグラムは、ｘ軸に沿って５１２のビンを有する。一態様では、飽和画素計数プロセス５０１は、飽和画素数を、左右ヒストグラムのそれぞれのビン５１１内の画素数の和として決定する。

遠隔操作手術システム２００のいくつかの動作モードは、左側シーン及び右側シーンの一方を無効としてマークすることができる。これらの動作モードでは、飽和画素のカウントが、有効なシーンのヒストグラムについて行われる。

一態様では、あるシーン内で可能になる飽和画素数についての飽和画素閾値は、経験的に決定した。遠隔操作手術システム２００は、ディスプレイ・ユニット２５１に表示されるシーンの飽和領域の大きさを変化させるように構成した。このようなシステムでの臨床試験は、飽和画素数の閾値及び飽和画素数をカウントするために使用されるビンを決定するために使用され、それによって、システムのユーザがタスクの達成を邪魔や妨害するものとして領域飽和をラベル付けせずに、外科的タスクのセットを行うことができる。

一態様では、ヒストグラムの（ビン０からビン５１１までラベル付けされた）５１２個のビン及び立体内視鏡を用いて、飽和画素閾値は、ビン５１１で１２０００として選択される。こうして、この態様について、過剰飽和画素チェックプロセス５０２は、１２００００の飽和画素閾値を、統計モジュール２３１から受信した左ヒストグラムのビン５１１における飽和画素の総数と右ヒストグラムのビン５１１における飽和画素の総数との和とを比較した。最大飽和画素数及び飽和画素をカウントするために使用されるビンの数を調整することにより、自動露出モジュール２３２は、画面上の飽和領域のサイズを調整することができ、且つビデオ・パイプラインにおいて後で利得を補償することができる。フレーム内の飽和画素数が飽和画素閾値よりも大きい場合に、チェックプロセス５０２は、目標輝度低下プロセス５０３に移行する。

左右のフレームの同じビンにおける飽和画素の総数を使用して、表示されるシーンにおける飽和画素の総面積の尺度を与え、及びその使用は、画面上の飽和画素の位置とは無関係である（すなわち、飽和画素領域は、画素のヒストグラムに殆ど変化を与えずにカメラの視野全体を移動することができる）。それにも拘わらず、飽和画素数が飽和画素閾値を超えた場合に、目標輝度は、目標輝度低下プロセス５０３により低下される。その結果、飽和画素の大部分は、自動露出モジュール２３２によって表示されるシーンを暗くさせ、それによってシーンの非反射領域は非常に暗くなる。この理由のために、目標輝度の低下は、範囲が制限される。

一態様では、飽和画素制限プロセス４４１の時定数は、４〜５秒であり、目標輝度の最大減少、目標輝度の範囲制限は、元の目標輝度２６６の３５％である。目標輝度の範囲制限は、経験的に決定される。この範囲は、ユーザが識別する表示されるシーンの最小平均輝度を、外科的処置に使用することができる情報を提供するものとして確定するように決定される。元の目標輝度に対する最小平均輝度の比を使用して、例えば以下の式のように、目標輝度の範囲制限を規定する。
目標輝度範囲の制限＝（１−（許容可能な最小平均輝度／元の目標輝度））＊１００

フレーム当たりの目標輝度の許容変更を決定するために、５秒の時定数及び３５％の輝度範囲制限について、毎秒７％の変化が許容される。毎秒６０フレームを取り込むカメラについて、フレーム毎の目標輝度の変化は、取り込んだシーンにおける飽和画素数が飽和画素閾値よりも小さい、又は初期標的輝度２６６からの変化が範囲制限にある、例えば目標輝度が目標輝度の範囲制限だけ低下されるかのいずれかまで、０．１１％で固定された線形ステップである。この例では、１５００の初期目標輝度及び３５％の範囲制限について、目標輝度の制限は、（１５００＊（１−０．３５））であり、９７５の制限である。

こうして、調整済み目標輝度が目標輝度範囲の制限にない場合に、目標輝度低下プロセス５０３は、１つの固定サイズの線形ステップにより調整済み目標輝度を変更し、その結果を調整済み目標輝度４４４として保存する。目標輝度を調整した後に、飽和画素制限プロセス４４１は、利得及び露出時間調整プロセス４４２に移行する。調整済み目標輝度が目標輝度範囲の制限にある、すなわち目標輝度が範囲制限されている場合に、目標輝度低下プロセス５０３は何ら動作せず、プロセス４４２に移行する。

最も高いビン（複数可）の画素数が、飽和画素閾値よりも小さい場合に、過剰飽和画素チェックプロセス５０２は、時にはプロセス５０４呼ばれる調整済み目標輝度低下チェックプロセス５０４に移行する。プロセス５０４は、調整済み目標輝度４４４を元の目標輝度２６６と比較する。調整済み目標輝度４４４が元の目標輝度２６６よりも小さい場合に、プロセス５０４は目標輝度増大プロセス５０５に移行し、それ以外は利得及び露出時間調整プロセス４４２に移行する。

目標輝度増大プロセス５０５は、上記のサイズの１つの固定した線形ステップにより調整後の露出時間を増加させ、その結果を調整済み目標輝度４４４として保存する。プロセス５０５は、利得及び露出時間調整プロセス４４２に移行する。

上記に示したように、図５Ｂは、利得及び露出時間調整プロセス４４２の一態様を示す。時にはプロセス５１１と呼ばれるフレーム平均輝度計算プロセス５１１は、輝度ヒストグラムから、時には平均輝度と呼ばれる輝度の平均値を決定する。上述したように、内視鏡２０１が立体内視鏡である場合に、統計モジュール２３１は、左右の光チャンネルのそれぞれについてヒストグラムを作成する。内視鏡２０１が立体内視鏡でない場合に、統計モジュール２３１は、単一のヒストグラムを作成する。こうして、立体内視鏡について、プロセス５１１は、左側光チャンネルから取り込まれた左側シーンの左平均輝度を決定し、且つ右側光チャンネルから取り込まれた右側シーンの右平均輝度を決定する。左平均輝度及び右平均輝度は、フレーム平均輝度、つまりフレーム全体の輝度を取得するためにプロセス５０１によって平均化される。フレーム平均輝度計算プロセス５１１が、この態様では、利得及び露出時間調整プロセス４４２に含まれるように示されているが、フレーム平均輝度計算プロセス５１１は、利得及び露出時間調整プロセス４４２の代わりに、統計モジュール２３１に含めることができる。

遠隔操作手術システム２００のいくつかの動作モードは、左側シーン及び右側シーンの一方を無効としてマークすることができる。これらの動作モードでは、有効なシーンの平均は、プロセス５１１によってフレーム平均輝度とされる。フレーム平均輝度を決定した後に、プロセス５１１は、処理を目標輝度に対するフレーム輝度チェックプロセス５１２に移行する。

時にはチェックプロセス５１２と呼ばれる目標輝度に対するフレーム輝度チェックプロセス５１２は、フレーム平均輝度を調整済み目標輝度４４４と比較する。フレーム平均輝度が調整済み目標輝度４４４よりも大きい場合に、チェックプロセス５１２は、利得及び露出時間減少プロセス５１４に移行する。フレーム平均輝度が調整済み目標輝度４４４よりも小さい場合に、チェックプロセス５１２は、利得又は露出時間増加プロセス５１３に移行する。

処理が、時にはプロセス５１３と呼ばれる利得又は露出時間増加プロセス５１３に移行したときに、取り込んだ画像の輝度は低過ぎる。カメラ露出時間が最大カメラ露出時間Ｅｍａｘでない場合に、プロセス５１３は、カメラ露出時間を増加させ（図６参照）、次に、続いて取り込んだフレームのフレーム平均輝度を増大させる。しかしながら、カメラ露出時間が最大カメラ露出時間Ｅｍａｘにある場合に、カメラ露出時間をさらに増加させることはできない。この状況では、プロセス５１３は、ビデオ・パイプラインの利得を増大させる。

こうして、プロセス５１３は、フレームの平均輝度に対する調整済み目標輝度４４４の比を最初に決定する。フレーム平均輝度が調整済み目標輝度４４４よりも小さいので、その比は１より大きい。一例として、例えば、輝度を２０％だけ増加させる必要がある比１．２を想定する。輝度は、カメラ露出時間の線形関数である。こうして、カメラ露出時間４４６が最大カメラ露出時間Ｅｍａｘよりも小さい場合にプロセス５１３は、カメラ露出時間４４６を、フレーム平均輝度に対する調整済み目標輝度４４４の比で乗算し、例えばカメラ露出時間が１．２によって乗算され、その結果が、カメラ露出時間４４６として保存される。カメラ露出時間４４６が最大カメラ露出時間Ｅｍａｘにある場合に、プロセス５１３は、ビデオ・パイプラインの利得４４５を、フレーム平均輝度に対する調整済み目標輝度４４４の比で乗算し、例えばビデオ・パイプラインの利得が１．２によって乗算され、その結果が、ビデオ・パイプラインの利得４４５として保存される。カメラ露出時間４４６をフレーム平均輝度に対する調整済み目標輝度４４４の比で乗算することによって、最大カメラ露出時間Ｅｍａｘよりも大きいカメラ露出時間を与える場合に、その増加が、カメラ露出時間とビデオ・パイプラインの利得との間で分割され、それによってカメラ露出時間４４６は、カメラ露出時間のＥｍａｘにあり、増加の残りは、ビデオ・パイプラインの利得４４５に適用される。例えば２０％の増加に伴って、カメラ露出時間４４６が、最大カメラ露出時間Ｅｍａｘよりも１０％低いである場合に、カメラ露出時間４４６は、カメラ露出時間４４６が最大カメラ露出時間Ｅｍａｘにあり、及びビデオ・パイプラインの利得４４５が増加の残りによって増大するように、増加される。例えば、
新しいビデオ・パイプラインの利得＝１．２＊（１．０−０．１）＝１．０８
完了すると、プロセス５１３は、パワー及び露出時間調整プロセス４４３に移行する。

処理が時にはプロセス５１４と呼ばれる利得又は露出時間減少プロセス５１４に移行した場合に、取り込んだ画像の輝度が高過ぎる。ビデオ・パイプラインの利得が１よりも大きい場合に（図６参照）、プロセス５１４は、ビデオ・パイプラインの利得を低下させ、表示されるシーンの輝度を低下させる。しかしながら、ビデオ・パイプラインの利得が１に等しい場合に、プロセス５１４は、カメラ露出時間を減少させ、続いて取り込まれる画像のフレーム平均輝度を低下させる。

こうして、プロセス５１４は、フレーム平均輝度に対する調整済み目標輝度４４４の比を最初に決定する。フレーム平均輝度が調整済み目標輝度４４４よりも大きいので、その比は１未満である。一例として、例えば、輝度を２０％だけ低下させる必要がある比０．８を想定する。

ビデオ・パイプラインの利得４４５が１より大きい場合に、プロセス５１４は、ビデオ・パイプラインの利得４４５を、フレーム平均輝度に対する調整済み目標輝度４４４の比で乗算し、例えばビデオ・パイプラインの利得が０．８によって乗算され、その結果をビデオ・パイプラインの利得４４５として保存する。ビデオ・パイプラインの利得４４５が１である場合に、プロセス５１４は、カメラ露出時間４４６を、フレーム平均輝度に対する調整済み目標輝度４４４の比で乗算し、例えばカメラ露出時間が０．８によって乗算され、その結果をカメラ露出時間４４６として保存する。ビデオ・パイプラインの利得４４５をフレーム平均輝度に対する調整済み目標輝度４４４の比で乗算することにより、１未満のビデオ・パイプラインの利得を与える場合に、その減少は、カメラ露出時間とビデオ・パイプラインの利得との間で分割され、それによって、そのビデオ・パイプラインの利得４４５は、１であり、及びその減少の残りは、カメラ露出時間４４６に適用される。２０%の減少を伴う例について、ビデオ・パイプラインの利得４４５が１．１である場合に、ビデオ・パイプラインの利得４４５は１に低下され、カメラ露出時間４４６は、減少の残り部分を減少させる。例えば、
新しいカメラ露出時間＝カメラ露出時間＊（１−０．２）／（１／１．１））
完了すると、プロセス５１４は、パワー及び露出時間調整プロセス４４３に移行する。

パワー及び露出時間調整プロセス４４３は、照明制御装置２１５にコマンドを送信することにより、照明装置２１０の光パワー出力を光源２１１の所望の光パワー出力に制御し、対応する露出時間調整をカメラ露出時間４４６に送信する。図７に関連して以下で説明するように、光パワー出力及びカメラ露出時間の変更が同期される。

図５Ｃは、パワー及び露出時間調整プロセス４４３の一態様のプロセスフロー図である。しかしながら、図５Ｃを検討する前に、図５Ｃのプロセスで使用されるパラメータについて、検討する。

一態様では、プロセス４４３は、固定サイズの同期ステップで光源２１１からの照明出力の輝度を増減させる。カメラ露出時間は、照明の変化と同じ割合を変化され、例えば、ステップ変化が、照明出力を１．００６によって乗算する場合に、カメラ露出時間は、１．００６で除算される。

固定サイズのステップを確実するために、秒単位の立ち上がり時間ｔｒａｍｐは、光源２１１からの照明出力を最小光パワー出力Ｐｍｉｎから最大光パワー出力Ｐｍａｘに直線的に立ち上げる、及び逆にするために使用される期間として特定される。

固定サイズの光パワー出力ステップＰｓｔｅｐは、次のように規定される。
Ｐｓｔｅｐ＝（Ｐｍａｘ−Ｐｍｉｎ）／（ｔｒａｍｐ＊（フレーム／カメラの秒））。

一例として、８００ミリワット（ｍＷ）の最大光パワー出力、４００ｍＷの最小光パワー出力、３秒の立ち上がり時間ｔｒａｍｐ、毎秒６０フレームを取り込むカメラについて検討する。光パワー出力が変化した場合に、固定サイズのステップは、＋／−２．２２ｍＷ／フレームである。現在の光パワー出力が４００ｍＷである場合に、照明出力が（１＋（２．２２／４００））によって乗算され、つまり１．００５６となる。こうして、カメラ露出時間は、１．００５６で除算される。

上記に示したように、照明の変化は、表示されたシーンに目立つフリッカーを生成してはならない。こうして、立ち上がり時間は、照明の変化が、ディスプレイ・ユニット２５１に表示されるシーンに目立つ輝度フリッカーを生じないように、及び３つの制御ループが安定する、例えば、立ち上がり時間が第３の制御ループの時定数となるように、選択される。こうして、これらの実施例では、第１の制御ループの時定数は、５秒であり、第３の制御ループの時定数は、３秒である。

内視鏡２０１の先端チップにおける新しい光パワー出力Ｐｎｅｗは、現在の光パワー出力Ｐｃｕｒｒｅｎｔプラス又はマイナス光パワー出力ステップＰｓｔｅｐである。すなわち、
Ｐｎｅｗ＝Ｐｃｕｒｒｅｎｔ＋／−Ｐｓｔｅｐ
ここで、この例では、光パワー出力ステップＰｓｔｅｐは、０、＋２．２２、又は−２．２２である。以下で説明するように、光パワー出力ステップＰｓｔｅｐの３つの可能な値のうちのいずれかが、カメラ露出時間の値に依存して使用される。また、図７に関連して以下でより完全に説明するように、光パワー出力及び露出時間の変化は、パイプラインのフレーム時間に同期される。

フレーム当たりの光パワー出力のステップ変化が既知であるが、照明制御装置２１５は、光源がＬＥＤである場合に、複数の光源２１１の各光源への電流を制御する。しかしながら、ＬＥＤの光パワー出力は、電流の変化に対して線形ではない。こうして、ルックアップテーブルを使用して、光パワー出力の命令された変化を各ＬＥＤの電流に変換し、それによって光パワー出力が、内視鏡２０１の先端チップに提供される。

ルックアップテーブルの値は、既知の基準に対する光源２１１の較正によって決定される。光パワー出力（部）が内視鏡２０１の先端チップにあるので、各ＬＥＤの電流は、光源２１１の実際の出力が、光源２１１の出力と内視鏡２０１の先端チップとの間の光のあらゆる減衰を考慮するために、十分高くなるように決定される。

一態様では、最大光パワー出力Ｐｍａｘは、内視鏡２０１の先端チップと標的２０３との間の最小作業距離において、最大光パワー出力Ｐｍａｘが組織に損傷を生じさせないように選択される。

最小光パワー出力Ｐｍｉｎは、内視鏡２０１の先端チップと標的２０３との間の最小作業距離において、表示されるシーンのノイズが閾値を下回り、光パワー出力が照明装置２１０の達成可能な最小光パワー出力を超えるように選択される。

照明出力の変化が増大、減少、又は同じ値に留まるかどうかを確認するために、カメラ露出時間の値を使用する。取り込んだシーンの平均輝度が高い場合の第３領域６０３（図６参照）の非常に小さなカメラ露出時間では、光パワー出力が減光される。具体的には、第３領域６０３のカメラ露出時間を有する連続する各フレームについて、光パワー出力が、光パワー出力Ｐｓｔｅｐによって低減され、及びカメラ２２０の露出時間は、光パワー出力の減少率と同じ割合で増加される。光パワー出力ステップＰｓｔｅｐが、最小光パワー出力Ｐｍｉｎを下回るように照明出力を低下させる場合に、照明出力は変化せず、照明出力は、最小光パワー出力Ｐｍｉｎに維持され、カメラ２２０の露出時間は、変更されない。

露出時間の増加及び照明の対応する減少は、以前取り込まれた画像と略同じ平均輝度で取り込まれた画像を生じさせ、カメラ露出時間は、第２の領域６０２に向けて増加すると想定する。

取り込んだシーンの平均輝度、シーン全体の輝度が低い場合の第１の領域６０１の非常に高いカメラ露出時間では、光パワー出力が増大される。具体的には、第１の領域６０１の露出時間を有する連続する各フレームについて、光パワー出力は、光パワー出力のステップＰｓｔｅｐによって増大され、カメラ２２０の露出時間は、光パワー出力の増加率と同じ割合で減少される。光パワー出力の変化が、最大光パワー出力Ｐｍａｘを上回るように照明出力を増大させる場合に、照明出力は、変化されず、及び照明出力は、最大光パワー出力Ｐｍａｘに維持され、カメラ２２０の露出時間は、変更されない。

露出時間の減少及び照明の対応する増加は、以前取り込んで画像と略同じ平均輝度で取り込まれた画像を生じさせ、カメラ露出時間は、第２の領域６０２に向けて減少すると想定する。

こうして、パワー及び露出時間調整プロセス４４３を含む制御ループは、照明出力が第２の領域６０２によって表されるような照明出力範囲に向けて進むように照明を変化させる。第２の領域６０２は、ヒステリシス領域である。

可能な限り、照明の変化を最小限に抑えることが望ましい。内視鏡２０１の先端チップと標的２０３との間の平均作業距離に位置する、照明変化に関連する輝度の変化は、シーンの一部に亘って外科医に気付かれないかもしれないが、平均作業距離よりも大きいシーンの位置において、外科医は、気が散るような輝度の変化に気づく傾向にある。従って、この態様では、照明及び露出変化がカメラ露出時間の変化と伴に実施されない第２の領域６０２は、可能なカメラ露出時間の範囲の５０％が割り当てられる。本開示に鑑みて、第２の領域６０２の範囲は、可能なカメラ露出時間の範囲の５０％以外の割合として選択することができる。

こうして、図６に示されるように、パワー及び露出時間調整プロセス４４３は、カメラ露出時間の値に基づいて、光パワー出力及びカメラ露出時間を設定する。第３の制御ループ、パワー及び露出制御ループ１３２は、カメラ露出時間が第１の露出閾値よりも大きい場合に、光パワー出力が最大光パワー出力Ｐｍａｘ未満であれば、照明出力を増大させ、且つカメラ露出時間を減少させる。第３の制御ループは、カメラ露出時間が第２の露出閾値よりも小さい場合に、光パワー出力が最小光パワー出力Ｐｍｉｎよりも大きければ、光パワー出力を低下させ、且つカメラ露出時間を増加させる。第３の制御ループは、露出時間が第１の露出閾値と第２の露出閾値との間にある場合に、光パワー出力及びカメラ露出時間を変化させないままにする。

一態様では、最大光パワー出力Ｐｍａｘは、光パワー出力８００ｍＷに対応する。最小光パワー出力Ｐｍｉｎは、４００ｍＷの光パワー出力に対応し、最大カメラ露出時間Ｅｍａｘは、４０９６であり、最小カメラ露出時間Ｅｍｉｎは、ゼロである。

図５Ｃに進むと、時にはプロセス５２１と呼ばれる第２の閾値未満の露出時間チェックプロセス５２１は、カメラ露出時間４４６が第２の露出閾値未満であるかどうかを判断する。カメラ露出時間４４６が第２の露出閾値未満である場合に、プロセス５２１は、処理を照明低下及び露出時間増加プロセス５２３に移行させ、それ以外は処理を第１の閾値未満の露出時間チェックプロセス５２２に移行する。

処理が時にはプロセス５２３と呼ばれる照明低下及び露出時間増加プロセス５２３に移行した場合に、カメラ露出時間４４６は、第３領域６０３にある。従って、照明出力が最小光パワー出力Ｐｍｉｎよりも大きければ、プロセス５２３は、光パワー出力ステップＰｓｔｅｐによって、光パワー出力４４８、例えば光パワー出力Ｐｃｕｒｒｅｎｔを減少させる。プロセス５２３は、カメラ露出時間調整４４７に段階的増加をロード(load)し、次にカメラ露出時間４４６を増加させる。照明出力が最小光パワー出力Ｐｍｉｎに等しい場合に、プロセス５２３は、動作を実行しない。照明低下及び露出時間増加プロセス５２３は、処理を飽和画素制限プロセス４４１に移行させる。

チェックプロセス５２１が処理を第１の閾値未満の露出時間チェックプロセス５２２に移行させる場合に、チェックプロセス５２２は、カメラ露出時間４４６が第１の露出閾値未満であるかどうかを判断する。カメラ露出時間４４６が第１の露出閾値未満である場合に、チェックプロセス５２２は、処理を照明増大及び露出時間減少プロセス５２４に移行させ、それ以外は処理を飽和画素制限プロセス４４１に移行させる。

処理が、時にはプロセス５２４と呼ばれる照明増大及び露出時間減少プロセス５２４に移行した場合に、カメラ露出時間４４６は、第１の領域６０１にある。従って、照明出力が最大光パワー出力Ｐｍａｘ未満である限り、プロセス５２４は、光パワー出力ステップＰｓｔｅｐにより、光パワー出力４４８、例えば光パワー出力Ｐｃｕｒｒｅｎｔを増大させる。プロセス５２４は、カメラ露出時間調整４４７に段階的に減少するようロードされ、次にカメラ露出時間４４６を減少させる。光パワー出力が最大光パワー出力Ｐｍａｘと等しい場合に、プロセス５２４は、動作を実行しない。照明増大及び露出時間減少プロセス５２４は、処理を飽和画素制限プロセス４４１に移行させる。

パワー及び露出時間調整プロセス４４３が終了すると、処理は飽和画素制限プロセス４４１に戻る。こうして、プロセス４４１〜４４３が取り込んだ各フレームについて繰り返される。

照明変化を遠隔操作手術システム２００のユーザに見えないようにするために、照明の変化は、カメラ露出時間の変化の補償と同期され、それによって外科医に表示されるビデオの全体の輝度が、照明の変化を略一定のままにする。例えば、光パワー出力の低下及びカメラ露出時間の増加は、同じビデオフレームで生じさせなければならない。ここでは、略一定は、遠隔操作手術システム２００の許容範囲内で一定であることを意味する。

遠隔操作手術システム２００でのビデオストリームの処理は、遅延される。照明制御、ビデオ・パイプラインの利得制御、カメラの露出制御、ビデオ統計的な収集及び解析は全て、異なるパイプライン遅延となる。例えば、ビデオストリームの第１フレーム７０１のフレーム時間ｔ０（図７）において、フレームが取り込まれ、統計情報が、統計モジュール２３１によってフレーム７０１について収集され、以前に取り込んだフレームからの利得が、ビデオ・パイプラインに書き込まれる。

フレーム時間ｔ１において、照明出力及びカメラ露出時間が、自動露出モジュール２３２によって計算され、カメラ露出時間は、カメラ２２０に書き込まれる。フレーム時間の開始時ｔ２において、光パワー出力が新しい光パワー出力Ｐｎｅｗに変化する。フレーム７０２が、カメラによってフレーム時間ｔ３において第１のフレーム７０１を使用して生成される露出時間及び光パワー出力で取り込まれる。こうして、新たな露出時間及び光パワー出力が、フレーム７０２の取込みについて同期される。

これらのステップは、露出時間及び照明装置の輝度が、ビデオの各フレームに適用されるように、パイプライン化される。一態様では、パイプラインの同期は、ビデオストリームで、システム２００全体に亘って移動するビデオフレーム同期信号にメタデータを追加する、すなわちビデオストリームの各フレームにメタデータを取り付けることによって達成される。メタデータは、カメラ露出時間、照明装置の輝度、及びビデオ・パイプラインの利得を含む。

一態様では、遠隔操作手術システムは、外科医のコマンドによって手術野の照明を増大させる方法と、組織と内視鏡２０１との間の接触を検出するための方法とを含む。組織接触が検出される場合に、内視鏡２０１からの照明は、組織との接触に安全なレベルまで自動的に低減される。

ディスプレイ・ユニット２５１に表示されるシーンの信号対雑音比は、照射標的２０３からカメラ２２０の画像センサに反射して戻された光が減少すると、低下する。信号対雑音比のこの減少は、内視鏡２０１の使用可能な作業距離２０４（内視鏡のチップとイメージング標的２０３との間の距離）を制限する可能性がある。

しかしながら、光パワー出力レベルと組織損傷の危険性との間にトレードオフが存在する。述べたように、増大した光パワー出力は、使用可能な作業距離２０４の増加をもたらすことができる。しかしながら、増大した光パワー出力は、光パワー出力が十分に高い場合に、組織損傷の危険性も増大させる可能性があり、作業距離は、入射光が損傷レベルを超えないように、十分に小さくされる。組織損傷の増大した危険性は、入射光の増大した光パワー密度によって、又は温度上昇した内視鏡のチップが組織に接触することによってのいずれかで生じる可能性がある。いずれの場合も、光パワー出力レベルを低くすることによって、危険性が殆ど無くなる。

組織損傷の危険性を回避するために、内視鏡２０１からの光パワー出力レベルは、光パワー出力レベルが、内視鏡のチップと組織との間の直接的な接触について安全となるように制限される。しかしながら、これは、内視鏡２０１の最大作業距離を制限する。例示の目的のために、１Ｗ未満の光パワー出力レベルは典型的に安全であると考えられる。しかしながら、一態様では、遠隔操作手術システム２００は、光パワー出力が安全な光パワー出力よりも大きい、例えば１．５Ｗ等の１Ｗワットより大きい光パワー出力であるハイビームの動作モードを含む。

一態様では、時にはハイパワー動作モードと呼ばれるハイビームの動作モードは、外科医によって外科医コンソール上の物理的なスイッチ２６５を活性化することで開始される。別の態様では、ハイビームの動作モードは、外科医がディスプレイ・ユニット２５１に示されるユーザインターフェイスに提示されるスイッチをクリックすることによって開始される。

外科医がハイビームモードで制御する際に、ハイビームの動作モードは、この動作モードでは光パワー出力が安全と考えられる出力よりも大きいため、組織損傷のリスクが低い場合にのみ、活性化する必要がある。腹部手術の手術野を検査することは、ハイビームの動作モードの一般的な用途になる。しかしながら、外科医が内視鏡２０１を組織の極近くに不意に移動させる危険性、又は組織との意図しない接触の危険性が依然として存在する。

内視鏡２０１が組織の極近くに不意に移動した場合に、上記で説明したように、取り込んだ画像の平均輝度が増大し、それによって自動露出モジュール２３２は、カメラ露出時間を減少させる。カメラ露出時間が減少し続けると、露出時間が第３領域６０３に達する。次に、自動露出モジュール２３２は、光パワー出力の低減を開始する。こうして、内視鏡２０１を組織の極近くに不意に移動させることによる照明の増大は、自動露出モジュール２３２によって自動的に処理され、光パワー出力を低減させる。

内視鏡２０１が組織に接触した場合に、その接触は、接触検出モジュール２３３によって検出され、照明は、通常の動作モード又はハイビームの動作モードのいずれかで、適切なレベルまで低下される。接触検出モジュール２３３は、光パワー出力の変化（増減）が、標的２０３から反射された光の平均輝度の対応する変化を生じないことを検出することにより、組織接触を判定し、ここで平均の反射輝度は、カメラ露出時間で除算された取込みシーンの平均輝度とされる。シーンの平均輝度が、フレーム平均輝度計算プロセス５１１（図５Ｃ）によって決定され、カメラ露出時間は、カメラ露出時間４４６で利用可能である。あるいはまた、フレーム平均輝度計算プロセス５１１（図５Ｃ）は、接触検出モジュール２３３又は統計モジュール２３１に組み込むことができる。

例えば、内視鏡のチップが覆われている、すなわち組織と接触しており、それによって光がカメラレンズに入射しない場合に、自動露出モジュール２３２は、光パワー出力を増大させる。しかしながら、組織接触は、依然として反射光がカメラに到達するのを阻止する。その結果、光パワー出力が増大したときに、平均反射輝度に変化はない。こうして、接触検出モジュール２３３は、組織接触を検出し、組織接触に安全なレベルまで光パワー出力を減衰させる。一態様では、組織との接触に安全な光パワー出力は、最小光パワー出力よりも大きい。しかしながら、組織の損傷が、内視鏡のチップと組織との間の接触による伝導熱によって支配される場合に、組織との接触に安全な光パワー出力は、最小光パワー出力以下であってもよい。

一態様では、接触検出モジュール２３３は、自動露出モジュール２３２の光パワー出力制御を無効にし、照明制御装置２１５に命令して、光パワー出力を安全なレベルまで低下させる。あるいはまた、接触検出モジュール２３３は、照明制御装置２１５に命令して、光源２１１の減衰器を起動させ、光源２１１からの光パワー出力を安全なレベルに低下させることができる。

一態様では、組織接触検出は、次のように実施される。
ｄＬ／ｄＩ＝０
ここで、ｄＬは、２つの取り込んだフレームの平均の反射輝度の変化であり、
ｄＩは、２つの取り込んだフレームの光パワー出力の変化である。

別の態様では、接触は、以下に示されるときに検出される。
−閾値＜ｄＬ／ｄＩ＜閾値
ここで、閾値は、ｄＬ及びｄＩの測定における測定の不確実性及びノイズを包含する。

こうして、接触検出方法は、変動する光パワー出力を利用する。動的な照明制御を備えたシステムでは、光パワー出力は、内視鏡のチップが組織に近づくと変化する。自動露出制御は、組織が内視鏡２０１のチップに近づくと、光パワー出力を低下させる。一旦組織が内視鏡２０１のチップに接触すると、反射輝度の変化は、光パワーを変化させても殆ど又は全く検出されない。この状態を検出すると、照明装置の輝度は、組織接触に安全である所定のレベル、例えば照明Ｐｍｉｎまで、減衰、すなわち低下される。

別の態様では、光パワー出力の変化に伴う反射輝度の変化を監視する代わりに、組織が内視鏡のチップに接触する際の反射輝度プロファイル全体の特性が、接触検出、又は改善された接触検出に使用される。反射輝度プロファイル全体の特性は、時間ドメイン又は周波数ドメインのいずれかとすることができる。取り込まれたシーンから決定された平均反射輝度が、閾値範囲内の輝度プロファイル全体の特性と一致する場合に、接触が検出される。一態様では、反射輝度プロファイル全体の特性は、内視鏡のチップが組織に近づき且つ接触する際に、シーンの全体的な反射輝度を測定することによって経験的に決定される。

接触する組織の除去が反射輝度の変化を生じさせない場合に、システム２００が、低輝度状態でスタック(stuck)している状況である可能性がある。照明装置２１０の光パワー出力が変化しない「スタック」状態を避けるために、低速度の光パワー出力ディザリング(dithering)技術を採用している。組織接触が検出された場合に、接触検出モジュール２３３は、ディザリング・モジュール２１７を有効にする。ディザリング・モジュール２１７は、非接触状態を検出する信頼性を高めるために、安全レベルに関する既知の方法で光パワー出力を変化させる。

例えば、ディザリング・モジュール２１７は、光源２１１からの光パワー出力を安全レベルに関して既知の時間依存性の方法、例えば正弦波方法で変化させることができる。時間依存性の低レベル反射パワー出力がカメラに到達した場合に、自動露出モジュール２３２は、光パワー出力の変化を検出する、例えば、内視鏡２０１のチップが組織と接触しなくなることを意味する、取り込んだシーンの平均輝度の変化を検出する。こうして、接触検出モジュール２３３は、自動露出モジュール２３２が、光パワー出力の制御を行うように、リセットされる。

本明細書で説明する様々なモジュールは、プロセッサ、ハードウェア、ファームウェア、又はこれら３つの任意の組合せで実行されるソフトウェアにより実現することができる。モジュールがプロセッサ上で実行されるソフトウェアとして実現される場合に、ソフトウェアは、コンピュータ可読命令としてメモリに格納され、コンピュータ可読命令は、プロセッサで実行される。メモリの全部又は一部は、プロセッサがメモリに結合される限り、プロセッサとは異なる物理的な位置にあってもよい。メモリは、揮発性メモリ、不揮発性メモリ、又はそれら２つのメモリの任意の組合せを指す。

また、本明細書に記載されるように、様々なモジュールの機能は、１つのユニットによって実行される、或いは異なるコンポーネント又は異なるモジュール間で分割することができ、各機能は、次に、ハードウェア、プロセッサ上で実行されるソフトウェア、及びファームウェアの任意の組合せによって実施することができる。異なるコンポーネント間で分割する場合に、コンポーネントは、一箇所に集中させてもよく、又は分散型処理のためにシステム２００に亘って分散させてもよい。様々なモジュールの実行は、様々なモジュールについて上述した処理を実行する方法を生じさせる。

プロセッサは、プロセッサによって実行される命令を含むメモリに結合される。これは、コンピュータシステム内で、或いは、モデム及びアナログライン又はデジタルインターフェイス及びデジタルキャリアラインを介して他のコンピュータとの結合を介して達成することができる。

ここで、コンピュータプログラム製品は、本明細書に記載したプロセスの一部又は全てに必要なコンピュータ可読コードを格納するように構成された、又はそれらのプロセスの一部又は全てのコンピュータ可読コードが格納されたコンピュータ可読媒体を含む。コンピュータプログラム製品のいくつかの例は、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバー、及びコンピュータ可読プログラムコードを表す、ネットワークを介して送信される信号である。非一時的な有形のコンピュータプログラム製品は、プロセスの一部又は全てのコンピュータ可読命令を格納するように構成された、又はプロセスの一部又は全てのコンピュータ可読命令が格納された有形のコンピュータ可読媒体を含む。非一時的な有形のコンピュータプログラム製品は、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、及び他の物理的記憶媒体である。

本開示に鑑みて、本明細書で説明したプロセスの一部又は全てに使用される命令は、ユーザにとって関心のあるオペレーティングシステム及びコンピュータプログラム言語を使用して広範なコンピュータシステム構成で実装することができる。

本発明の態様及び実施形態を示す上述した詳細な説明及び添付の図面は、限定するものと解釈すべきではなく、特許請求の範囲が、保護される発明を規定する。種々の機械的な、組成的な、構造的な、電気的な、及び操作上の変更は、本明細書及び特許請求の範囲の精神及び範囲から逸脱することなく行うことができる。いくつかの例では、周知の回路、構造、及び技術は、本発明を不明瞭にすることを避けるために詳細に示していない又は説明していない。

また、この詳細な説明の用語は、本発明を限定するものではない。例えば、「〜の下に(beneath)」、「〜より下の(below)」、「〜の下方の(lower)」、「〜より上の(above)」、「〜の上方の(upper)」、「基端の(proximal)」、「先端の(distal)」等の空間に関連する用語は、図に示される１つの要素又は機構に対する別の要素又は機構との関係を説明するために使用される。これらの空間に関連する用語は、図面に示される位置及び向きに加えて、使用又は操作中の装置の異なる位置（すなわち、配置）及び向き（すなわち、回転位置）を包含することを意図している。

例えば図面内の装置をひっくり返した場合に、他の要素又は機構「より下の(below)」又は「の下に(beneath)」として説明された要素は、次に、他の要素又は機構「より上の(above)」又は「の上に(over)」となる。従って、例示的な用語「〜より下の(below)」は、「〜より上の(above)」及び「〜より下の(below)」両方の位置及び向きを包含することができる。その装置は、他の方法で向き合わせ（９０度回転又は他の向きに）してもよく、本明細書で使用される空間に関連する説明は、それに応じて解釈される。

同様に、様々な軸線に沿った及びこの軸線周りの運動の説明は、装置の様々な特別な位置及び向きを含む。単数形「１つの(a, an)」及び「その(the)」は、文脈が他に指示しない限り、複数形も含むことを意図している。用語「備える、有する、含む(comprises, comprising)」、「含む、有する(including)」等は、説明した特徴、ステップ、操作、要素、及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、ステップ、操作、要素、構成要素、及び／又はグループの存在又は追加を排除するものではない。

「結合した」として説明した構成要素は、電気的に又は機械的に直接的に結合されるか、又は１つ以上の中間部品を介して間接的に結合してもよい。本開示に鑑みて、向上したディスプレイシステムに関して説明した操作のいずれか又は任意の組合せで使用される命令は、ユーザにとって関心のあるオペレーティングシステム及びコンピュータプログラム言語を使用して広範なコンピュータシステム構成で実施することができる。

全ての実施例及び説明の参照は、非限定的であり、特許請求の範囲を本明細書で説明した特定の実装態様や実施形態及びその等価物に限定するために使用すべきではない。見出しは、単に形式のためであり、１つの見出しの下のテキストは、相互参照することができ、すなわち１つ以上の見出しの下のテキストに適用することができるので、主題をあらゆる方法で制限するように使用すべきではない。最後に、本開示に鑑みて、一態様又は実施形態に関連して説明した特定の特徴は、図面に特に示されておらず又は本文中に記載されていないにも拘わらず、本発明の開示された他の態様又は実施形態に適用することができる。

以下に、出願当初の特許請求の範囲の内容を実施例として記載しておく。
［実施例１］
遠隔操作手術システムであって、当該遠隔操作手術システムは、
光パワー出力を有する照明装置と、
カメラと
前記照明装置及び前記カメラに結合された制御装置と、を有しており、
該制御装置は、カメラ制御ユニット及び照明制御装置をさらに含んでおり、前記カメラ制御ユニットは、前記照明制御装置及び前記カメラに結合され、
前記照明制御装置は、前記カメラ制御ユニットからのコマンドに応答して、前記照明装置からの前記光パワー出力を制御するように構成され、
前記カメラ制御ユニットは、前記カメラからビデオストリームを受信するように構成され、
前記カメラ制御ユニットは、前記光パワー出力を第１の光パワー出力から第２の光パワー出力に変化させるべく前記照明制御装置に命令するように構成され、且つカメラ露出時間を第１の露出時間から第２の露出時間に変更するべく前記カメラに命令するように構成され、それによって、フレームが、続いて、前記カメラによって第２の露出時間で及び反射光によって取り込まれ、前記反射光は、反射される前に第２の光パワー出力を有する前記照明装置からの光である、
遠隔操作手術システム。
［実施例２］
前記カメラ制御ユニットは、前記ビデオストリームを受信するために、前記カメラに結合された統計モジュールをさらに含み、該統計モジュールは、前記ビデオストリーム内のフレームについて輝度ヒストグラムを作成するように構成される、実施例１に記載の遠隔操作手術システム。
［実施例３］
前記カメラ制御ユニットは、統計モジュールに結合された自動露出モジュールをさらに含み、
該自動露出モジュールは、表示されるシーンの目標輝度を維持するように構成され、前記表示されるシーンは、前記カメラによって取り込まれたフレーム内のシーンであり、
前記自動露出モジュールは、取り込んだフレームのシーンにおける飽和画素を前記シーンのそれぞれにおける所定の画素数未満に制限するように構成され、
前記自動露出モジュールは、前記照明装置からの最小光パワー出力を維持するように構成される、実施例２に記載の遠隔操作手術システム。
［実施例４］
前記カメラ制御ユニットは、
ビデオ・パイプラインの利得及びカメラ露出時間の一方又は両方を自動的に調整するように構成された第１の制御ループと、
前記光パワー出力を自動的に設定し、続いて取り込まれるフレームの前記カメラ露出時間を調整するように構成される第２の制御ループと、をさらに含む、実施例１に記載の遠隔操作手術システム。
［実施例５］
第１の制御ループは、表示されるシーンが目標輝度を有するように、ビデオ・パイプラインの利得を調整するように構成される、実施例４に記載の遠隔操作手術システム。
［実施例６］
第２の制御ループは、前記カメラ露出時間の値に基づいて、前記光パワー出力及び前記カメラ露出時間を調整するように構成される、実施例４に記載の遠隔操作手術システム。
［実施例７］
第２の制御ループは、前記カメラ露出時間が第１の露出閾値よりも大きい場合に、前記光パワー出力を増大させ且つ前記カメラ露出時間を減少させる、実施例６に記載の遠隔操作手術システム。
［実施例８］
第２の制御ループは、前記カメラ露出時間が第２の露出閾値よりも小さい場合に、前記光パワー出力を低下させ且つ前記カメラ露出時間を増加させる、実施例６に記載の遠隔操作手術システム。
［実施例９］
第２の制御ループは、前記カメラ露出時間が第１の露出閾値と第２の露出閾値との間にある場合に、前記光パワー出力及び前記カメラ露出時間を変えないままにする、実施例６に記載の遠隔操作手術システム。
［実施例１０］
前記カメラ制御ユニットは、表示されるシーンの目標輝度を自動的に調整して、続いて取り込まれるフレーム内の飽和画素数を減少させるように構成された第３の制御ループをさらに含む、実施例４に記載の遠隔操作手術システム。
［実施例１１］
第３の制御ループは、前記目標輝度に減少幅の制限を適用するように構成される、実施例１０に記載の遠隔操作手術システム。
［実施例１２］
前記カメラ制御ユニットは、表示されるシーンの目標輝度を自動的に調整して、続いて取り込まれるフレーム内の飽和画素数を減少させるように構成された制御ループをさらに含む、実施例１の遠隔操作手術システム。
［実施例１３］
前記制御ループは、前記目標輝度に減少幅の制限を適用するように構成される、実施例１２に記載の遠隔操作手術システム。
［実施例１４］
前記カメラ制御ユニットは、第１の制御ループ及び第２の制御ループを含む自動露出モジュールをさらに含む、実施例４に記載の遠隔操作手術システム。
［実施例１５］
前記カメラ制御ユニットは、前記ビデオストリーム内のフレームの前記輝度ヒストグラムを受信するために、前記統計モジュールに結合された自動露出モジュールをさらに含み、該自動露出モジュールは、前記ヒストグラムの平均輝度を決定するように構成され、及び前記自動露出モジュールは、目標輝度に対する前記平均輝度の関係に基づいて、ビデオ・パイプラインの利得及び前記カメラ露出時間の一方又は両方を調整するように構成される、実施例２に記載の遠隔操作手術システム。
［実施例１６］
前記自動露出モジュールは、第１の光パワー出力を第２の光パワー出力に変化させるべく前記照明制御装置に命令し、且つ照明装置の出力の変化を補償するために、前記カメラの露出を調整するべく前記カメラに命令するようにさらに構成される、実施例１５に記載の遠隔操作手術システム。
［実施例１７］
前記カメラ制御ユニットは、前記ビデオストリームの各フレームにメタデータを取り付けるように構成され、該メタデータは、パイプラインの同期のための情報を与える、実施例１に記載の遠隔操作手術システム。
［実施例１８］
前記カメラ制御ユニットは、内視鏡と組織との接触を検出するように構成され、
前記カメラ制御ユニットは、接触を検出した後に、前記光パワー出力を減衰させるべく前記照明制御装置に命令するように構成される、実施例１に記載の遠隔操作手術システム。
［実施例１９］
前記カメラ制御ユニットは、前記カメラによって取り込まれたシーンを受信するために、前記カメラに結合された統計モジュールをさらに含み、該統計モジュールは、前記取り込まれたシーンの全体の輝度を決定するように構成される、実施例１８に記載の遠隔操作手術システム。
［実施例２０］
前記カメラ制御ユニットは、前記取り込まれたシーンの前記全体の輝度を受信するために、前記統計モジュールに結合され、カメラ露出時間を受信するために結合され、及び前記照明制御装置に結合された接触検出モジュールをさらに含み、該接触検出モジュールは、前記内視鏡のチップと組織との接触を検出するように構成される、実施例１９に記載の遠隔操作手術システム。
［実施例２１］
前記接触検出モジュールは、反射した輝度を監視し、及び前記照明装置からの前記光パワー出力を監視するようにさらに構成される、実施例２０に記載の遠隔操作手術システム。
［実施例２２］
前記接触検出モジュールは、第１の光パワー出力から第２の光パワー出力への変化が、第１の光パワー出力の反射した輝度と比較して第２の光パワー出力の反射した輝度の変化を生じさせない場合に、前記内視鏡のチップが前記組織に接触していると判定するようにさらに構成される、実施例２０に記載の遠隔操作手術システム。
［実施例２３］
前記照明制御装置は、前記接触検出モジュールに結合されるディザリング・モジュールをさらに含み、該ディザリング・モジュールは、前記接触検出モジュールによって有効にされた後で、前記光パワー出力を既知のパターンで変化させるように構成される、実施例２０に記載の遠隔操作手術システム。
［実施例２４］
前記自動露出モジュールに結合されたハイパワーモードスイッチをさらに含む、実施例３に記載の遠隔操作手術システム。
［実施例２５］
遠隔操作手術システムであって、当該遠隔操作手術システムは、
カメラ制御ユニット及び照明制御装置を含む制御装置を有しており、
前記照明制御装置は、前記カメラ制御ユニットからのコマンドに応答して、前記遠隔操作手術システムの照明装置からの光パワー出力を制御するように構成され、
前記カメラ制御ユニットは、前記遠隔操作手術システムのカメラからビデオストリームを受信するように構成され、前記カメラ制御ユニットは、前記照明制御装置に結合され、
前記カメラ制御ユニットは、光パワー出力を第１の光パワー出力から第２の光パワー出力に変化させるべく、前記照明制御装置に命令するように構成され、及びカメラ露出時間を第１の露出時間から第２の露出時間に変更するべく、前記カメラに命令するように構成され、それによって、フレームが、続いて、前記カメラによって第２の露出時間で及び反射光によって取り込まれ、該反射光は、反射される前に第２の光パワー出力を有する前記照明装置からの光である、
遠隔操作手術システム。
［実施例２６］
遠隔操作手術システムであって、当該遠隔操作手術システムは、
光パワー出力を有する照明装置と、
組織を含むシーンを取り込むように構成されたカメラと、
前記照明装置及び前記カメラに結合された制御装置と、を有しており、
前記制御装置は、内視鏡と前記組織との接触を検出するように構成され、
前記制御装置は、接触を検出した後で、前記光パワー出力を減衰するように構成される、
遠隔操作手術システム。
［実施例２７］
方法であって、当該方法は、
制御装置によって、内視鏡のチップと組織との接触を検出するステップと、
前記制御装置が接触を検出した際に、前記制御装置によって、前記内視鏡のチップからの光パワー出力を減衰させるステップと、を含む、
方法。
［実施例２８］
遠隔操作手術システムを作動させる作動方法であって、当該作動方法は、
取り込んだシーンの平均輝度及び表示されるシーンの目標輝度を使用して、ビデオ・パイプラインの利得及びカメラ露出時間の一方又は両方を調整するステップと、
前記カメラ露出時間を用いて、照明装置の光パワー出力及びカメラの露出時間を設定するステップと、を含む、
作動方法。
［実施例２９］
前記目標輝度を低下させることによって、第２の取り込まれたフレームにおける飽和画素数を減らすステップをさらに含む、実施例２８に記載の作動方法。

Claims (14)

1. システムであって、当該システムは、
   組織を含むシーンを取り込むように構成されたカメラに及び照明装置に結合された制御装置を含み、
   該制御装置は、
   前記照明装置の光パワー出力を第１の光パワー出力から第２の光パワー出力に変化させることであって、それによって、続いて取り込まれるフレームには、前記カメラにより反射光によって取り込まれた前記シーンが含まれ、該反射光は、反射される前に前記第２の光パワー出力を有する前記照明装置からの光である、変化させること、及び
   前記照明装置の前記光パワー出力の前記第１の光パワー出力から前記第２の光パワー出力への変化が、所定の閾値未満である反射輝度の変化をもたらす場合に、内視鏡が前記組織に接触したと判定することであって、前記反射輝度の変化は、前記第１の光パワー出力についての第１の反射輝度から前記第２の光パワー出力についての第２の反射輝度への変化である、判定すること、を行うように構成される、
   システム。
2. 前記制御装置は、前記内視鏡が前記組織に接触したという判定に応答して、前記照明装置の前記光パワー出力を減衰させるようにさらに構成される、請求項１に記載のシステム。
3. 前記制御装置は、
   前記内視鏡が前記組織に接触したという判定に応答して、前記光パワー出力を既知のパターンで変化させること、及び
   前記カメラによる前記第２の光パワー出力についての前記第２の反射輝度における前記既知のパターンの検出に応答して、前記光パワー出力の減衰を終了させること、を行うようにさらに構成される、請求項２に記載のシステム。
4. 前記制御装置は、
   前記シーンのフレームの平均輝度に基づいて、前記第１の光パワー出力についての前記第１の反射輝度を決定すること、及び
   前記続いて取り込まれるフレームの平均輝度に基づいて、前記第２の光パワー出力についての前記第２の反射輝度を決定すること、を行うようにさらに構成される、請求項１に記載のシステム。
5. 前記制御装置は、
   前記シーンの前記フレームの輝度ヒストグラムを作成すること、
   前記シーンの前記フレームの前記輝度ヒストグラムに基づいて、前記シーンの前記フレームの前記平均輝度を決定すること、
   前記続いて取り込まれるフレームの輝度ヒストグラムを作成すること、及び
   前記続いて取り込まれるフレームの前記輝度ヒストグラムに基づいて、前記続いて取り込まれるフレームの前記平均輝度を決定すること、を行うようにさらに構成される、請求項４に記載のシステム。
6. 前記制御装置は、
   前記カメラの露出時間に対する前記シーンの前記フレームの前記平均輝度の比として、前記第１の光パワー出力についての前記第１の反射輝度を決定すること、及び
   前記カメラの前記露出時間に対する前記続いて取り込まれるフレームの前記平均輝度の比として、前記第２の光パワー出力についての前記第２の反射輝度を決定すること、を行うようにさらに構成される、請求項５に記載のシステム。
7. 前記制御装置は、
   前記カメラのカメラ露出時間と、前記シーンの表示されるフレームの輝度を制御するゲインとの一方又は両方を調整すること、
   前記カメラ露出時間の値に基づいて、前記光パワー出力を前記第１の光パワー出力から前記第２の光パワー出力に、及び前記カメラ露出時間を第１の露出時間から第２の露出時間に調整することであって、それによって、前記続いて取り込まれるフレームは、前記カメラにより前記第２の露出時間で取り込まれる、調整すること、及び
   前記照明装置の前記光パワー出力の前記変化中に前記シーンの表示されるフレームの目標輝度を維持すること、を行うようにさらに構成される、請求項１に記載のシステム。
8. 方法であって、当該方法は、
   組織を含むシーンのフレームを取り込むように構成されたカメラに及び照明装置に結合された制御装置が、前記照明装置の光パワー出力を第１の光パワー出力から第２の光パワー出力に変化させるステップであって、それによって、続いて取り込まれるフレームには、前記カメラにより反射光によって取り込まれた前記シーンが含まれ、該反射光は、反射される前に前記第２の光パワー出力を有する前記照明装置からの光である、変化させるステップと、
   前記照明装置の前記光パワー出力の前記第１の光パワー出力から前記第２の光パワー出力への変化が、所定の閾値未満である反射輝度の変化をもたらす場合に、前記制御装置が、内視鏡が前記組織に接触したと判定するステップであって、前記反射輝度の変化は、前記第１の光パワー出力についての第１の反射輝度から前記第２の光パワー出力についての第２の反射輝度への変化である、判定するステップと、を含む、
   方法。
9. 前記内視鏡が前記組織に接触したという判定に応答して、前記制御装置が、前記照明装置の前記光パワー出力を減衰させるステップをさらに含む、請求項８に記載の方法。
10. 前記内視鏡が前記組織に接触したという判定に応答して、前記制御装置が、前記光パワー出力を既知のパターンで変化させるステップと、
    前記カメラによる前記第２の光パワー出力についての前記第２の反射輝度における前記既知のパターンの検出に応答して、前記制御装置が、前記光パワー出力の減衰を終了させるステップと、をさらに含む、請求項９に記載の方法。
11. 前記制御装置が、前記シーンのフレームの平均輝度に基づいて、前記第１の光パワー出力についての前記第１の反射輝度を決定するステップと、
    前記制御装置が、前記続いて取り込まれるフレームの平均輝度に基づいて、前記第２の光パワー出力についての前記第２の反射輝度を決定するステップと、をさらに含む、請求項８に記載の方法。
12. 前記制御装置が、前記シーンの前記フレームの輝度ヒストグラムを作成するステップと、
    前記制御装置が、前記シーンの前記フレームの前記輝度ヒストグラムに基づいて、前記シーンの前記フレームの前記平均輝度を決定するステップと、
    前記制御装置が、前記続いて取り込まれるフレームの輝度ヒストグラムを作成するステップと、
    前記制御装置が、前記続いて取り込まれるフレームの前記輝度ヒストグラムに基づいて、前記続いて取り込まれるフレームの前記平均輝度を決定するステップと、をさらに含む、請求項１１に記載の方法。
13. 前記制御装置が、前記カメラの露出時間に対する前記シーンの前記フレームの前記平均輝度の比として、前記第１の光パワー出力についての前記第１の反射輝度を決定するステップと、
    前記制御装置が、前記カメラの露出時間に対する前記続いて取り込まれるフレームの前記平均輝度の比として、前記第２の光パワー出力についての前記第２の反射輝度を決定するステップと、をさらに含む、請求項１２に記載の方法。
14. 前記制御装置が、前記カメラのカメラ露出時間と、前記シーンの表示されるフレームの輝度を制御するゲインとの一方又は両方を調整するステップと、
    前記制御装置が、前記カメラ露出時間の値に基づいて、前記光パワー出力を前記第１の光パワー出力から前記第２の光パワー出力に、及び前記カメラ露出時間を第１の露出時間から第２の露出時間に自動的に調整するステップであって、それによって、前記続いて取り込まれるフレームは、前記カメラにより前記第２の露出時間で取り込まれる、調整するステップと、
    前記制御装置が、前記照明装置の前記光パワー出力の前記変化中に前記シーンの表示されるフレームの目標輝度を維持するステップと、をさらに含む、請求項８に記載の方法。

Images