JP6363114B2 - Ｃｍｏｓセンサによる声帯のビデオストロボスコピー - Google Patents

Description

技術の進歩により、医療用の撮像能力に進歩がもたらされてきた。最も有益な進歩のいくつかを享受している一分野は、ビデオストロボスコピー、外科手技などの、内視鏡検査の分野であり、これは、内視鏡を構成する構成要素における進歩によるものである。

患者の喉頭の構造など、声帯の問題を診断する際に用いられる極めて一般的な手技は、声帯のビデオストロボスコピーである。この手技は、硬性内視鏡又は軟性内視鏡のいずれか、ストロービングされることが可能な光源、及びマイクロホンを使用して実施される。光源には、限定するものではないが、キセノン、ＬＥＤ、レーザー及びハロゲンが含まれ得る。この手技中、内視鏡の撮像端部は患者の声帯の視野に入れられ、次いで患者は、話すか、キーフレーズを繰り返すか、又は歌うように求められる。マイクロホンが使用されて患者の声の周波数が捕捉され、同様の周波数で光源がストロービングされて、これが声帯のスローモーション表示をもたらす。医師は次いで、このスローモーション表示を用いて、任意の声帯の問題を診断する。

従来、ＣＣＤ（電荷結合素子）型の内視鏡が、ストロービングを必要とするあらゆる用途に求められている。その基本的な手法は、光源を所望の周波数で連続的にストロービングすることである。ＣＣＤセンサはグローバルシャッタ動作を用いるため、ストロービングは、映像の画質にいかなる問題も伴うことなく継続し得る。しかしながら、ＣＣＤセンサは、相補形金属酸化膜半導体（ＣＭＯＳ）センサよりも相当に高価であり、キー領域においてはＣＭＯＳ撮像センサよりも劣ることが知られている。

センサ技術に関して言えば、ＣＭＯＳ撮像センサは、集積化及び操作がより容易であり、画質がより優れるかあるいは同等であり、汎用性がより高く、コストがより低いことから、内視鏡検査などの現代のカメラ用途において、従来のＣＣＤ撮像素子に広く代わるものとなってきた。

本開示の非限定的かつ非包括的な実現形態について以下の図を参照して説明する。別段の指定がない限り、同様の参照符号は様々な図を通して同様の部分を指している。本開示の利点は、以下の説明及び添付の図面に関連させることによって更に理解されよう。
一実現形態による、ビデオストロボスコピーで使用するための内視鏡システムを示している。 一実現形態による、電子シャッタを使用してセンサに当たる光量を制御するＣＭＯＳセンサの典型的な読出しシーケンスを示している。 一実現形態による、電子シャッタがスイッチオフされ、光が読出しの間に取り込まれる、ＣＭＯＳセンサの読出しシーケンスを示している。 一実現形態による、Ａ１として示した読出し期間中に発生する光のストロボ又はパルスを示している。 一実現形態による、光情報を収集していないために完全に黒色となる、読出しシーケンスＡ１で表現されるフレームと、Ａ２で表現される読出しシーケンスが、各ピクセルを同じ光量で露光される状況を示している。 一実現形態による、ストロービング光源信号がセンサシーケンスに重ね合わされた、典型的なセンサシーケンスの例を示している。 一実現形態による、光のパルスを抑制することに関連したセンサシーケンスのブランキング部分の延長及びピクセル読出し部分の短縮を示している。 一実現形態による、光のパルスを抑制する概念を示している。 各読出しフレームが中断されており（図示の通り２回）、各中断は光パルス又はストロボが発生したときに発生する、一実現形態を示している。 一実現形態による、次のシーケンシャルフレーム（Ｆ２として示す）に対する各光パルス又はストロボがなす寄与、及びパルスＰ１〜Ｐ５に対する５つの画像によって構成された合成画像を示している。 一実現形態による、Ｐ１、Ｐ２、Ｐ４及びＰ５パルスが読出し中に発生し、Ｐ３及びＰ６パルスがブランキング期間２００中に発生する読出しシーケンスを示している。 一実現形態による、センサ読出し期間中に発生する単一のパルスＰ１に関連付けられる、結果として得られる画像の例を示している。 一実現形態による、図１０のストロボ又はパルスＰ１〜Ｐ５それぞれの行位置と相対光強度を表現したものを示している。 本開示の教示及び原理に従って３次元画像を生成するための複数のピクセル配列を有する、モノリシックセンサの実現形態の斜視図を示している。 本開示の教示及び原理に従って３次元画像を生成するための複数のピクセル配列を有する、モノリシックセンサの実現形態の側面図を示している。 複数の基板上に構築された撮像センサの一実現形態の斜視図を示しており、ピクセル配列を形成する複数のピクセル列が第１の基板上に配置され、複数の回路列が第２の基板上に配列されており、あるピクセルの列からそれに関連又は対応する回路の列への電気的接続及び通信が示されている。 複数の基板上に構築された撮像センサの一実現形態の側面図を示しており、ピクセル配列を形成する複数のピクセル列が第１の基板上に配置され、複数の回路列が第２の基板上に配列されており、あるピクセルの列からそれに関連又は対応する回路の列への電気的接続及び通信が示されている。 ３次元画像を生成するための複数のピクセル配列を有する撮像センサの一実現形態の斜視図を示しており、複数のピクセル配列及び撮像センサが複数の基板上に構築されている。 ３次元画像を生成するための複数のピクセル配列を有する撮像センサの一実現形態の側面図を示しており、複数のピクセル配列及び撮像センサが複数の基板上に構築されている。

以下の本開示の説明において、添付の図面を参照するが、それらの図面は本願の一部をなすものであり、本開示が実施され得る特定の実現形態を実例として示すものである。本開示の範囲から逸脱することなく、他の実現形態が利用され得ると共に構造的な変更がなされ得ることが理解される。

本明細書及び添付の特許請求の範囲において使用される場合、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈上明白に異なって解釈すべき場合を除き、複数の指示物をも含むことに留意すべきである。

本明細書で用いられるとき、「備える（comprising）」、「含む（including）」、「含有する（containing）」、「を特徴とする」、及びそれらの文法的な相当語句は、記述されていない付加的な要素又は方法工程を除外しない包括的又は非限定的な用語である。

更に、必要に応じて、本明細書に記述する機能は、ハードウェア、ソフトウェア、ファームフェア、デジタル構成要素、又はアナログ構成要素のうちの１つ以上で実施され得る。例えば、１つ以上の特定用途向け集積回路（ＡＳＩＣ）が、本明細書に記述するシステム及び手順のうちの１つ以上を実行するようにプログラムされ得る。ある用語が、特定のシステム構成要素を指すために、以下の説明及び特許請求の範囲の全体を通じて用いられている。当業者には明らかとなるように、構成要素は異なる名称で参照される場合がある。この文書では、名前は異なるが機能は異ならない構成要素同士を区別することは意図されていない。

本開示は、グローバルシャッタを必要としない、有さない、又は使用しないＣＭＯＳセンサで使用するのに適したストロービングシーケンスに関するものであり、またそれを説明するものである。代わりに、ＣＭＯＳセンサは、ストロービング入力をセンサ読出しパターンのブランキング部分と同期させ、センサ読出し中、又はストロービングが他の方法で画像にアーチファクトを残すときに、ストロービングを無効化する。本明細書で議論及び説明するように、本開示は、これを効率的かつ明快な方式で行い得る装置、システム及び方法を提供する。

ここで図を参照するが、本開示は図１Ａに示すような内視鏡システム１００に関するものであることが明らかとなろう。内視鏡システム１００は、制御ユニット１１０と、カメラハンドピース１２０と、内視鏡装置１３０と、ＣＭＯＳ撮像センサ１４０と、光源１５０と、を備え得、光源１５０は、ストロービング光源、レーザー光源、ＬＥＤ光源、又はパルス動作され得る他の光源であってよい。一実現形態において、制御ユニット１１０は、撮像センサ１４０から離れて配置され得ることがわかるであろう（本明細書で更に完全に議論する）。ある実現形態において、制御ユニット１１０はハンドピース１２０内に配置され得る。ある実現形態において、制御ユニット１１０は、本開示の範囲から逸脱することなく、撮像センサ１４０及びハンドピース１２０から離れて配置され得、またベースユニットで収容され得る。

本開示の撮像センサ１４０はＣＭＯＳセンサであることが理解されよう。本開示では、ＣＣＤセンサは使用されず、また、現在では業界標準であるグローバルシャッタも利用されない。その代わりに、本明細書で更に十分に説明するように、ＣＭＯＳセンサが、ロールシャッタとも呼ばれる電子シャッタ動作を使用して、センサと相互作用する光の量を制御する。

ここで図１Ｂを参照するが、センサに当たる又はセンサと相互作用する光の量を、電子シャッタを使用して制御する、ＣＭＯＳセンサの典型的な読出しシーケンスを示している。センサの読出しがｙ軸にあるものとして図に示され、取込み時間が図のｘ軸に沿って示されていることが理解されよう。ＣＭＯＳセンサ１４０は、センサの前方及び後方の列の上又は周りに光学的ブラックエリアを備えてもよい。前方の列の光学的ブラックエリアは図において２０２として識別され、後方の列の光学的ブラックエリアは図において２０４として識別される。センサの読出しは２０６として識別される。図１Ｂにおいて、電子シャッタ又はロールシャッタが、符号２０８を付された破線で示されている。

ここで図２を参照するが、電子シャッタがスイッチオフされる（例えば、フレーム内に余分なリセットポインタが存在しない）場合、図示されるように、光は読出しから読出しの間に取り込まれる。これはフルフレームの取込み動作として知られている。ピクセルは、ブランキングエリア２００において時間Ａ、Ｂ中に読み出される。この構成において、ＣＭＯＳセンサのピクセルは常に光を収集している。図示されるように、ｔ１は、線ｔ１で表されるピクセルが光を収集する時間であり、ｔ２は、線ｔ２で表されるピクセルが光を収集する時間である。

データのフレームの読出し中に、光のレベルが変化した場合、例えば光のレベルが増大した場合、フレーム配列中でより最近のピクセルは、フレームの最初と比べて、より多量の光を集める。あるいは、光のレベルがフレームの読出し中に低下した場合、フレーム中でより最近のピクセルは、フレームの最初と比べて、より少量の光を集める。

ここで図３を参照するが、光ストロボ又はパルス２１０が読出し期間Ａ１中に生じ得る。光ストロービングの典型的な範囲は６０Ｈｚ〜１０００Ｈｚであるが、この範囲外の任意の他の周波数が本開示の範囲内であることがわかるであろう。Ｆ１及びＦ２と符号を付されたボックスは、光のそのストロボ又はパルス２１０から得られた画像を表している。直感的には、Ａ１に関連する像Ｆ１内により明るい着色バーが見えると予想され、またＦ２はいかなる光情報も含まないことが予想されよう。その代わりに、ピクセルは絶えず光情報を捕捉しているため、Ｆ１はパルス２１０が始まるまで黒色である。パルス２１０はフレームに残存するので、Ａ１．ｔ１〜Ａ１．ｔ２の間に収集された光の勾配が存在する。この勾配はパルス２１０が終了するまで続き、その後に、すべてのピクセル読出しに、同じ量の光情報が含まれる。Ａ２．ｔ１において、ピクセルは、以前のフレームからパルス情報の一部を収集しており、したがって第２の勾配が像に見られる。この現象が、ちらつき又はローリングノイズを画像上に生じさせる。これは、ＣＭＯＳセンサがパルス又はストロービング光に曝露されると生じる。

この問題及びその他の問題を緩和するために、本開示は、いかなる光のパルスも読出しシーケンスのブランキング部分（２００又はＢとして識別）中に生じるように、装置、システム及び方法を実現している。本開示の一実現形態において、読出しシーケンスはストロービング中は中断される。本開示の一実現形態において、各ラインの光の不足又は光の過剰がマッピングされ、ピクセルの行特有のデジタルゲインが加えられる。

ここで図４を参照するが、読出しシーケンスのブランキング部分中のパルス光が示されている。図示されるように、読出しシーケンスＡ１で表されるフレームＦ１は完全に黒色であり、光情報を収集していないが、Ａ２で表される読出しシーケンスは、同じ光量ですべてのピクセルが曝露されることになり、結果としてフレームＦ２を生じる。図示されるように、Ｂ．ｔ１、Ｂ．ｔ２及びＢ．ｔ３はすべて、同じ量の光に曝露されており、その結果としてフレームＦ２が生じている。

画像のちらつき又はローリングノイズを緩和するために、ＣＭＯＳセンサがパルス又はストロービング光に曝露されると、ＣＭＯＳセンサ１４０は、そのブランキング期間２００中にストロービング又はパルスを受け得る。ストロービング光源の信号が上に重ね合わされた典型的なセンサシーケンスの例が、図５に示されている。図示されるように、ストロボ又はパルス２１０の多くは、ブランキング期間２００中ではなく、シーケンスの読出し部分２０６中に生じる。ほとんどのセンサ通信シーケンスは、長い読出し期間２０６及び短いブランキング期間２００を有する。本開示は、図６の画像で説明及び表現されるように、ブランキング部分２００を延長し、ピクセル読出し部分２０６を短縮し得るものである。より高いデータ率で読出し２０６を実行するか、あるいは読み出されるピクセル数を犠牲にするかで、トレードオフが存在することに留意されたい。図６に示すようにブランキング期間２００が延長すると、全パルス２１０がブランキング期間２００中に存在するようになっているのがわかる。

次の工程は、シーケンスのピクセル読出し部分中にパルスを抑制することである。図６において、Ｐ１、Ｐ５及びＰ６における光パルス２１０は、画像のローリングノイズ又はちらつきを防止するために抑制されなければならない。黒色のピクセルは光を取り込まないので、光学的黒色の前方行２０２及び後方行２０４の読出しは、ブランキング時間２００と見なされ得ることに留意されたい。したがって、光学的黒色の後方行２０４の読出しの開始直後に開始するか、あるいは光学的黒色の前方行２０２の読出しの終了直前に終了するパルス２１０は、良好なパルス２１０と見なされ得るものであり、拒否されるべきではない。

ピクセル読出し部分２０６中におけるパルス２１０の抑制の後、次の工程は、同じ数のパルス２１０が各ブランキング期間２００中に捕捉されるようにすることである。例えば、２つのパルス２１０が１つのブランキング期間２００中に捕捉され、次いで１つのパルスが次のブランキング期間２００中に捕捉される場合、各ブランキング期間２００中に受容されるパルス２１０の数が異なることが原因で、連続するフレームが異なる光のレベルを有するため、画像は依然としてちらつくことになる。

ここで図７を参照するが、示した図において、Ｐ１におけるストロボ又はパルス２１０は、読出し２０６のピクセル部分中に生じるため抑制されている。Ｐ２、Ｐ３及びＰ４におけるストロボ又はパルス２１０は、ブランキング期間２００中に生じているため抑制されていない。しかしながら、ここでは、第１のブランキング期間２００はＰ２において１つのパルス２１０を有し、第２のブランキング期間２００はＰ３及びＰ４において２つのパルス２１０を有している。Ｐ３又はＰ４におけるパルス２１０の一方も、一貫した光曝露を維持するために抑制されなければならない。

最後の状況又は事例は、単一のパルス２１０がシーケンスのピクセル読出し期間２０６とブランキング期間２００とにまたがるときに生じる。この事例において、またがるパルス２１０も抑制されてよく、次の全パルス２１０が代わりに使用されてよい。図７において、Ｐ１におけるパルス２１０は、ピクセル読出し期間２０６とブランキング期間２００とにまたがっている。したがって、Ｐ１におけるパルス２１０は抑制され、Ｐ２におけるパルス２１０が代わりに使用される。

図６及び７に関連する開示内容は、パルス２１０をいつ許可し、また、フレームシーンを生成するために、どのパルス２１０を許可、維持及び使用するかをどのように決定するかについて議論するものである。パルス２１０をいつ許可し、どのパルスを許可するかを判断する判断プロセスは、一貫した量の光がＣＭＯＳセンサ１４０に到達するように、パルス周波数とブランキング時間に基づいてパルスデューティサイクルを精選することによって、より精巧にされ得る。例えば、パルス列周波数が１５０Ｈｚであり、デューティサイクルが１０％である場合、これは光がパルスごとに０．６ｍｓにわたってストロービングされることを意味する。周波数が５００Ｈｚに変化する場合、ブランキング期間中に生じ得るパルスの最大数及び最少数に基づいてデューティサイクルを精選することにより、センサが依然として０．６ｍｓにわたってパルスを受けるようにすることができる。ただし、曝露時間は複数のパルスにわたって広がり得る。

ここで図８〜１２を参照するが、理論的に、ブランキング期間２００を大幅に延長することは、同じ数のピクセルが読出し期間２０６中に読み出される場合にフレーム率を減少させることになるため困難となり得る。フレーム率がより低くなると、ビデオストロボスコピー中に利用可能な重畳画像の枚数が増加することになり、それによって合成画像がぼやけることになり得る。同様に、読出し期間２０６を短縮することは、画像の解像度を低減させること、すなわちより少数のピクセルを読み出すことによって達成され得るが、このこともまた最終的な画像に悪影響を及ぼし得る。

したがって、拒否されるパルスが多すぎる場合、各重畳画像は、そのセンサーフレーム率における出現率が低いため、鮮明には現れない。このことは、パルス拒否率が一定の閾値に達した場合、低周波のちらつきにつながり得る。

以下の議論は、光ストロボ又はパルス２１０がセンサ読出し２０６中に拒否されることを回避し、それによって解像度及びフレーム率を維持すると同時に画像の鮮明性を維持することを想定するものである。一実現形態において、所与のパルスに由来する光を取り込み、そのフレームで読み出される行が、追跡され得る。フレームが読み出されると、正規化のためにそのフレームの様々な行区間にデジタルゲインが加えられ、それによって、算出された基準レベルに対して光の不足又は光の過剰が補正される。ビデオストロボスコピーではスローモーションが用いられるため、この方法によって引き起こされるモーションアーチファクトはない。

ここで図８を参照するが、センサ読出し２０６は、光のストロービングが始まるときに中断され得る。センサ読出し２０６は、ストロービングが終了すると再開し得る。センサ読出し２０６を中断させる方法には、限定するものではないが、センサのクロックをフリーズさせること、センサの垂直デコーダ及び／又は水平読出しをフリーズさせることを挙げることができる。センサ読出しをフリーズさせる他の方法が多数あり、そのようなすべての方法が本開示の範囲に含まれることに留意されたい。図８は、光ストロボ又はパルス２１０が生じるたびに各読出しフレーム（Ｆ１及びＦ２）が２度（２１２及び２１４にて）中断されている例を示している。

図９は、図８からのＦ２フレーム上の各光パルス（Ｐ１〜Ｐ５）の寄与を示している。Ｆ１フレーム中に生じるパルス２１０は、照明された上部画像と黒色の下部画像をＦ２フレーム上に生成することが分かる。対照的に、Ｆ２フレーム中に生じるパルス２１０は、黒色の上部画像と照明された下部画像をＦ２フレーム上に生成する。先に示したように、ブランキング期間２００中のパルス２１０は、完全に照明された画像を次のフレームにもたらす（図４に関連する議論を参照）。読出し２０６はストロービング中に中断され得るため、１つのパルスに関して像に光の勾配は存在せず、光パルス２１０が始まる直前に読み出されている物理的な行に明快な切れ目が見られる。例えば、Ｐ１におけるパルス２１０からの画像には、画像の上部から行ｎまでＰ１光パルスに関する照明が見られる。その後、画像は黒色となる。合成画像は、関連するパルス２１０（この例ではＰ１〜Ｐ５）に関するすべての画像を重畳したものである。

図９はまた、Ｐ１〜Ｐ５における各パルス２１０に対する５つの画像で構成された合成Ｆ２画像を示している。異なる数の光ストロボ又はパルス２１０に曝露された、行ｍ、ｎ、ｏ及びｐの間の領域に対応する５つの個別のストライプが存在することが分かる。例えば、パルスＰ１〜Ｐ５中、行ｍと行ｎとの間の行のストライプは、最高５回のうち４回曝露されているのに対し、行ｎと行ｏとの間の行のストライプは、最高５回のうち３回曝露されている。

次いで、処理された画像は、デジタルゲインを用いた正規化によって実質的にアーチファクトなしとなり得る。図９の例では、５／３のデジタルゲインが、ピクセル配列の上部と行ｍとの間のストライプ、行ｎと行ｏとの間のストライプ、及び行ｐとピクセル配列の下部との間のストライプに加えられる。５／４のデジタルゲインが、行ｍと行ｎとの間のストライプ、及び行ｏと行ｐとの間のストライプに加えられる。

ここで図１０〜１２を参照するが、図８及び９に関連して説明したように、センサ読出し２０６を中断することは困難となり得る。以下の議論では、ハードウェア、特に撮像センサを簡略化して、画像信号処理（ＩＳＰ）に更に焦点を合わせる。センサ読出し２０６中に生じる光パルス又はストロボ２１０は、読出しプロセスを中断する必要なく、「再利用」され得る。

図１０は、Ｐ１、Ｐ２、Ｐ４及びＰ５におけるパルス２１０がほとんどあるいは完全に読出し期間２０６ａ及び２０６ｂ中に生じ、Ｐ３及びＰ６におけるパルス２１０がブランキング期間２００中に生じる読出しシーケンスの例を示している。単一のパルス２１０に関連する画像が重畳されるため、これらの画像のうちの１つを調べれば、方法全体を説明するのに十分である。例えば、この議論の焦点はパルスＰ１に置かれることができる。

図１１は、センサ読出し２０６中に生じる単一のパルス２１０（この場合はＰ１）に関連する、結果として得られる画像の例を示している。読出しは依然として割り込みされていないことに留意されたい。この例に示すＰ１画像は、次の読出しフレーム（Ｆ２）上で読み出される。上部の行（例えば行ｏ）から行ｎまでの読出しは、Ｐ１ストロボ２１０に先立って起こる。したがって、Ｐ１パルス２１０によって生成される全光エネルギーは、次の読出し（Ｆ２）までこれらの行で保持される。Ｐ１ストロボ２１０及び読出しが同時に生じると、光の、ストロボの始まりと所与の行のＦ１読出しとの間に生成される部分は、Ｆ１フレーム上で読み出される。光パルスの残存部分（所与の行のＦ１読出しの後）の光は、この所与の行のＦ２読出し中に見られる。光の分割に関連する行は、行ｎと行ｎ’との間にある。

一例として、Ｐ１パルスの開始から５番目の行（すなわち行ｎ＋５）が読み出されている（Ｆ１フレーム）と仮定すると、光パルスのうちの５ライン時間に相当する部分がＦ１読出し中に取り込まれ、読み出される。パルス幅から５ライン時間を減じたものである、パルス２１０の残存部分は、Ｆ２フレーム上で読み出される。Ｆ１フレームの読出しはＰ１ストロボの後に生じるため、行ｎ’からピクセル配列の終端までのピクセル上で生成された光情報は、Ｆ１フレームの読出し中に読み出され、このＰ１パルス２１０に関するものはＦ２フレームの読出しの時点では存在せず、Ｆ２フレーム中の黒色領域につながっている。

センサのライン時間（Ｔｌｉｎｅ）及びパルス幅（Ｔｐｕｌｓｅ）は正確に制御されタイミングが合わせられるため、フレームＦ２の読出しにおける行ｎと行ｎ’との間の行の光の不足は、ライン位置に応じて算出することができる。まず、ストロボ幅の間のローリングする行（Δ）の数を以下のように算出する必要がある。

図１１の例においては、ｎ’＝ｎ＋Δ

Ｆ１フレーム中に生じるパルス２１０（例えばパルスＰ１）の場合、Ｆ２フレームで収集される行ｘの相対照度（Ｉ）は、次のように表現され得る。

これは、図１１において（行位置）対（相対光強度）のグラフに示されている。非常に似た推論を用いると、Ｆ２フレーム中に生じるパルス（例えば図１０のＰ５）に対してＦ２フレームで収集される行ｘの相対照度（Ｉ）の表式は、以下の通りである。

図１２は、図１０の例のＰ１〜Ｐ５におけるストロボ２１０の各々に関して（行位置）対（相対光強度）を表現したものである。上で説明したように、Ｐ１及びＰ２は、フレームＦ１の読出し２０６ａ中に生じているパルス２１０であり、上部の行に対しては完全な光の照度を有し、また黒色の下部の行を有する。同じように、Ｆ２読出し２０６ｂ中に生じるＰ４及びＰ５におけるパルス２１０は、黒色の上部の行と、完全に照明された下部の行を有する。いかなる場合にも、読出し２０６ａ及び読出し２０６ｂが一致したときに、線形遷移が発生する。Ｐ３はセンサのブランキング時間２００中に配置されているため、Ｐ３からの画像は完全な照度を有する。

図８及び９に関連して先に説明したように、合成画像は、関連する光パルスに関するすべての画像を重畳することによって得ることができる。ＩＳＰは、（図１２の線図及び上記の数式を用いて）各行ごとに光の不足を追跡し、次いで行に関するデジタルゲインを加えて、合成画像をアーチファクトなしの画像へと正規化することができる。

一実現形態において、任意のストロービング周波数にて所望の一定の出力レベルを維持するために、光源の強度が各ストロボ（ストロボ高さ）中に制御され得る。

本開示は、ＣＭＯＳ撮像センサであるかＣＣＤ撮像センサであるかに関わらず、本開示の範囲から逸脱することなく、任意の撮像センサと共に使用され得ることが明らかとなろう。更に、撮像センサは、限定するものではないが、本開示の範囲から逸脱することなく、内視鏡の先端、撮像装置又はカメラのハンドピース、制御ユニット、又はシステム内の任意の他の位置を含めて、システム全体中のいかなる位置にも配置され得る。

本開示によって利用され得る撮像センサの実現形態には、限定するものではないが以下が挙げられ、それらは単に、本開示によって利用され得る様々な種類のセンサの例に過ぎない。

ここで図１３Ａ及び１３Ｂを参照するが、これらの図は、本開示の教示及び原理に従って３次元画像を生成するための複数のピクセル配列を有する、モノリシックセンサ１３００の一実現形態の斜視図及び側面図をそれぞれ示している。そのような実現形態は、３次元画像の取得に望ましいもであり得、ここで２つのピクセル配列１３０２及び１３０４は使用中に偏位されていてもよい。別の実現形態において、第１のピクセル配列１３０２及び第２のピクセル配列１３０４は、所定の波長範囲の電磁放射を受容するように専用化されてもよく、ここで、第１のピクセル配列１３０２は、第２のピクセル配列１３０４とは異なる波長範囲の電磁放射に対して専用化される。

図１４Ａ及び１４Ｂは、複数の基板上に構築された撮像センサ１４００の一実現形態のそれぞれ斜視図及び側面図を示している。図示されるように、ピクセル配列を形成する複数のピクセル列１４０４が第１の基板１４０２上に配置され、複数の回路列１４０８が第２の基板１４０６上に配置される。この図にはまた、１列のピクセルとそれに関連又は対応する回路の列との電気的接続及び通信が示されている。一実現形態において、そのピクセル配列及び支持回路を単一のモノリシック基板／チップに配して別の方法で製造され得る撮像センサが、支持回路のすべて又は大部分からピクセル配列を分離させてもよい。本開示は、少なくとも２つの基板／チップを使用してもよく、それらは３次元積層技術を用いてともに積層される。２つの基板／チップのうちの第１の基板／チップ１４０２は、イメージＣＭＯＳプロセスを用いて処理され得る。第１の基板／チップ１４０２は、ピクセル配列のみから構成されてもよいし、限られた回路で囲まれたピクセル配列から構成されてもよい。第２の又は後続の基板／チップ１４０６は、任意のプロセスを用いて処理されてよく、イメージＣＭＯＳプロセスで処理される必要はない。第２の基板／チップ１４０６は、限定するものではないが、基板／チップ上の非常に限られた空間又は面積に多種多様な機能を組み込むためには高密度デジタル処理であってもよく、あるいは例えば正確なアナログ機能を組み込むために混合モード又はアナログプロセスであってもよく、あるいは無線機能を実現するためのＲＦプロセスであってもよく、あるいはＭＥＭＳ（微小電気機械システム）装置を組み込むためのＭＥＭＳであってもよい。イメージＣＭＯＳ基板／チップ１４０２は、任意の３次元技術を用いて第２の又は後続の基板／チップ１４０６と積層され得る。第２の基板／チップ１４０６は、ピクセル配列の大きさを一定に、そして可能な限り最大限に最適化した状態に保ちながらも、別の方法で第１のイメージＣＭＯＳチップ１４０２（モノリシック基板／チップ上に実現される場合）に周辺回路として実現されており、したがって全体的なシステム面積を増加させていた、回路のほとんど又は大部分を支持し得る。２つの基板／チップの間の電気的接続は、インターコネクト１４０３及び１４０５を通じてなされ得るが、これらは、ワイヤボンド、バンプ及び／又はＴＳＶ（Through Silicon Via）であってよい。

図１５Ａ及び１５Ｂは、３次元画像を生成するための複数のピクセル配列を有する撮像センサ１５００の一実現形態のそれぞれ斜視図及び側面図を示している。３次元撮像センサは、複数の基板上に構築され得ると共に、複数のピクセル配列及び他の関連する回路を備え得るものであり、第１のピクセル配列を形成する複数のピクセル列１５０４ａ、及び第２のピクセル配列を形成する複数のピクセル列１５０４ｂが、対応する基板１５０２ａ及び１５０２ｂ上にそれぞれ配置され、複数の回路列１５０８ａ及び１５０８ｂが、別の基板１５０６上に配置される。また、ピクセルの列とそれに関連又は対応する回路の列との電気的接続及び通信が示されている。

本開示の教示及び原理は、再使用型装置プラットフォーム、限定使用型装置プラットフォーム、リポーザブル使用型装置プラットフォーム、又は一回使用／使い捨て型装置プラットフォームにおいて、本開示の範囲から逸脱することなく用いられ得ることがわかるであろう。再使用型装置プラットフォームにおいては、エンドユーザーに装置の洗浄及び滅菌の責任があることが明らかとなろう。限定使用型装置プラットフォームにおいては、装置は動作不能になるまで指定された回数にわたって使用され得る。典型的な新品の装置は無菌で引き渡され、付加的使用は、エンドユーザーが付加的使用の前に清浄及び滅菌することを必要とする。リポーザブル使用型装置プラットフォームにおいては、第三者が装置、一回使用型装置を付加的使用のために新品のユニットよりも低コストで再処理（例えば、清浄、包装及び滅菌）し得る。一回使用／使い捨て型装置プラットフォームにおいては、装置は無菌で手術室に供給され、１回のみ使用された後に処分される。

加えて、本開示の教示及び原理は、赤外線（ＩＲ）、紫外線（ＵＶ）、及びＸ線など、可視及び非可視スペクトルを含めて、ありとあらゆる波長の電磁エネルギーを含み得る。

上記の記述は、図示及び説明を目的として提示したものである。包括的であること、又は、本開示を、開示された厳密な形態に限定することは意図されていない。上記の教示を考慮すれば、多くの修正および変形が可能である。更に、上述した別の実現形態のいずれか又はすべてが、本開示の更なる複合的な実現形態を形成するよう望まれる任意の組合わせで用いられ得ることに留意されたい。

更に、本開示の特定の実現形態について記述及び図示してきたが、本開示は、そのように記述及び図示した部分の特定の形態又は構成に限定されるものではない。本開示の範囲は、本明細書に添付される特許請求の範囲、本願及び別の出願で付託される将来の特許請求の範囲、並びにそれらの等価物によって定義されるものである。

〔実施の態様〕
（１） 内視鏡システムであって、
ビデオストロボスコピーで使用するための内視鏡であって、ルーメンと、少なくとも１つの光学的構成要素と、を備える、内視鏡と、
ある領域に可視化をもたらすためのＣＭＯＳセンサを備える撮像装置と、
前記ＣＭＯＳセンサと通信するためのプロセッサを備えるストロービング光源（strobing light source）と、を備える、システム。
（２） マイクロホンを更に備える、実施態様１に記載のシステム。
（３） 前記撮像装置が、前記ルーメン及び前記少なくとも１つの光学的構成要素に取り付けられている、実施態様１に記載のシステム。
（４） 前記内視鏡の前記ルーメンが、先端部を備える遠位部分を備え、前記ＣＭＯＳセンサが、前記内視鏡の前記先端部にて前記遠位部分内に位置する、実施態様１に記載のシステム。
（５） 前記ＣＭＯＳセンサが、カメラヘッド内に位置する、実施態様１に記載のシステム。

（６） 制御ユニットを更に備える、実施態様１に記載のシステム。
（７） 前記制御ユニットが、前記ＣＭＯＳセンサに対して遠隔に位置する撮像装置制御ユニットである、実施態様６に記載のシステム。
（８） 前記光源が、前記ＣＭＯＳセンサに対して独立している、実施態様１に記載のシステム。
（９） 前記光源は、前記ＣＭＯＳセンサの読出しシーケンスのブランキング期間中にパルス動作される、実施態様１に記載のシステム。
（１０） 前記光源が規則的な間隔でパルス動作され、ピクセル読出し期間内に生じる光パルスが抑制される、実施態様９に記載のシステム。

（１１） 前記ピクセル読出し期間と前記ブランキング期間とにまたがる前記光パルスが抑制される、実施態様１０に記載のシステム。
（１２） 前記光源が、規則的な間隔でパルス動作され、ある単一ブランキング期間中に生じる光パルスの数が、連続する次の単一ブランキング期間中に生じる光パルスの数と同じである、実施態様１に記載のシステム。
（１３） 前記読出しシーケンスが、ある期間にわたって中断され、前記光源が、前記中断される期間中にパルス動作される、実施態様１に記載のシステム。
（１４） 前記読出しシーケンスが２回中断され、前記光源が、前記中断される期間のそれぞれの間にパルス動作される、実施態様１３に記載のシステム。
（１５） 前記読出しシーケンスが複数回中断され、前記光源が、前記中断される期間のそれぞれの間にパルス動作される、実施態様１３に記載のシステム。

（１６） ビデオストロボスコピーで用いられる画像を提供するための方法であって、
光源からの光をある周波数でストロービングすることと、
ストロービング入力をＣＭＯＳセンサによって受け取ることと、
前記ＣＭＯＳセンサから取得した情報をプロセッサへ読み出すことと、
前記ストロービング入力を前記ＣＭＯＳセンサの読出しシーケンスのブランキング期間と同期させることと、を含む、方法。
（１７） ＣＭＯＳセンサ読出し期間中に前記ストロービングを無効化することによってアーチファクトを除去することを更に含む、実施態様１６に記載の方法。
（１８） 前記ＣＭＯＳセンサ読出し期間中に前記ストロービングを無効化することが、前記ＣＭＯＳセンサ読出し期間中に取得される光パルスを抑制することを更に含む、実施態様１７に記載の方法。
（１９） ピクセル読出し期間と前記ブランキング期間とにまたがる光パルスを抑制することを更に含む、実施態様１８に記載の方法。
（２０） 各センサ読出しフレームを少なくとも１回中断させて中断期間を作り出し、前記中断期間中に光をストロービングすることを更に含む、実施態様１６に記載の方法。

（２１） 前記センサ読出しフレームをフレームごとに複数回中断させ、各中断期間中に光をストロービングすることを更に含む、実施態様２０に記載の方法。
（２２） 対応する光パルスに関連して読出しシーケンス中に取得されたすべての画像を重ねることを更に含む、実施態様１６に記載の方法。
（２３） 対応する光パルスの位置に関連してフレームの行の部分集合にデジタルゲインを適用することを更に含む、実施態様１６に記載の方法。
（２４） 対応する光パルスの位置に関連してフレームの行の複数の部分集合に複数のデジタルゲインを適用することを更に含む、実施態様１６に記載の方法。
（２５） 対応する光パルスの位置に関連してフレームのすべての行に専用のデジタルゲインを適用することを更に含む、実施態様１６に記載の方法。

Claims (21)

1. 内視鏡システムであって、
   ビデオストロボスコピーで使用するための内視鏡であって、ルーメンと、少なくとも１つの光学的構成要素と、を備える、内視鏡と、
   ある領域に可視化をもたらすためのＣＭＯＳセンサを備える撮像装置と、
   前記ＣＭＯＳセンサと通信するためのプロセッサを備えるストロービング光源と、を備え、
   前記光源は、前記ＣＭＯＳセンサの読出しシーケンスのブランキング期間中にパルス動作され、
   前記光源が規則的な間隔でパルス動作され、ピクセル読出し期間内に生じる光パルスが抑制される、システム。
2. マイクロホンを更に備える、請求項１に記載のシステム。
3. 前記撮像装置が、前記ルーメン及び前記少なくとも１つの光学的構成要素に取り付けられている、請求項１に記載のシステム。
4. 前記内視鏡の前記ルーメンが、先端部を備える遠位部分を備え、前記ＣＭＯＳセンサが、前記内視鏡の前記先端部にて前記遠位部分内に位置する、請求項１に記載のシステム。
5. 前記ＣＭＯＳセンサが、カメラヘッド内に位置する、請求項１に記載のシステム。
6. 制御ユニットを更に備える、請求項１に記載のシステム。
7. 前記制御ユニットが、前記ＣＭＯＳセンサに対して遠隔に位置する撮像装置制御ユニットである、請求項６に記載のシステム。
8. 前記光源が、前記ＣＭＯＳセンサに対して独立している、請求項１に記載のシステム。
9. 前記ピクセル読出し期間と前記ブランキング期間とにまたがる前記光パルスが抑制される、請求項１に記載のシステム。
10. ある単一ブランキング期間中に生じる光パルスの数が、連続する次の単一ブランキング期間中に生じる光パルスの数と同じである、請求項１に記載のシステム。
11. 前記読出しシーケンスが、ある期間にわたって中断され、前記光源が、前記中断される期間中にパルス動作される、請求項１に記載のシステム。
12. 前記読出しシーケンスが２回中断され、前記光源が、前記中断される期間のそれぞれの間にパルス動作される、請求項１１に記載のシステム。
13. 前記読出しシーケンスが複数回中断され、前記光源が、前記中断される期間のそれぞれの間にパルス動作される、請求項１１に記載のシステム。
14. ビデオストロボスコピーで用いられる画像を提供するための方法であって、
    プロセッサが、光源からの光をある周波数でストロービングすることによって生じたストロービング入力を、ＣＭＯＳセンサから読み出すことと、
    前記ストロービング入力を前記ＣＭＯＳセンサの読出しシーケンスのブランキング期間と同期させることと、を含み、
    ＣＭＯＳセンサ読出し期間中に前記ストロービングを無効化することによってアーチファクトを除去することを更に含み、
    前記ＣＭＯＳセンサ読出し期間中に前記ストロービングを無効化することが、前記ＣＭＯＳセンサ読出し期間中に取得される光パルスを抑制することを更に含む、方法。
15. ピクセル読出し期間と前記ブランキング期間とにまたがる光パルスを抑制することを更に含む、請求項１４に記載の方法。
16. 各センサ読出しフレームを少なくとも１回中断させて中断期間を作り出し、前記中断期間中に光をストロービングすることを更に含む、請求項１４に記載の方法。
17. 前記センサ読出しフレームをフレームごとに複数回中断させ、各中断期間中に光をストロービングすることを更に含む、請求項１６に記載の方法。
18. 対応する光パルスに関連して読出しシーケンス中に取得されたすべての画像を重ねることを更に含む、請求項１４に記載の方法。
19. 対応する光パルスの位置に関連してフレームの行の部分集合にデジタルゲインを適用することを更に含む、請求項１４に記載の方法。
20. 対応する光パルスの位置に関連してフレームの行の複数の部分集合に複数のデジタルゲインを適用することを更に含む、請求項１４に記載の方法。
21. 対応する光パルスの位置に関連してフレームのすべての行に専用のデジタルゲインを適用することを更に含む、請求項１４に記載の方法。

Images