JP6254159B2 - 単色センサを使用するワイドダイナミックレンジ - Google Patents

Description

本願発明の一実施例は、例えば、単色センサを使用するワイドダイナミックレンジに関する。

本出願は、２０１２年７月２６日に出願された米国仮特許出願第６１／６７６，２８９号、および２０１３年３月１５日に出願された米国仮特許出願第６１／７９０，７１９号、および２０１３年３月１５日に出願された米国仮特許出願第６１／７９０，４８７号の利益を主張するものであり、これらの出願は、以下において具体的に現れる部分を含むが、該部分に限定されず、その全体が参照によって本明細書に包含され、参照による包含は、以下の例外と共になされる：上記の出願の任意の部分が本出願と一致しない場合には、本出願が上記の出願に優先する。

[0001]技術の進歩は、医学的利用のためのイメージング能力の進歩をもたらした。最も有益な進歩のうちのいくつかを享受した１つの領域は、内視鏡を構成する部品の進歩が理由で、内視鏡手術の領域である。

[0002]本開示は、一般に、拡張ビデオストリームのフレーム内のダイナミックレンジを増加することに関連する電磁感知およびセンサに関する。本開示の特徴および利点は、以下に続く説明において述べられ、当該説明から部分的に明らかになり、または不必要な実験なしに本開示の実施によって学習され得る。本開示の特徴および利点は、添付の特許請求の範囲において具体的に指摘される機器およびその組み合わせを用いて実現および取得され得る。

本願発明の一実施例は、例えば、単色センサを使用するワイドダイナミックレンジに関する。

本願発明の一実施例は、例えば、単色センサを使用するワイドダイナミックレンジに関する。

[0003]本開示の非限定的および非包括的な実装例は、以下の図面を参照しつつ説明され、当該図面において、同様の参照符号は、特に断りのない限り、様々な図の全体にわたって同様の部分を参照する。本開示の利点は、以下の説明および添付の図面に関して、より良く理解されるであろう。

[0004]本開示の原理および教示に係るフレームシーケンスパターンの実施形態を例示する図である。 [0005]本開示の原理および教示に係るフレームシーケンスパターンの実施形態を例示する図である。 [0006]本開示の原理および教示に係るフレームシーケンスパターンの実施形態を例示する図である。 [0007]本開示の原理および教示に係るフレームシーケンスパターンの実施形態を例示する図である。 [0008]本開示の原理および教示に係る画素の実施形態の概略図である。 [0009]本開示の原理および教示に係る共有画素構成の実施形態の概略図である。 [0010]本開示の原理および教示に係る共有画素構成の実施形態の概略図である。 [0011]本開示の原理および教示に係る、異なる感度を有する複数の画素を有する画素アレイの実施形態の概略図である。 [0012]本開示の原理および教示に係る、画素アレイの動作のグラフ図である。 [0013]本開示の原理および教示に係る、画素アレイの動作のグラフ図である。 [0014]本開示の原理および教示に係る、画素アレイの動作のグラフ図である。 [0015]本開示の原理および教示に係る、画素アレイの経時的な動作のグラフ図である。 [0016]本開示の原理および教示に係る、画素アレイの経時的な動作のグラフ図である。 [0017]本開示の原理および教示に係る、画素アレイの経時的な動作のグラフ図である。 [0018]本開示の原理および教示に係る、画素アレイの経時的な動作のグラフ図である。 [0019]本開示の原理および教示に係る、複数の露光感度を有する画素アレイの経時的な動作のグラフ図である。 [0020]本開示の原理および教示に係る、イメージセンサの実施形態のフローチャートである。 [0021]本開示の原理および教示に係る、複数の画素感度を有するセンサの露光応答のグラフ図である。 [0022]本開示の原理および教示に係る、長時間露光信号への融合重み付けのグラフ図である。 [0023]本開示の原理および教示に係る、データ圧縮のための伝達関数の実施形態のグラフ図である。 [0024]本開示の原理および教示に係る、データ圧縮のための実施形態のグラフ図である。 [0025]本開示の原理および教示に係るフレームシーケンスパターンの実施形態を例示する図である。 [0026]本開示の原理および教示に係るフレームシーケンスパターンの実施形態を例示する図である。 [0027]本開示の原理および教示に係るフレームシーケンスパターンの実施形態を例示する図である。 [0028]本開示の原理および教示に係るハードウェアの実施形態を例示する図である。 [0029]図２６Ａは、本開示の教示および原理に係る、三次元画像を生成するための複数の画素アレイを有する実装例を例示する図である。 図２６Ｂは、本開示の教示および原理に係る、三次元画像を生成するための複数の画素アレイを有する実装例を例示する図である。 [0030]図２７Ａは、画素アレイを形成する複数の画素列が第１の基板上に位置し、複数の回路列が第２の基板上に位置する、複数の基板上に構築される撮像センサの実装例の斜視図であって、画素の１つの列と当該列に関連または対応する回路の列との間の電気的接続および通信を示す斜視図である。 図２７Ｂは、画素アレイを形成する複数の画素列が第１の基板上に位置し、複数の回路列が第２の基板上に位置する、複数の基板上に構築される撮像センサの実装例の側面図であって、画素の１つの列と当該列に関連または対応する回路の列との間の電気的接続および通信を示す側面図である。 図２８Ａは、複数の画素アレイおよびイメージセンサが複数の基板上に構築される、三次元画像を生成するための複数の画素アレイを有する撮像センサの実装例の斜視図である。 図２８Ｂは、複数の画素アレイおよびイメージセンサが複数の基板上に構築される、三次元画像を生成するための複数の画素アレイを有する撮像センサの実装例の側面図である。

[0032]本開示は、主に医療用途に適し得るデジタルイメージングのための方法、システム、およびコンピュータベースの製品に及ぶ。本開示の以下の説明において、添付の図面への参照がなされ得る。当該添付の図面は、本開示の一部を形成し、また、当該図面において、本開示が実施され得る具体的な実装例が例示として示される。本開示の範囲から逸脱することなく、他の実装例が利用されてもよく、構造上の変更が行われてもよいことが理解され得る。

[0033]本明細書において、エミッタは、電磁パルスを生成および出射することが可能な装置である。エミッタの様々な実施形態は、パルスを出射し、全電磁スペクトルの中から極めて特定の周波数または周波数の範囲を有するように構成され得る。パルスは、可視範囲および非可視範囲からの波長を含み得る。エミッタは、オンとオフとを循環してパルスを生成してもよいし、またはシャッタ機構を用いてパルスを生成してもよい。エミッタは、可変の電力出力レベルを有してもよいし、またはアパーチャもしくはフィルタなどの二次装置を用いて制御されてもよい。エミッタは、カラーフィルタリングまたはシャッタリングを通じてパルスを生成し得る、広域スペクトルまたはフルスペクトルの電磁放射を出射し得る。エミッタは、独立してまたは協調して動作する複数の電磁波源を含み得る。

[0034]ダイナミックレンジ（ＤＲ：Ｄｙｎａｍｉｃ ｒａｎｇｅ）は、内視鏡検査または他の適用において採用されるデジタルカメラシステムなどの、デジタルカメラシステムの最も重要な特性の１つであり得る。ダイナミックレンジは、広い範囲の光度でシーンをキャプチャするためのシステムの能力を左右する。ＤＲが小さすぎると、システムの応答が明るい領域に適応するように調整され得る場合、シーンの低光量領域内の細部がノイズに埋もれてしまうことがある。反対に、システムが低光量の細部を明らかにするように調整される場合、明るい領域内の情報は、信号が飽和レベルを超えるために失われることがある。ＤＲは、許容される最も高い信号Ｓ_ｍａｘと処理可能な最も低い信号との比率として定義され得る。後者は、従来、全体的な読み出しノイズσ_Ｒに等しく、当該ノイズは、センサ内のアナログ読み出し処理から生じる：

[0035]通常、Ｓ_ｍａｘは、画素の電荷容量（即ち、フルウェル）によって決まる。ＤＲを人為的に拡張する多くの方法が発明されており、当該方法は、例えば、同じフレーム内での二重露光、異なる露光による複数フレーム、対数応答画素、二重応答画素などを含む。これらの各々は、それ自体の利点、欠点および制限を有する。二重露光方法の場合において、ＤＲの拡張は、露光時間比率（Ｔ_ｌｏｎｇ／Ｔ_{ｓｈｏｒｔ}）に等しくなり得る。そのため：

[0036]ＤＲのこのような拡張は、典型的には、ワイドダイナミックレンジまたはハイダイナミックレンジ（ＷＤＲ、ＷｉＤｙまたはＨＤＲ）と呼ばれ得る。このシステムにおいて、シーンの照度は、単色の高速光パルスによって提供され得る。当該光パルスは、イメージセンサによるフレームキャプチャに同期され得る。各フレームは、単一の波長の光、または任意の組み合わせ、例えば、３つの波長を受け取り得る。色変調はフレームごとにもたらされ得るため、センサは単色であってもよく、これは空間分解能について有意な利点を有する。本明細書において説明される二重露光の具体的な方法は、２つの露光について取り得る、最も粒度が細かく、理想的な空間分割構成、すなわち、碁盤目状の空間分割構成を提供する際にアレイが単色であり得るという事実を利用する。

[0037]最後に、あるフレームレートにおけるフルカラーフレームの最終的なビデオシーケンスが生成され得る。異なるコンポーネントは異なるキャプチャから導かれていることがあるため、当該フレームレートは、必然的にキャプチャレートよりも低いレートとなる。

[0038]いくつかの取り得る碁盤目状の実施形態は、赤色、緑色および青色の３つの利用可能な単色源のうちの１つを用いて各フレームにストロボを発光させることを含む。人間の眼によって知覚される輝度はスペクトルの緑色領域において最高となるため、緑色の情報は、青色および赤色よりも細部に関して価値がある。このような理由で、カラーフィルタの一般的なベイヤー（Ｂａｙｅｒ）パターンは、赤色または青色のいずれかよりも緑色の光の検出に対して２倍の画素を提供する。単色フレームシーケンス処理の場合、４つのうちの２つが緑色、すなわち、Ｇ−Ｒ−Ｇ−Ｂである、４つのフレームの繰り返しシーケンスを採用することが有利となり得る。人間の網膜における桿体視細胞は、低光量のレベルにおいてより敏感となり得るため、緑色のデータは、ダイナミックレンジに関しても、より重要となり得る。そのため、二重露光は、緑色フレームについてのみ適用され得る。最も基本的な実施形態は、緑色フレームについて画素の半分を短露光に構成してもよく、残りの半分は、あらゆる緑色フレームと同様に長露光として構成され得る。

[0039]ここで図１を参照すると、画素のどの特定のサブセット１０１が長露光として構成され、どれが短露光として構成されるかを、連続する緑色フレームについて交互にする有利な実施形態が例示される。この特定の実施形態は、図１に例示されており、当該図１において、下付き文字ＬおよびＳは、緑色（Ｇ）、赤色（Ｒ）、および青色（Ｂ）のフレーム、または他の図における他の表されるカラースキームに対する長露光および短露光をそれぞれ示す。図１および図２に例示されるように、短露光画素は１０３によって示され、長露光画素は１０５によって示される。このようなアプローチは、知覚される解像度について利点をもたらし得る。なぜならば、補間されるロケーションは、フレームごとに所与の露光について実際の画素サンプルと持続的に場所を交換するためである。

[0040]単色のパルス光源を利用する他の手法が可能であり得ることが認識されるであろう。「ＣＯＮＴＩＮＵＯＵＳ ＶＩＤＥＯ ＩＮ Ａ ＬＩＧＨＴ ＤＥＦＩＣＩＥＮＴ ＥＮＶＩＲＯＮＭＥＮＴ」という名称の同時係属中の米国特許出願第１３／９５２，５１８号は、あたかも本明細書において完全に述べられているかのように、本参照によって本開示に包含される。１つの特に有利な手法は、赤色源、緑色源および青色源に適当なパルスエネルギー比で同時にパルスを与えることによって、純粋な輝度（Ｙ）情報を提供することであり得る。クロミナンス赤（Ｃｒ）情報およびクロミナンス青（Ｃｂ）情報は、各場合において十分な輝度を追加して全てのパルスエネルギーを正にすることによって、交互のフレームに提供されることができる。画像処理チェーンは、適用される比を当該画像処理チェーンが知っているとすれば、真の色空間におけるデータを抽出することができる。そのような状況において、二重露光は、図２に示されるように、当該二重露光が最も必要とされ得る輝度フレームに対して適用され得る。

[0041]二重露光サンプリングの適用は、緑色フレームまたは輝度フレームに制限されなくてもよく、シーンにおける状況が許す場合、別の実施形態は、図３に例示されるように、赤色フレームおよび青色フレームについての独立した二重露光比率も有し得る。図４は、輝度−クロミナンスの光パルスについての同等の場合を示す。

[0042]図５は、低ノイズの相関二重サンプリングを容易にするために必要な４つのトランジスタを有する従来の非共有画素５００についての回路図を示す。図示されるように、画素５００を動作させるために必要とされる５つのサービスワイヤが存在し得る。４つのうちの３つのトランジスタを２つ以上の隣接する画素５００間で共有することが可能であってもよく、これはフォトダイオードのための利用可能な領域を増加させる。画素サイズが縮小されるにつれて、フォトダイオードは領域のより小さな部分を占有するため、量子効率を維持することがより困難となる。共有は、センサの製造業者によって、特に、小さい画素装置について通例使用され得るアプローチである。トランジスタの共有によって提供される別の利益は、画素ごとに必要とされる配線の平均数における低減であり得る。

[0043]図６は、従来の二方向垂直共有を用いるアレイについてのユニットセルを示す。３つのトランジスタが共有され得るため、２つの画素について合計５つのトランジスタ、すなわち、画素ごとに２．５個のトランジスタが存在し得る。配線ルーティングに関しては、画素ペアごとに合計６本の配線が必要となり得る。当該６本のうちの４本は、水平にルーティングされてもよく、当該６本のうちの２本は、垂直にルーティングされてもよく、各次元において画素エッジごとに２本という結果になる。これは、画素エッジごとに３本の水平配線および２本の垂直配線を有する非共有の場合と対照的である。

[0044]アプローチは、画素を垂直ではなく水平にペアにすることであり得る。これは、４本の水平配線がここでは単一の画素エッジに収まり得るため、通常、配線ルーティングの単純さに関してはあまり好ましくないことがある。図７を参照されたい。しかしながら、このルーティング上の不利益に勝る、２つの有意な利益があり得る。

[0045]第１の利益は、ネット回路全体のうちの半分のみが各列にサービスを提供するために必要とされ得ることである。これは、列回路がチップ空間の主な消費源となり得るため、全体的なチップ領域を縮小することに役立つ。図８に例示されるように、単一の列回路は、垂直二方向共有の場合の２つではなく、４つの列の画素にサービスを提供し得る。

[0046]第２の利益は、水平共有が行ごとに２つの独立したＴＸ信号を提供することであり得る。これは、図８に示されるように、奇数列と偶数列とで互い違いになる、単一の行内での２つの独立した露光を有する可能性を開く。ここで、二重露光の碁盤目状の構成は、ＴＸ１およびＴＸ２の奇数列／偶数列の関連付けを互い違いの行で切り替えることによって可能とされ得る。図８は、これが、１行おきにＴＸ１／ＴＸ２ルーティングに「ツイスト（ｔｗｉｓｔ）」を挿入することによって、１つの実施形態についてどのようになされ得るかを示す。このタイプの奇数−偶数露光パターンは、単色センサの場合についてのみ適用可能となり得る。カラーセンサは、異なるカラーフィルタを有する隣接する画素を有し、そのため、奇数／偶数露光変調は、ホワイトバランスを変更することにおいてのみ効果的であって、ダイナミックレンジを増加させることにおいては効果的ではないであろう。

[0047]他の実施形態において、行ごとのＴＸ１／ＴＸ２割り当ての切り替えは、アレイの側における行駆動回路の２つの互い違いの特色によって、または奇数行および偶数行内で異なるＴＸ１／ＴＸ２ルーティングを作ることによって達成され得る。

[0048]ここで図９を参照すると、ローリングシャッタＣＭＯＳセンサについての全体的なタイミング状況がフルフレームの積分と共に示される。図９において、斜めの線は、読み出しおよびリセットポインタが画素の行を進む際の当該ポインタの動作を表す。この期間は、オプティカルブラックまたは光学的に見えない（ＯＢ：ｏｐｔｉｃａｌｌｙ ｂｌｉｎｄ）行９０２（前列および後列の双方）が（例えば、読み出しフレーム９０６の期間中に）読み出される時間、ブランキング時間９０８、ならびに、物理的な画素データではないことがある、任意の他のデータが発行され得る時間（例えば、サービスラインの時間）を含む。

[0049]フレームごとに光の色を変調する原理は、センサが単色であり得、したがって、例えば、ベイヤーベースの均等物よりも高い解像度を有するようなものであり得る。そのペナルティは、単一のフルカラー画像を生成するために、複数のフレームが読み出され得ることであり得る。しかしながら、それに応じてセンサがより高速に読み出すことが可能である場合、このペナルティは取り消され、フレームレートは修復され得る。

[0050]図１０および図１１は、アレイ内の複数の画素のセットが異なる度合の光量を積分し得る２つの代替的な手法についてのタイミングを例示する。露光変調は、２つのグローバルＴＸパルス、すなわち、グローバルＴＸ１およびグローバルＴＸ２によってもたらされ得る。グローバルＴＸ１およびグローバルＴＸ２は、（１つまたは複数の）光パルスエッジと組み合わされる場合、２つのグローバルシャッタを効果的に生成する。

[0051]積分期間の終わりにおいて、ローリングポインタは、読み出しのための信号を伝達するために、別のＴＸパルスを提供する。説明の目的のため、（上述されたような）碁盤目状のパターンにおける異なる露光の画素の２つのセットの場合が主に強調されるであろう。ただし、本開示の範囲は、より多くの数の画素タイプ（すなわち、露光）を有する場合、および代替的な物理画素タイプの構成を有する場合を包含することが意図されることに留意すべきである。空間パターンは、画素セットの数、画素レイアウト、画素アレイ構成、および画素アレイの周辺回路への接続に依存する。

[0052]混乱を避けるために、ここでは、ローリングＴＸ信号は、ＴＸ１およびＴＸ２と呼ばれ得るのに対して、グローバルＴＸ信号は、グローバルＴＸ１およびグローバルＴＸ２と称され得る。グローバルパルスは、アレイ内の全ての帰属する画素に同時に影響を及ぼす。非グローバルパルスは、ローリングポインタを介して適用され得る。

[0053]ＣＭＯＳイメージセンサに精通する当業者は、このグローバルシャッタの方法が、連続的な照明と共に使用される場合には、グローバルシャッタに関連する問題に苦しまないことに留意すべきである。その場合において、信号は、漏洩しやすい浮動拡散ノード上にかなりの期間記憶されることがあるのに対して、本明細書において説明される、パルス状の照明を有する２つの方法の場合、光信号を記憶するためにフォトダイオードの利益が享受され得る。

[0054]画素は、それらの転送（ＴＸ）トランジスタおよびリセット（ＲＳＴ）トランジスタがオン（即ち、図においてハイ状態）に維持され得る限り、リセットに持続され得ることに留意されたい。その状態では、フォトダイオード内のいかなる電流も供給源へ排出され得る。

[0055]積分期間は、ＴＸトランジスタがオフ（図においてロー）になる時に開始する。ここで図１０を参照すると、全ての画素は、リセットモードに維持され得、そのため、グローバルＴＸ１、グローバルＴＸ２およびグローバルＲＳＴが全てハイであり得る場合、フラッシュされ得る。グローバルＴＸ２がローになると、ＴＸ２に付属する、アレイ内の全ての画素が積分され始める。Ｐ２光パルスが発生すると、当該Ｐ２光パルスの対応する光電荷がＴＸ２画素によって積分され得る。しかしながら、グローバルＲＳＴ信号およびグローバルＴＸ１信号は、依然としてハイであり得るため、ＴＸ１画素におけるＰ２パルスによって生成されるいかなる光電荷も単に排出され得る。グローバルＴＸ１がローになると、ＴＸ１画素が積分され始める。その時点において、ＴＸ２画素は、Ｐ２パルスを完全に積分しており、ＴＸ１画素は、何もしない。Ｐ１光パルスが発生すると、当該Ｐ１光パルスは、ＴＸ１画素およびＴＸ２画素の双方によって積分され得る。そのため、シーケンスの終わりにおいて、ＴＸ１画素は、Ｐ１光パルスのみから結果として得られる純粋な光電荷を有するのに対して、ＴＸ２画素は、双方の光パルスを積分し終えているであろう。

[0056]図１１は、代替的な二重照度の実施形態についての同様のタイミング図であり得る。２つの別個の光パルスを駆動する代わりに、双方のＴＸトランジスタがオフにされ得る期間中に、単一の光パルスがオンの状態が続く。積分光は、ＴＸの立ち下がりエッジと光パルスの立ち下がりエッジとの間の時間に比例し得るため、グローバルＴＸ１およびグローバルＴＸ２の立ち下がりエッジをずらして配置することによって、異なる画素応答が達成され得る。図示される例の場合、ＴＸ１画素は、光パルスによって生成される光の約１／３を積分するのに対して、ＴＸ２画素は、総パルスエネルギーの約２／３を積分する。

[0057]さらなる実施形態において、二重照度は、図１０のタイミングと図１１のタイミングとの組み合わせを用いて達成されることができる。グローバルＴＸ２信号は、単一の光パルスの立ち上がりエッジの前に、当該グローバルＴＸ２信号のロー状態に戻り、これはＴＸ２画素に光パルスのエネルギー全体を積分させるであろう。

[0058]この場合における二重露光は、同じブランキング時間中の光パルスの数を増加させることによってより多くの照明が達成されることができる、図１０および図１１に関して説明された異なるタイミングによって達成され得る。

[0059]図１２は、制御された、パルス状の照明の存在下での内視鏡イメージングの目的のための、最小面積のカスタムセンサの実施形態の内部タイミングを示す。各フレーム期間は、４つの別個のフェーズを含み得る。当該４つの別個のフェーズは、単色光パルシングおよび複数の画素照明について最適化され得る。フェーズ１およびフェーズ３の期間中、データがセンサから発行され得る。当該データは、物理画素からの信号サンプルではないことがある。むしろ、当該データは、チップのカメラシステムへの同期に関係する、データロッキングのためのデータであり得る。これらの「サービスライン（ｓｅｒｖｉｃｅ ｌｉｎｅ）」期間は、内部モニタリングおよび外部モニタリングのため、およびライン内のあるタイプの非画素データの符号化のためにも使用され得る。そのような内部モニタリングは、センサの温度、さらに、ある電圧および電流を含んでもよい。外部モニタリングは、ハンドピースボタンのアクティビティ、または、例えば、内視鏡の角度の測定値からのデータを含んでもよい。フェーズ２は、センサのローリング読み出し（内部タイミングおよび同期）に関係し得る一方で、フェーズ４は、センサの構成の目的のためであり得る。構成フェーズの期間中、センサの出力データラインは、到来する構成コマンドを受け取るために反転され得る。したがって、カメラコントローラはフェーズ４の期間に同期され得る。フェーズ４は、図１０および図１１において示される動作が実行され得る期間中に、グローバルシャッタフェーズの機能も兼ねる。このような理由で、フェーズ４は、光パルスシステムとも同期され得る。

[0060]グローバル信号（グローバルＴＸ１、グローバルＴＸ２およびグローバルＲＳＴ）のパルス幅およびタイミングは完全にプログラム可能であり得ること、ならびに、フェーズ４は可変長を有する唯一のフェーズであり得ることに留意されたい。これは、フレームのタイプを所与として、利用可能な光パワーに一致させるために、利用可能なパルス時間が調節されることを可能にする。個々の波長源は、例えば、利用可能な最大光パワー、量子効率および応答時間に関して、有意に変わり得る。重要となり得ることは、最終的なフレームレートが平均キャプチャレートの適切な倍数であり得ることである。その上、フレームタイプの繰り返しパターン内の任意のバリエーションは、画像信号処理チェーン（ＩＳＰ：ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｃｈａｉｎ）内の適当なバッファリングによって対処されることができる。図１３は、４つの最大許容光変調を受け入れる、４つの異なるフレーム長および４つの異なるブランキング時間を有する４フレームサイクルの一例を例示する。

[0061]図１４は、Ｙ−Ｃｂ−Ｙ−Ｃｒパターンに基づき得る図２に例示されるフレームシーケンスについてのタイミング図を示す。３つの源全てが輝度フレーム、すなわち、フレーム＃１およびフレーム＃３の期間中に発光され得る。フレーム＃２およびフレーム＃４は、厳密に調節された輝度の混合によって、それぞれＣｂ情報およびＣｒ情報を単一波長のパルスを用いて提供し得る。

[0062]ダイナミックレンジ拡張のための別のアプローチは、信号の空間ビニングによって提供され得る。単色センサを有することのさらなる利点は、隣接する画素が互いにビニングされ得ることである。ビニングは、空間分解能を犠牲にして、信号のより大きな範囲を、したがって、より大きなＤＲを可能にする。

[0063]ビニングが起きる正確な場所は、ＤＲを拡張する際のビニングの有効性を決める。例えば、２つの隣接する画素のビニング（二方向ビニング）を例にとる。ビニングがデジタルドメインにおいて行われ得る場合、信号の付加的因子２（６ｄＢ）が実現され得る。しかしながら、ノイズ強調の因子√２（３ｄＢ）に達する等しい量の読み出しノイズに各々が寄与する２つのアナログサンプルが存在し得る。そのため、チェーンにおいて読み出しノイズ源よりも後段の地点における２つの画素からのデータのビニングは、３ｄＢの付加的なＤＲに達する。しかしながら、ビニングが電荷ドメインにおいて、すなわち、前述のように画素レベルにおいて実行され得る場合、実現され得る付加的なＤＲは６ｄＢとなり得る。なぜならば、読み出しノイズの付加は、信号の加算よりも後に発生するためである。

[0064]前述された二方向共有アーキテクチャは、そのような二方向ビニングの手段のみを電荷ドメインにおいて提供する。ＴＸ１信号およびＴＸ２信号のパルスを同時に与えることは、双方の光信号が共有浮動拡散に同時に伝達されるという結果になる。各行が続いて読み出され得る場合、ビニングされない場合と比較して、同じノイズを伴う２倍の電荷範囲を有し、そのため、６ｄＢの追加ＤＲを有する。

[0065]一実施形態は、二重露光制御を含み得る。このタイプのダイナミックレンジ（ＤＲ）拡張（すなわち、二重露光）の最適で効果的な動作の決め手は、露光時間比に対する連続的な制御であり得る。

[0066]具体的には：第１に、シーンがダイナミックレンジの拡張を求めない場合、すなわち、シーンのダイナミックレンジが画素の固有のダイナミックレンジを下回り得る場合、ダイナミックレンジの拡張は一切行われるべきではない。第２に、シーンのダイナミックレンジが画素よりも大きくなり得る場合、付加されるダイナミックレンジの量は、これに最小限のマージンを提供するのに十分なだけの量であるべきである。

[0067]この理由は、ダイナミックレンジの人為的な拡張が常に代償を伴うことであり得る。本開示において説明される方法の場合、増加する露光比に応じてスライディングスケールで増加する空間分解能のコストが存在し得る。最大露光比の限度において、高光度のシーン領域であれ低光度のシーン領域であれ、有用な画像コンテンツの大部分は、複数の露光のうちの１つのみに由来する。その極限において、解像度は、ｘおよびｙにおける画素の数の

倍を有する均等物に漸近的に近づき、次いで、補間によってアップスケーリングする。他方の極限において、比率が１であり得る場合、ＤＲの拡張は存在せず、ペナルティも存在しないであろう。

[0068]一般に、カムコーダなどのランダムに変わる照明のシナリオを経験するデジタルカメラは、利用可能なＤＲを常に最大限に活用するように、センサの動作条件を持続的に調整する手段を包含する。この処理は、自動露光として知られ得る。典型的に、例えば、積分時間（シャッタ）、アナログゲイン、デジタルゲイン、アパーチャ等を含む予め定義されたテーブルにしたがって調整され得るいくつかの変数が存在し得る。図１５は、シャッタ時間、アナログゲインおよびデジタルゲインを包含するシステムについての仮想テーブルの一例である。ライティング自体は、通常、静止キャプチャのために使用されるフラッシュ照明を例外として、カメラの制御が及ばないことがある。

[0069]本開示は、連続的なビデオキャプチャについて、パルス状の赤色照明、緑色照明および青色照明の量をフレームごとに完全に制御するカメラシステムに特に関連し得る。

[0070]そのようなパルス状の照明システムの場合において、シーンの照度は、カメラまたはイメージング装置の制御下にあり得る。そのため、光パルスエネルギー全体が、効果的にシャッタの代わりとなる。より多くの光信号は、より高いＳＮＲという結果になるため、光エネルギーは、画素の選択された中央領域の分布の選ばれた百分位数について、ＩＳＰチェーン内で所望のデジタル信号レベルが達成され得るまで増加され得る。アナログゲインは、画素信号容量の分布の最低値（フルウェル）が（センサによって変動するいくらかの偶然性と共に）ＡＤＣの上部レールのすぐ上となり得るゲインとみなされることができる当該アナログゲインの最小設定値に保持され得る。最大光パルスエネルギーは、フレームの利用可能な部分の持続期間によって、および、例えば、レーザダイオードまたはＬＥＤの電流によって提供される最大電磁エネルギーによって制限され得る。当該制限に達し得る場合のみ、任意のゲインが適用され得る。Ｒ−Ｇ−Ｂ−Ｇパルスシーケンスの場合について、最良の全体的なＳＮＲは、（全ての光子束を最大化するように）３つのフレームタイプを独立してモニタおよび制御し、ホワイトバランスの目的のためにＩＳＰにおいて複数の色のうちの２つをデジタル処理で減衰させることによって取得され得る。ホワイトバランスのための代替的なアプローチは、相対的なＲ、ＧおよびＢのパルスエネルギーを変調することであってもよい。このアプローチは、より低い最終的な信号対雑音比（ＳＮＲ：ｓｉｇｎａｌ ｏｖｅｒ ｎｏｉｓｅ ｒａｔｉｏ）を有するが、ノイズの知覚を強調するであろう、１よりも大きくなり得る任意のデジタルホワイトバランスゲインについての必要性を依然として排除する。

[0071]露光時間比（および、したがって、ＤＲ拡張の範囲）を制御するために、ＷＤＲ統計値は、碁盤目状のパターン内に存在する画素の２つの特色について独立して収集され得る。これは、随意的に、赤色のフレーム、緑色のフレームおよび青色のフレームについて独立して行われてもよい。画像の一領域についての黒補正信号の２つの対応するヒストグラムが構築され得る。前述されたように、分布の選ばれた百分位（Ｐ_Ｌ）をターゲット信号レベル（Ｓ_Ｌ、例えば、デジタルＤＲの５０％）と比較することによってパルスエネルギーレベルを制御するために、ヒストグラムのうちの一方が使用され得る。これらのタイプ１の画素の露光時間Ｔ_Ｌは、最大値に保持され得る。ここで、下付き文字Ｌは、長露光を意味する。他方のヒストグラムは、分布の選ばれた別の百分位Ｐ_Ｓ（ただし、Ｐ_Ｓ＞Ｐ_Ｌ）を比較すること、およびこれを異なる信号レベルＳ_Ｓ（ただし、Ｓ_Ｓ＞Ｓ_Ｌ）と比較することによって、シーンのＤＲをモニタするために使用され得る。下付き文字Ｓは、短露光を意味する。Ｓ_Ｓは、一般に、デジタルＤＲの最上部に近づくように調節され得る。Ｐ_Ｓ≦Ｓ_Ｓの場合、これらのタイプ２の画素についての露光時間Ｔ_Ｓも最大値に保持され得る。Ｐ_Ｓ＞Ｓ_Ｓの場合、Ｔ_Ｓは、Ｐ_Ｓ＝Ｓ_Ｓとなるまで減少される。図１６を参照されたい。露光時間比がどのくらいの増加を許容され得るかについては、予め定義された制限（Ｅ）が存在し得る。なぜならば、ある時点において、ＤＲの拡張に起因する画像品質の劣化が利益に勝るためである。Ｐ_Ｌ、Ｐ_Ｓ、Ｓ_Ｌ、Ｓ_ＳおよびＥの値は、異なる適用にしたがって異なって調節され、工場の初期設定値として記憶され得る。露光時間Ｔ_ＬおよびＴ_Ｓは、（以下でさらに議論される）ＷＤＲ融合処理、および色融合ＩＳＰ段による使用のために、各フレームタイプについて記録され得る。赤色、緑色および青色のパルスエネルギーがホワイトバランスの目的のために変調され得る場合において、赤色のフレームおよび青色のフレームについての露光時間は、ＷＤＲ統計値を収集するためにもっぱら使用され得る緑色のフレームによって左右され得る。

[0072]Ｙ−Ｃｂ−Ｙ−Ｃｒ照明の場合、３つの相対的なパルスエネルギーは、特定のフレームタイプについて一定に保持され得る。ＷＤＲ制御は、ＷＤＲをクロミナンスフレームについても独立して適用する選択肢と共に、基準値として輝度フレームについて適用され得る。ヒストグラムは、Ｒ−Ｇ−Ｂ−Ｇスキームに関する未処理の黒補正フレームデータについて構築され得る。ここでも、各フレームタイプについての露光時間は、ＷＤＲ融合および色融合について記録され得る。

[0073]一実施形態は、ＩＳＰにおいて進行中のワイドダイナミックレンジデータを含み得る。図１７は、Ｙ−Ｃｂ−Ｙ−Ｃｒパルススキームを有する碁盤目状のＷＤＲについての基本的なＩＳＰ構成を示す。平均黒オフセットがゼロに調整されており、データに符号が付され得るように、ＷＤＲ融合が暗いフレームの減算後に来ることは、重要であり得る。ＦＰＮを除去してしまうことも非常に望ましいことがあり得る。この融合処理の目的は、色融合に先立って、各フレームについて、２つの別個の露光についてのデータを組み合わせて単一の画像にすることであり得る。第１のステップは、碁盤目状のパターンの２つのコンポーネントを２つの別個のバッファに分離し、その隔たりを補間によって埋めることを含む。（画像のエッジ近くの画素を除いて）あらゆる空画素は同じローカル環境を見るため、必要とされるのは１つの一般的なカーネルのみであり得る。単純な線形補間によって碁盤目状のパターンを埋めるための適切な畳み込みカーネルは、以下の通りである：

補間の後には、各画素位置について２つのサンプルが存在し得る。図１８は、１２ｄＢの付加的なＤＲを生じさせるであろう露光比が４の場合の照度と信号との関係を示す。ゲインは、短露光のサンプルに適用され得、当該ゲインは、露光時間比Ｔ_Ｌ／Ｔ_Ｓに等しくなり得る。これは、比の２の倍数ごとに１つの余分なビットの追加を必要とする。融合自体が、２つのサンプルの加重和を求めることを含む：

ここで、ｘ_Ｓおよびｘ_Ｌは、それぞれ（符号付きの）短露光信号および長露光信号であり得る。γ因子は、長露光信号ｘ_Ｌの関数であり、２つの閾値τ_１およびτ_２にしたがって設定され得る。ｘ_Ｌ＝τ_１未満の場合、γ＝０．０であり、γ＝τ_２を超える場合、γ＝１．０である。閾値間では、様々な関数形式が採用され得る。τ_１とτ_２との間のγの一次曲線的および三次曲線的な振る舞いの例が示され得る図１９を参照されたい。τ_２の値は、例えば、ｘ_Ｌの取り得る最大値、または当該最大値よりも少しだけ低い値に設定され得る。低い方の閾値τ_１の目的は、ショートサンプルに適用されるゲイン係数Ｔ_Ｌ／Ｔ_Ｓを有する当該短露光サンプルからの読み出しノイズの影響を制限することであり得る。τ_１は、最大比Ｅに適応するように保守的に高い定数に設定されることができるが、τ_１をＴ_Ｌ／Ｔ_Ｓと共に直線的に変動させることは、より有益となり得る。

[0074]スティッチング処理の後には、画像データは、元のロングサンプルおよびショートサンプルが占有していたよりも、デジタルダイナミックレンジの多くの数のビットを占有し、そのため、当該画像データは、次の段に先立って、そのビット数を減少させてＩＳＰパイプライン幅へ戻す必要がある。ＩＳＰパイプライン幅がｎビットであり得る場合、融合された画像は、ｍビットを有し、ここで、（ｍ−ｎ）は、次の整数に端数を切り上げた、底を２とする露光時間比の対数であり得る。データは、取り得る最大値がちょうど２^ｍ−１にマッピングされるように、まず、線形的にスケーリングされ得る。これは、例えば、次の正確な２のべき乗に達するために、１と２との間に存在する許容される露光時間比のセットについて、乗数のルックアップテーブルを提供することによって達成されることができる。このアプローチは、各２のべき乗間隔内の許容される露光時間比の進行が常に同じであり得ると仮定する。ｎビットに戻すために、下端のデータを強調する区分線形伝達関数が適用され得る。図２０を参照されたい。これは、下端における興味深い情報が圧縮を通じて失われることを回避する。あるいは、ガンマ関数と同様に、滑らかな対数伝達関数が、予め定義されたルックアップテーブルを使用して、データに適用されることもできる。この選択肢の場合、ルックアップテーブルは、融合される最大線形ビット数（ｍ_ｍａｘ）をカバーするための十分なエントリを有する必要がある。正確な２のべき乗（すなわち、ｍ）に既にスケーリングされている融合されたデータは、ＬＵＴを適用する前に、ｍ_ｍａｘビットにさらにアップシフトされるであろう。

[0075]融合および圧縮のための、より単純ではあるが、用途は狭まる全体的なアプローチは、最終的なＤＲを２つのセクション、例えば、下部６０％と上部４０％とに分割し、それぞれにロングサンプルとショートサンプルとを線形にマッピングすることであり得る。入力ドメインにおいて、交差は、例えば、ｘ_Ｌの最大値において生じるであろう。図２１を参照されたい。

[0076]パルス状照明の内視鏡システム内において同じフレーム内に２つ以上の露光期間を提供することは、最終的なフルカラー画像ごとのキャプチャされるフレーム数を３つから２つへ減少させる目的のためにも活用され得る。これは、そのようなシステムに関連づけられ得る、起こり得るカラーモーションアーチファクトを抑制するための明らかな利益を有する。

[0077]単色パルスアプローチの場合、図２２に示されるように、緑色の画素のフル解像度フレームを提供する一方で、赤色のデータおよび青色のデータは、同じフレーム内で組み合わされ得る。これは、短露光画素が当該短露光画素の信号を積分し始めるのと同時に光の内容を変更することによって達成され得る。図２３を参照されたい。これは、クロミナンスについての利用可能なダイナミックレンジを制限するが、ＤＲは、当該ＤＲが輝度について重要であり得るほどには色情報について重要ではないことがあり得る。なぜならば、人間の網膜内の網膜錐体は、桿体視細胞よりも感受性がかなり低くなり得るためである。それはクロミナンスについての空間分解能を減少させることの結果も有するが、これも問題とはならないであろう。なぜならば、眼は、輝度についてより大きな解像度を有し、クロミナンスは、通常、ノイズを減少させるためにＩＳＰ内で空間的にフィルタリングされ得るためである。実際に、ＷＤＲは、露光時間の二重性が他の２つのチャネルを単一のフレーム内に組み合わせるために使用され得るのと同時に、輝度フレームについて用いられることができる。

[0078]単色ＷＤＲアレイの固有の特性は、長い積分時間を有する画素が、短い積分時間の画素によって見られる光の上位集合を積分し得ることであり得る。これは、輝度フレームにおける通常のＷｉＤｙ動作の場合に望ましいことがある。クロミナンスフレームの場合、例えば、長露光の開始からλＹ＋Ｃｂを提供し、ショート画素がオンにされ得る時点でδＹ＋Ｃｒに切り替えるように、パルスが露光期間と共に制御され得ることを意味する（双方の画素タイプは、これらの電荷を同時に伝達させる）。λおよびδは、全てのパルスエネルギーを正の値にするために使用され得る調節可能な二つの因子であり得る。

[0079]ＩＳＰにおける色再構築の期間中、２つの特色の画素は、２つのバッファへ分離されるであろう。空画素は、例えば、線形補間を使用して埋められるであろう。この時点で、一方のバッファは、δＹ＋Ｃｒデータのフル画像を含み、他方は、δＹ＋Ｃｒ＋λＹ＋Ｃｂを含むであろう。δＹ＋Ｃｒバッファは、第２のバッファから差し引かれて、λＹ＋Ｃｂを与えるであろう。次いで、Ｙフレームからの適当な比率の輝度データが各々について差し引かれるであろう。

[0080]図２４は、組み合わされたクロミナンスフレームについての、関連するセンサタイミングに対する光パルスのタイミングを示す。ここでは、混合輝度の比率は、各クロミナンス状況を単一波長の解に減少させるために厳密に調節され得る。

[0081]本開示の実装例は、以下でより詳細に議論されるように、例えば、１つまたは複数のプロセッサおよびシステムメモリなどのコンピュータハードウェアを含む専用コンピュータまたは汎用コンピュータを備え、または利用し得る。本開示の範囲内の実装例は、コンピュータ実行可能な命令および／またはデータ構造を搬送または記憶するための物理的なコンピュータ読取可能な媒体および他のコンピュータ読取可能な媒体も含み得る。そのようなコンピュータ読取可能な媒体は、汎用コンピュータシステムまたは専用コンピュータシステムによってアクセスされることができる任意の利用可能な媒体とすることができる。コンピュータ実行可能な命令を記憶するコンピュータ読取可能な媒体は、コンピュータ記憶媒体（装置）であってもよい。コンピュータ実行可能な命令を搬送するコンピュータ読取可能な媒体は、送信媒体であってもよい。したがって、制限ではなく一例として、本開示の実装例は、少なくとも２つの明確に異なる種類のコンピュータ読取可能な媒体、すなわち、コンピュータ記憶媒体（装置）および送信媒体を含むことができる。

[0082]コンピュータ記憶媒体（装置）は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、（例えば、ＲＡＭに基づく）ソリッドステートドライブ（「ＳＳＤｓ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅｓ）」）、フラッシュメモリ、相変化メモリ（「ＰＣＭ（ｐｈａｓｅ−ｃｈａｎｇｅ ｍｅｍｏｒｙ）」）、他のタイプのメモリ、他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶装置、または、所望のプログラムコード手段をコンピュータ実行可能な命令もしくはデータ構造の形式で記憶するために使用されることができ、汎用コンピュータもしくは専用コンピュータによってアクセスされることができる任意の他の媒体を含む。

[0083]「ネットワーク（ｎｅｔｗｏｒｋ）」は、コンピュータシステムおよび／またはモジュールおよび／または他の電子装置の間での電子データの移送を可能にする、１つまたは複数のデータリンクとして定義され得る。一実装例において、センサとカメラ制御ユニットとは、互いに通信するために、また、他のコンポーネントが接続され得るネットワークを通じて接続される当該他のコンポーネントと通信するために、ネットワーク化され得る。情報がネットワークまたは別の通信接続（有線、無線、もしくは有線と無線との組み合わせのいずれか）を通じてコンピュータへ転送または提供される場合、当該コンピュータは、当該接続を送信媒体と適切にみなす。送信媒体は、所望のプログラムコード手段をコンピュータ実行可能な命令またはデータ構造の形式で搬送するために使用されることができ、汎用コンピュータまたは専用コンピュータによってアクセスされることができるネットワークおよび／またはデータリンクを含むことができる。上記の組み合わせも、コンピュータ読取可能な媒体の範囲内に含まれるべきである。

[0084]さらに、コンピュータ実行可能な命令またはデータ構造の形式のプログラムコード手段は、様々なコンピュータシステムコンポーネントに到達すると、送信媒体からコンピュータ記憶媒体（装置）へ（または、その逆へ）自動的に転送されることができる。例えば、ネットワークまたはデータリンクを通じて受信されたコンピュータ実行可能な命令またはデータ構造は、ネットワークインタフェースモジュール（例えば、「ＮＩＣ（ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｍｏｄｕｌｅ）」）内のＲＡＭにおいてバッファされ、次いで、最終的には、コンピュータシステムＲＡＭおよび／またはコンピュータシステムにおける揮発性がより小さいコンピュータ記憶媒体（装置）へ転送されることができる。ＲＡＭは、ソリッドステートドライブ（ＳＳＤまたはフュージョンＩＯなどのＰＣＩｘベースのリアルタイムメモリ階層型ストレージ）も含むことができる。したがって、コンピュータ記憶媒体（装置）は、送信媒体をも（または、主に）利用するコンピュータシステムコンポーネントに含まれることができることが理解されるべきである。

[0085]コンピュータ実行可能な命令は、例えば、プロセッサにおいて実行される場合に、汎用コンピュータ、専用コンピュータ、または専用処理装置に、ある機能または一群の機能を実行させる命令およびデータを含む。コンピュータ実行可能な命令は、例えば、アセンブリ言語、さらにはソースコードなどの、バイナリの中間フォーマット命令であり得る。本主題は、構造的な特徴および／または方法論的な動作に特有の文言で説明されているが、添付の特許請求の範囲において定義される主題は、必ずしも説明された特徴または上述された動作に制限されないことが理解されるべきである。むしろ、説明された特徴および動作は、特許請求の範囲を実装する例示的な形式として開示され得るものである。

[0086]当業者は、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、制御ユニット、カメラ制御ユニット、ハンドヘルド装置、ハンドピース、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、タブレット、ページャ、ルータ、スイッチ、様々な記憶装置などを含む、多くのタイプのコンピュータシステム構成と共にネットワークコンピューティング環境において本開示が実施され得ることを認識するであろう。上述されたコンピューティング装置のうちの任意のものが、実店舗のロケーションによって提供され、または当該実店舗のロケーション内に位置し得ることが留意されるべきである。本開示は、ネットワークを通じて（有線データリンク、無線データリンク、または有線データリンクと無線データリンクとの組み合わせのいずれかによって）リンクされ得るローカルコンピュータシステムとリモートコンピュータシステムとの双方がタスクを実行する分散システム環境においても実施され得る。分散システム環境において、プログラムモジュールは、ローカルメモリ記憶装置およびリモートメモリ記憶装置の双方に位置し得る。

[0087]さらに、適当な場合には、本明細書において説明される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタルコンポーネント、またはアナログコンポーネントのうちの１つまたは複数において実行されることができる。例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣｓ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）またはフィールドプログラマブルゲートアレイは、本明細書において説明されるシステムおよび手続きのうちの１つまたは複数を実行するようにプログラムされることができる。ある用語は、下記の説明および特許請求の範囲全体を通じて特定のシステムコンポーネントに言及するために使用され得る。当業者であれば認識するように、コンポーネントは、種々の名称によって言及され得る。本文書は、名称が異なっても機能が異ならないコンポーネント間を区別することを意図するものではない。

[0088]図２５は、例示的なコンピューティング装置１００を例示するブロック図である。コンピューティング装置１００は、本明細書において議論される手続きなどの、様々な手続きを実行するために使用され得る。コンピューティング装置１００は、サーバ、クライアント、または任意の他のコンピューティングエンティティとして機能することができる。コンピューティング装置は、本明細書において議論される様々なモニタリング機能を実行することができ、本明細書において説明されるアプリケーションプログラムなどの、１つまたは複数のアプリケーションプログラムを実行することができる。コンピューティング装置１００は、デスクトップコンピュータ、ノート型コンピュータ、サーバコンピュータ、ハンドヘルドコンピュータ、カメラ制御ユニット、タブレット型コンピュータなどの多種多様なコンピューティング装置のうちの任意のものとすることができる。

[0089]コンピューティング装置１００は、１つまたは複数のプロセッサ１０２と、１つまたは複数のメモリ装置１０４と、１つまたは複数のインタフェース１０６と、１つまたは複数の記憶装置１０８と、１つまたは複数の入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）装置１１０と、ディスプレイ装置１３０とを含み、これらの全てがバス１１２に結合され得る。（１つまたは複数の）プロセッサ１０２は、（１つまたは複数の）メモリ装置１０４および／または（１つまたは複数の）大容量記憶装置１０８に記憶される命令を実行する１つまたは複数のプロセッサまたはコントローラを含む。（１つまたは複数の）プロセッサ１０２は、キャッシュメモリなどの様々なタイプのコンピュータ読取可能な媒体も含み得る。

[0090]（１つまたは複数の）メモリ装置１０４は、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１１４）および／または不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）１１６）などの様々なコンピュータ読取可能な媒体を含む。（１つまたは複数の）メモリ装置１０４は、フラッシュメモリなどの書き換え可能なＲＯＭも含み得る。

[0091]（１つまたは複数の）大容量記憶装置１０８は、磁気テープ、磁気ディスク、光ディスク、ソリッドステートメモリ（例えば、フラッシュメモリ）などの様々なコンピュータ読取可能な媒体を含む。図２５に示されるように、特定の大容量記憶装置は、ハードディスクドライブ１２４である。様々なコンピュータ読取可能な媒体からの読み出し、および／または様々なコンピュータ読取可能な媒体への書き込みを可能にするために、様々なドライブも（１つまたは複数の）大容量記憶装置１０８に含まれ得る。（１つまたは複数の）大容量記憶装置１０８は、リムーバブル媒体１２６および／または非リムーバブル媒体を含む。

[0092]（１つまたは複数の）Ｉ／Ｏ装置１１０は、データおよび／または他の情報がコンピューティング装置１００へ入力され、またはコンピューティング装置１００から取り出されることを可能にする様々な装置を含む。例示的な（１つまたは複数の）Ｉ／Ｏ装置１１０は、デジタルイメージング装置、電磁センサおよびエミッタ、カーソル制御装置、キーボード、キーパッド、マイクロフォン、モニタまたは他のディスプレイ装置、スピーカ、プリンタ、ネットワークインタフェースカード、モデム、レンズ、ＣＣＤまたは他の画像キャプチャ装置などを含む。

[0093]ディスプレイ装置１３０は、コンピューティング装置１００の１人または複数のユーザに情報を表示することが可能な任意のタイプの装置を含む。ディスプレイ装置１３０の例は、モニタ、ディスプレイ端末、ビデオ投影装置などを含む。

[0094]（１つまたは複数の）インタフェース１０６は、コンピューティング装置１００が他のシステム、装置、またはコンピューティング環境と相互作用することを可能にする様々なインタフェースを含む。（１つまたは複数の）例示的なインタフェース１０６は、ローカルエリアネットワーク（ＬＡＮｓ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋｓ）、広域ネットワーク（ＷＡＮｓ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋｓ）、無線ネットワーク、およびインターネットへのインタフェースなどの、任意の数の異なるネットワークインタフェース１２０を含み得る。（１つまたは複数の）他のインタフェースは、ユーザインタフェース１１８および周辺装置インタフェース１２２を含む。（１つまたは複数の）インタフェース１０６は、１つまたは複数のユーザインタフェース要素１１８も含み得る。（１つまたは複数の）インタフェース１０６は、プリンタ、ポインティング装置（マウス、トラックパッド等）、キーボードなどの１つまたは複数の周辺インタフェースも含み得る。

[0095]バス１１２は、（１つまたは複数の）プロセッサ１０２、（１つまたは複数の）メモリ装置１０４、（１つまたは複数の）インタフェース１０６、（１つまたは複数の）大容量記憶装置１０８、および（１つまたは複数の）Ｉ／Ｏ装置１１０が、互いに通信することも、バス１１２に結合される他の装置またはコンポーネントと通信することも可能にする。バス１１２は、システムバス、ＰＣＩバス、ＩＥＥＥ１３９４バス、ＵＳＢバスなどのいくつかのタイプのバス構造のうちの１つまたは複数を表す。

[0096]例示の目的のため、プログラムおよび他の実行可能なプログラムコンポーネントは、本明細書において別個のブロックとして示され得る。ただし、そのようなプログラムおよびコンポーネントは、その時々で、コンピューティング装置１００の異なる記憶コンポーネントに存在し、（１つまたは複数の）プロセッサ１０２によって実行され得ることが理解される。あるいは、本明細書において説明されるシステムおよび手続きは、ハードウェアにおいて、またはハードウェア、ソフトウェア、および／またはファームウェアの組み合わせにおいて実装されることができる。例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣｓ）は、本明細書において説明されるシステムおよび手続きのうちの１つまたは複数を実行するようにプログラムされることができる。

[0097]図２６Ａおよび図２６Ｂは、本開示の教示および原理にしたがって三次元画像を生成するための複数の画素アレイを有するモノリシックセンサ２９００の実装例の斜視図および側面図をそれぞれ例示する。そのような実装例は、２つの画素アレイ２９０２および２９０４が使用期間中にオフセットされ得る三次元画像キャプチャの場合に望ましいことがあり得る。別の実装例において、第１の画素アレイ２９０２および第２の画素アレイ２９０４は、所定範囲の波長の電磁放射の受信専用とされてもよく、第１の画素アレイは、第２の画素アレイとは異なる範囲の波長の電磁放射専用とされる。

[0098]図２７Ａおよび図２７Ｂは、複数の基板上に構築される撮像センサ３０００の実装例の斜視図および側面図をそれぞれ例示する。例示されるように、画素アレイを形成する複数の画素列３００４は、第１の基板３００２上に位置し、複数の回路列３００８は、第２の基板３００６上に位置する。図には、画素の１つの列と当該列の関連または対応する回路の列との間の電気的接続および通信も例示されている。１つの実装例において、イメージセンサは、支援回路の全てまたは大部分から分離される画素アレイを有し得る。そうでない場合、当該イメージセンサは、その画素アレイおよび支援回路が単一のモノリシックな基板／チップ上に製造され得る。本開示は、三次元積層技術を使用して互いに積層される少なくとも２つの基板／チップを使用し得る。２つの基板／チップのうちの第１の基板／チップ３００２は、画像ＣＭＯＳ処理を使用して処理され得る。第１の基板／チップ３００２は、画素アレイだけから成っても、または制限された回路によって囲まれる画素アレイから成ってもよい。第２または後続の基板／チップ３００６は、任意の処理を使用して処理されてよく、画像ＣＭＯＳ処理からである必要はない。第２の基板／チップ３００６は、基板／チップ上の非常に制限された空間または領域に、種類も数も豊富な機能を一体化するために、高密度なデジタル処理であってもよく、または、例えば、精密なアナログ機能を一体化するために、混合モード処理もしくはアナログ処理であってもよく、または、無線性能を実装するために、ＲＦ処理であってもよく、またはＭＥＭＳ装置を一体化するために、ＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）であってもよいが、これらに制限されない。画像ＣＭＯＳ基板／チップ３００２は、任意の三次元技法を使用して、第２または後続の基板／チップ３００６に積層され得る。第２の基板／チップ３００６は、回路のほとんどまたは大部分をサポートし得る。そうでない場合、当該部分は、（モノリシックな基板／チップ上に実装される場合）第１の画像ＣＭＯＳチップ３００２において周辺回路として実装され、そのため、画素アレイの大きさを一定に、かつ、できる限り最大限に最適化された状態に維持する一方で、全体的なシステム領域を増加させてしまうであろう。２つの基板／チップ間の電気的接続は、相互接続３００３および３００５を通じて行われ得る。当該相互接続は、ワイヤボンド、バンプ、および／またはＴＳＶ（Ｔｈｒｏｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ）であってよい。

[0099]図２８Ａおよび図２８Ｂは、三次元画像を生成するための複数の画素アレイを有する撮像センサ３１００の実装例の斜視図および側面図をそれぞれ例示する。三次元イメージセンサは、複数の基板上に構築されてもよく、複数の画素アレイおよび他の関連する回路を含んでもよく、第１の画素アレイを形成する複数の画素列３１０４ａおよび第２の画素アレイを形成する複数の画素列３１０４ｂは、それぞれ基板３１０２ａおよび３１０２ｂ上に位置し、複数の回路列３１０８ａおよび３１０８ｂは、分離基板３１０６上に位置する。画素の列と関連または対応する回路の列との間の電気的接続および通信も例示される。

[00100]本開示の教示および原理は、本開示の範囲から逸脱することなく、再使用可能な装置プラットフォーム、使用制限付きの装置プラットフォーム、リポーザブル使用の装置プラットフォーム、または単回使用／使い捨ての装置プラットフォームにおいて使用され得ることが認識されるであろう。再使用可能な装置プラットフォームでは、エンドユーザが当該装置の洗浄および殺菌の責任を負うことが認識されるであろう。使用制限付きの装置プラットフォームでは、当該装置は、動作不能になる前に、何回かの特定された回数だけ使用されることができる。典型的な新たな装置は、無菌状態で供給され、さらなる使用には、エンドユーザが当該さらなる使用前に洗浄し、殺菌することを必要とする。リポーザブル使用の装置プラットフォームでは、さらなる使用のために、新たなユニットよりも低い費用で、第三者が当該装置を再処理し（例えば、洗浄し、梱包し、殺菌し）得る。単回使用／使い捨ての装置プラットフォームでは、装置は、無菌状態で手術室に提供され、処分される前に一度だけ使用される。

[00101]また、本開示の教示および原理は、赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）、紫外線（ＵＶ：ｕｌｔｒａｖｉｏｌｅｔ）、およびＸ線などの可視スペクトルおよび不可視スペクトルを含む、任意および全ての波長の電磁エネルギーを含み得る。

[00102]本明細書において開示される様々な特徴は、本技術分野において有意な利点および進歩を提供することが認識されるであろう。下記の実施形態は、それらの特徴のうちのいくつかの例示であり得る。

[00103]前述の本開示の詳細な説明において、本開示の様々な特徴は、本開示を効率化する目的のために、単一の実施形態にまとめられてもよい。本開示の方法は、特許請求の範囲に記載される開示内容が、各請求項において明示的に列挙され得るよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、発明の態様は、前述の開示された単一の実施形態の全ての特徴よりも少ない特徴にある。

[00104]上述された構成は、本開示の原理の適用の例証にすぎないことが理解されるべきである。本開示の精神および範囲から逸脱することなく、多くの変形および代替的な構成が当業者によって案出されてもよく、添付の特許請求の範囲は、そのような変形および構成を包含することが意図され得る。

[00105]したがって、本開示は、特殊性および詳細と共に図面に示され、かつ上述されてきたが、本明細書において述べられる原理および概念から逸脱することなく、大きさ、材料、形状、形態、機能および動作の仕方、組み立ておよび使用における変更を含むが、これらに制限されない、多くの変形が行われ得ることが当業者には明らかであろう。

[00106]さらに、適当な場合には、本明細書において説明される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタルコンポーネント、またはアナログコンポーネントのうちの１つまたは複数において実行されることができる。例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣｓ）は、本明細書において説明されるシステムおよび手続きのうちの１つまたは複数を実行するようにプログラムされることができる。ある用語は、下記の説明および特許請求の範囲全体を通じて特定のシステムコンポーネントに言及するために使用され得る。当業者であれば認識するように、コンポーネントは、種々の名称によって言及され得る。本文書は、名称が異なっても機能が異ならないコンポーネント間を区別することを意図するものではない。

[00107]前述の説明は、例示および説明の目的のために提示されている。網羅的であること、もしくは開示される精密な形態に本開示を制限することは意図されていない。上記の教示に照らして、多数の変形およびバリエーションが可能であり得る。さらに、前述された代替の実装例のうちの任意または全てのものは、本開示のさらなる混合実装例を形成するために望ましい任意の組み合わせにおいて使用され得ることが留意されるべきである。

[00108]さらに、本開示の特定の実装例が説明および例示されてきたが、本開示は、そのように説明および例示された特定の形態または部品配置に制限されるものではない。本開示の範囲は、本明細書に添付される特許請求の範囲、本願および異なる出願において提出される任意の将来の請求項、ならびに当該請求項の均等物によって定義されるべきものである。

Claims (27)

1. 光量が不十分な環境におけるデジタルイメージングのためのシステムであって、
   照明を電磁パルスで(in electromagnetic pulses)提供するためのエミッタと、
   前記電磁パルスに対して感応性があり(sensitive)、当該電磁パルスから画像データを生成するイメージセンサであって、
   前記イメージセンサは、異なる画素の複数のサブセットを含み、
   前記画素の各々は、トランスファーゲートトランジスタを含み、
   画素の１つのサブセット内の各トランスファーゲートトランジスタは、ＴＸ信号によって互いに電気的に接続され、
   前記ＴＸ信号は、画素のサブセットごとにトランスファーゲートトランジスタ（ＴＸ）のグローバル動作を提供する、
   イメージセンサと、
   前記異なる画素の複数のサブセットに対応する複数の露光にパルスを与えるように前記エミッタを制御するための命令を含むメモリであって、
   パルスに感応性がある画素が読み出されない期間中の前記イメージセンサのフレーム期間の予め定義された部分の期間中に前記パルスが出射される(emitted)ように調整する命令をさらに含むメモリと
   を備え、
   プロセッサが、ダイナミックレンジを拡張するために前記複数の露光を組み合わせる、
   システム。
2. 前記エミッタが、レーザを含む、請求項１に記載のシステム。
3. 前記エミッタが、発光ダイオードを含む、請求項１に記載のシステム。
4. 前記イメージセンサが、単色センサである、請求項１に記載のシステム。
5. 前記画素の複数のサブセットが、碁盤目状checker board)のパターンに構成される、請求項４に記載のシステム。
6. ２つの画素が浮動拡散(floating diffusion)を共有する、請求項１に記載のシステム。
7. ４つの画素が浮動拡散を共有する、請求項１に記載のシステム。
8. ２つの画素が、二方向画素共有において水平方向の浮動拡散を共有し、前記ＴＸ信号が、ＴＸ１信号およびＴＸ２信号を含む、請求項５に記載のシステム。
9. 前記ＴＸ１信号は、奇数行上で前記二方向画素共有(2-way pixel share)の左側に位置する画素の前記トランスファーゲートトランジスタ（ＴＸ）に、偶数行上で前記二方向画素共有の右側に位置する画素の前記トランスファーゲートトランジスタ（ＴＸ）に帰属し(attaches)、ＴＸ２信号は、奇数行上で前記二方向画素共有の前記右側に位置する画素の前記トランスファーゲートトランジスタ（ＴＸ）に、偶数行上で前記二方向画素共有の前記左側に位置する画素の前記トランスファーゲートトランジスタ（ＴＸ）に帰属する、請求項８に記載のシステム。
10. 前記ＴＸ１信号および前記ＴＸ２信号の前記グローバル動作は、パルスに感応性がある画素が読み出されない期間中の前記イメージセンサのフレーム期間の予め定義された部分の期間中に実行される、請求項９に記載のシステム。
11. 前記イメージセンサは、ベイヤー(Bayer)パターンを除外する、請求項１に記載のシステム。
12. 環境光が不十分な環境において内視鏡と共に使用するためのデジタルイメージング方法であって、
    前記環境をパルス状の電磁放射で照らすステップと、
    反射された電磁放射の複数の異なる露光を、イメージセンサにおける画素アレイを用いて感知するステップと、
    前記画素アレイが生成する画像データを前記画素アレイから受け取るステップと、
    前記画像データから画像フレームを生成するステップと、
    パルスに感応性がある画素が読み出されない期間中の前記イメージセンサのフレーム期間の予め定義された部分の期間中にパルスを出射するステップと、
    前記画像フレームにおいて増加されたダイナミックレンジを提供するために、前記複数の異なる露光を使用して撮影された複数の画像フレームを連続的に組み合わせることによって画像のストリームを生成するステップと、
    を含む、方法。
13. 前記パルス状の電磁放射は、赤色、緑色、青色、緑色のパターンでパルスが与えられる、請求項１２に記載の方法。
14. 前記パルス状の電磁放射は、輝度、クロミナンス青、輝度、クロミナンス赤のパターンでパルスが与えられる、請求項１２に記載の方法。
15. 前記パルス状の電磁放射は、４サイクルパターンでパルスが与えられる、請求項１２に記載の方法。
16. 前記パルス状の電磁放射は、３サイクルパターンでパルスが与えられる、請求項１２に記載の方法。
17. 前記パルス状の電磁放射は、赤−緑−青色空間および輝度−クロム赤−クロム青色空間におけるパルスを含む、請求項１２に記載の方法。
18. 前記反射された電磁放射の複数の異なる露光を前記画素アレイが感知する期間中に水平ビニングを行うステップをさらに含む、請求項１２に記載の方法。
19. 前記環境が前記パルス状の電磁放射により露光される期間の露光パターンを変更するステップをさらに含む、請求項１２に記載の方法。
20. シーンに関連してオフセットされる複数の基板上に配置される複数の画素アレイの前記画像フレームを組み合わせることによって、三次元画像ストリームを生成するステップをさらに含む、請求項１２に記載の方法。
21. 前記画素アレイが、第１の基板上に配置され、支援(supporting)回路は、第２の基板上に離れて(remotely)配置される、請求項１２に記載の方法。
22. 短露光の緑色と組み合わされた長露光の緑色、次いで青色、次いで短露光の緑色と組み合わされた長露光の緑色、次いで赤色のパターンを周期的に生成するようにエミッタにパルスを与えるステップをさらに含む、請求項１２に記載の方法。
23. 短露光の緑色と組み合わされた長露光の緑色、次いで短露光の青色と組み合わされた長露光の青色、次いで短露光の緑色と組み合わされた長露光の緑色、次いで短露光の赤色と組み合わされた長露光の赤色のパターンを周期的に生成するようにエミッタにパルスを与えるステップをさらに含む、請求項１２に記載の方法。
24. 短露光の輝度と組み合わされた長露光の輝度、次いでクロミナンス青、次いで短露光の輝度と組み合わされた長露光の輝度、次いでクロミナンス赤のパターンを周期的に生成するようにエミッタにパルスを与えるステップをさらに含む、請求項１２に記載の方法。
25. 短露光の輝度と組み合わされた長露光の輝度、次いで短露光のクロミナンス青と組み合わされた長露光のクロミナンス青、次いで短露光の輝度と組み合わされた長露光の輝度、次いで短露光のクロミナンス赤と組み合わされた長露光のクロミナンス赤のパターンを周期的に生成するようにエミッタにパルスを与えるステップをさらに含む、請求項１２に記載の方法。
26. 同じフレーム内にクロミナンス青およびクロミナンス赤を有するパターンを生成するようにエミッタにパルスを与えるステップをさらに含む、請求項１２に記載の方法。
27. 同じフレーム内に青色および赤色を有するパターンを生成するようにエミッタにパルスを与えるステップをさらに含む、請求項１２に記載の方法。