JP4846186B2 - タイミング制御のための方法 - Google Patents

Description

発明の分野
この発明は、撮像に関し、具体的には、通例、ＣＭＯＳ画像センサを用いて行なわれる生体内の撮像に関する。

発明の背景
画像センサは、光の量を取込み、測定するシリコンチップである。典型的なＣＭＯＳ（相補型金属酸化膜半導体）画像センサは、オンチップカメラ機能を実行することができる。

能動画素ＣＭＯＳ画像センサは、同じ基板内で統合された光検出素子（フォトダイオードまたはフォトゲート）と能動トランジスタ回路（増幅器）とを含み得る。撮像中、オンチップタイミング回路および制御回路は、光積分サイクルおよびリセットの前の読出サイクル中に、行および列の電子回路を駆動させる。

ＣＭＯＳ画像センサは、通例、低価格および中価格のビデオカメラ内で用いられ、産業目的のために、たとえば、ロボット内および品質管理において、および、家庭用に、たとえば、パーソナルコンピュータに接続されるカメラ内において、用いられる。

生体内撮像装置は、ＣＭＯＳ画像センサを用い得る。たとえば、生体内撮像装置は、身体の内腔に沿って移動させられながら、身体の内腔の画像を取込み、その画像を外部の受信システムに送信し得る。

発明の概要
この発明は、とりわけ、生体内ＣＭＯＳ画像センサから、ぼやけのない鮮明な画像を得ることを可能にする、撮像、典型的には、生体内の撮像のための方法を提供する。さらに、この発明の実施例に従った方法は、低電力で、寸法の小さいワイヤレス送信機による、センサからの画像送信を可能にし得る。この発明の実施例に従った方法は、たとえ温暖な環境および変動する光状態においても、つまり、断続的な暗い期間があっても、暗信号ノイズによって損なわれることのない画像化を可能にし得る。

ここで用いられるような用語「暗い期間」は、照明による電気的エネルギがＣＭＯＳ画像センサ画素に加えられない期間に関する。

また、ここで用いられるような「生体内ＣＭＯＳ画像センサ」または「生体内ＣＭＯＳ撮像装置」は、実質的に静止していないシーンの画像を得るＣＭＯＳ画像センサに関する。たとえば、画像センサ自体が、画像を得ながら動く場合もあり、または、撮像されるシーンが動いている場合もある（たとえば、静止している、または動いている画像センサが、収縮している消化（ＧＩ）管の壁を撮像するか、または、静止している、または動いている画像センサが、出血している傷等を撮像する）。

この発明の実施例に従った方法は、生体内ＣＭＯＳ画像センサの画素に少なくとも１つの照明期間および少なくとも１つの後続の暗い期間を提供するステップを含む。

一実施例では、この発明は、ＣＭＯＳ画像センサのタイミング制御のための方法を含む。通例、ＣＭＯＳ撮像装置は、移動できる撮像装置であり得、たとえば、内腔の画像を得ながら、身体の内腔内を能動的または受動的に動く生体内画像センサであり得る。代替的には、ＣＭＯＳ撮像装置は、静止していてもよく、たとえば、同じ場所での身体の経過(processes)をモニタするために用いられてもよい。この発明の実施例によると、タイミング制御のための方法は、以下のステップを含む。すなわち、ａ）ＣＭＯＳ画像センサ内の画素に少なくとも１つの照明期間と少なくとも１つの後続の暗い期間とを提供するステップと、ｂ）暗い期間中に、連続的に各画素を読出し、リセットするステップとを含む。画像センサの画素回路は、照明期間中は休止し、画素読出のための暗い期間中に作動し得る。

照明期間と暗い期間とがともになって、フレームとフレームとの間の期間、または積分／読出サイクル時間を構成する。

この発明の実施例によると、少なくとも１つの照明期間および少なくとも１つの後続の暗い期間が提供される画素を有する生体内ＣＭＯＳ画像センサを含む生体内撮像装置がさらに提供される。

この発明の別の実施例によると、暗い期間中にのみ画像センサの画素の連続的な読出およびリセットを行ない、照明期間中に画素回路を休止させるようにプログラムされたタイミング回路を有するＣＭＯＳ画像センサを含む撮像装置も提供される。したがって、この発明の方法および装置を用いることによって、安価で、小型で、さらには電池駆動の撮像装置を得ることができる。このような装置は、通常は届かない、または到達困難な部分の撮像、たとえば、身体の内腔の撮像に有利であり得る。

一実施例では、飲み込むことのできるカプセル内でこの発明の方法および装置を用いて、ＧＩ管の大きな部分の画像を得ることができる。この発明の撮像装置と、ＧＩ管内の対象部位を照らすための照明と、撮像装置によって取込まれた画像を外部の受信システムに送信するための送信機とを含むワイヤレスカプセルが、ＧＩ管を撮像するための自律内視鏡として機能することができる。

この発明は、図とともに以下の詳細な説明を参照することによって、より完全に理解されるであろう。

発明の詳細な説明
この発明の方法の実施例が、図１に概略的に示される。図１を参照して、画素を有する生体内ＣＭＯＳ画像センサ内で、画素に対して照明期間が提供され（１０２）、光の積分（および暗信号積分）が、画素内で行なわれる（１０１）。続いて、たとえば、照明を消すことによって、または、画素を覆ってそれらが照明に晒されないようにすることによって、暗い期間が提供される（１０４）。代替的な実施例では、この発明に従った他のステップまたは技術を用いることにより、暗い期間が提供されてもよい。このステップシーケンスは、１つのフレームを生成し、必要なだけのフレームを得るために、繰返され得る。たとえば、ｍ回繰り返される方法によって、結果として、ｍ個の画像フレームが得られる。

通例、ＣＭＯＳ画像センサは、移動できる。この発明の実施例に従った生体内ＣＭＯＳ画像センサを含む撮像装置は、小型化された低電力（たとえば、電池駆動）の撮像装置であり得、任意で、画像データを外部の受信部に送信できる。このような撮像装置内では、エネルギに関して考慮すべき事項（または、帯域幅に関して考慮すべき事項等の他の事項
）によって、時間単位当たり、通例、数少ないフレームを得ることが要求され得る。したがって、各フレームは、通例、長い露出(exposure)時間中に得られ得、この間に、撮像装置が動くことによって、または撮像されるシーンが動くことによって、結果として、ぼやけた鮮明でない画像が得られる。この発明の実施例によると、露出時間は、積分サイクル内で暗い期間および光の期間を提供することによって、減じられる。方法は、画素を連続的に読出し（１０６）、リセットする（１０８）追加的なステップをさらに含み得る。

一実施例では、たとえば、ｎ個の画素を有する画像センサ内では、すべてのｎ個の画素が、照明期間（１０２）中に同時に照らされ、すべての画素が、同じ光積分時間（１０１）に晒される。照明期間（１０２）の後、すべてのｎ個の画素は、暗い期間（１０４）に晒され、ここでは、暗信号ノイズの積分のみが起こる（１０３）。暗い期間中、画素は、連続的に読出され（１０６）、リセットされる（１０８）。画素１が読出され、リセットされ、画素１の読出に続いて、画素２が読出され、リセットされ、以下同様に続けられて、画素ｎが読出され、リセットされる。このステップシーケンスは、１つのフレームを生成し、必要なだけのフレームを得るために繰返され得る。ｍ回繰り返される方法によって、結果として、ｍ個の画像フレームが得られる。代替的な実施例では、画素の一部のみが、照明期間に晒され、他のステップおよびステップシーケンスが、この発明に従って用いられてもよい。

この発明の実施例によると、照明期間中、下にある電子システムは、休止し、画素の光システムは、光の積分によって照明に反応する（暗信号も積分されている）。通例、すべての画素が、同じ時間量だけ照明に晒される。照明期間の後、画素は、（たとえば、照明を消すことによって、または、画素を覆ってそれらが照明に晒されないようにすることによって）暗い期間に晒される。暗い期間中は、光の積分は起こらないが、画素は、暗信号ノイズを積分する。暗い期間の間、電子システムは、画素の読出およびリセットのために作動する。撮像装置動作の反復的な性質によって、各画素が同じ量の暗信号積分時間に晒されることが保証される（この点は、図２にさらに例示される）。

代替的な実施例では、他のシーケンスが用いられてもよい。たとえば、代替的な実施例では、画素の読出およびリセットは、連続的に行なわれ得、露出期間中に、特別なシーケンスは存在しない。この実施例では、いくつかの画素の読出およびリセット中に、露出および照明が起こる。通例、これらの画素は、有効な画像情報を得るためにさらに用いられることはなく、他のすべての画素を用いて、有効な情報が得られ得る。

上述のように、断続的で短い照明期間を提供することによって、たとえ画像センサが動いている間でさえも、または撮像されるシーンが動いている間でさえも、ぼやけのより少ない、またはぼやけのない画像を得ることが可能となる。暗い期間中に個別に各画素を読出し、リセットすることによって、すべての画素が同じ量の暗信号積分に晒されることが保証され得る。暗信号積分に対する、一般に等しい露出時間は、すべての画素に対する一貫したベースラインノイズを保証し、有効な(significant)信号を生成する助けとなる。たとえば、ノイズを除去するために、あらゆる画像フレームからダークフレームが差し引かれ得る。しかしながら、この発明の方法の一実施例では、ベースライン暗信号ノイズは、ある程度は一貫したままであるため、ダークフレームを差し引かなくても、ノイズのない画像フレームを得ることができる。代替的な実施例では、異なる画素が、異なる積分時間に晒されてもよい。この場合、画素は依然として同じ照明期間に晒され得、通例、結果として、暗い期間中の異なる積分時間が得られるのみとなる。別の実施例では、異なる画素は、異なる照明期間に晒され得る。この場合、同じシーンに晒されながら、異なる出力が異なる画素から得られ得る。この場合、画像後処理において、正規化アルゴリズムが実現され得る。

この発明の方法の実施例は、とりわけ、通常届かない、または到達困難な部分からの画像を得るのに有利であり、縮小された製造工程、地質調査、または生体内撮像等において用いるのに有利である。たとえば、飲み込むことのできるカプセル内で、この発明の実施例を用いて、消化（ＧＩ）管の大きな部分の画像を得ることもでき、これは、図３を参照しながらさらに説明される。

この発明の実施例に従った読出のためのタイミング図が、図２に示される。図２を参照して、個別の画素の読出は、通例、照明期間の直後、暗い期間に開始する。画素１の読出（ライン１）の直後、画素１がリセットされ（ライン２）、同時に、画素２が読出され（ライン３）、リセットされ（ライン４）、以下同様に続き、画像センサの画素アレイ内の最後の画素である画素ｎが読出され、リセットされる。一実施例では、たとえば、画素アレイ内には２５６×２５６画素が存在するが、他の寸法を用いてもよい。画素は、必ずしもというわけではないが、通例は、それらの行の順に読出される。他のステップまたは一連のステップが用いられてもよく、他のタイミングシーケンスが用いられてもよい。

一実施例では、照明期間が、後続の暗い期間とともに、フレームを規定する。たとえば、２フレーム／秒をとる撮像装置では、照明期間は、通例、１０−１００ｍｓであり、暗い期間は、通例、４００−４８０ｍｓである。他の時間の長さおよびシーケンスが用いられてもよく、他の読出レートが用いられてもよい。

照明期間中、光の積分（および、暗信号積分）は、すべての画素内で同じ時間量だけ起こり得る。暗い期間中、各画素は、その読出およびリセットの前後に、暗信号積分に晒され得る。読出時点は、通例、画素ごとに異なるが、ある画素上の２つの読出点の間の距離は、通例、すべての画素で同じである（たとえば、距離ａは、距離ｂと等しい）。これは、画像センサ内の各画素が同じ量の暗信号積分時間を有することを保証する助けとなり、各画素によって生成される暗信号ノイズ内のばらつきを低下させる。

この発明の実施例に従った方法を用いる生体内撮像装置を例示する図３をここで参照する。ワイヤレスであり得る装置は、ＣＭＯＳ画像センサ、生体内対象部位を照らすための照明源、および画像センサによって取込まれた画像を外部の受信システムに送信するための送信機を含む。構成要素の、他の配置が用いられてもよく、この発明のシステムおよび方法は、他の装置で用いられてもよい。

装置３０は、通例、光学窓３１と、ＧＩ管等の身体の内腔の内側からの画像を得るための撮像システムとを含む。撮像システムは、白色ＬＥＤ等の照明源３３と、画像を検出するＣＭＯＳ撮像カメラ３４と、画像をＣＭＯＳ撮像カメラ３４の焦点に合わせる光学システム３２とを含む。照明源３３は、光学窓３１を通して、身体の内腔の内部を照らす。装置３０は、ＣＭＯＳ撮像カメラ３４のビデオ信号を送信するための送信機３６およびアンテナ３７と、電力を装置３０の電気的要素に提供する、酸化銀電池等の電源３５とをさらに含む。

この発明の実施例とともに用いられるのに好適であり得る装置が、ＷＯ ０１／６５９９５に記載されており、これは、この発明の共通の譲受人に譲渡され、その全体が、ここで引用により援用される。

通例、装置３０は、カプセル形状であり、容易に飲み込まれ得、ＧＩ管全体を受動的に通り、自然の蠕動によって前進させられ得る。しかしながら、装置は、身体の内腔または腔内に挿入され、そこを通るのに好適な、いずれの形状であってもよいことが理解されるべきである。さらに、この発明の実施例に従った装置は、内視鏡、腹腔鏡、ステント、針、カテーテル等の、身体の内腔および腔内に挿入される装置に取付けられてもよく、また
は加えられてもよい。

したがって、装置は、飲み込むことによって、内視鏡装置を用いることによって、手術によってなどで、身体の内腔または腔内に導入され得る。

装置３０は、蠕動によって前進しながら、ＧＩ管を映し、電池駆動の送信機上で得られた信号を送信する。送信機３６は、たとえば、周波数シフトキーイング（ＦＳＫ）、位相シフトキーイング（ＰＳＫ）または最小シフトキーイング（ＭＳＫ）変調システム上で動作するＡＳＩＣ（特定用途向け集積回路）であり得、デジタル信号を無線周波数でアンテナ３７を介して外部の受信システムに送信し得る。送信機３６は、撮像装置と通信するための制御論理ブロックと、照明を制御するための照明源パワーおよび制御ブロックとを含み得る。一実施例では、制御論理ブロックは、マスタクロックを維持し、ビットレートデータおよびフレームレートによって同期化され、撮像装置によって生成され得る制御を通して、照明源パワーおよび制御ブロックをトリガーする。制御論理ブロックは、マスタクロックおよび他の撮像装置パラメータをさらに制御し得る。代替的な実施例は、送信機の一部ではない専用のコントローラを含み得る。

カプセルの照明源３３は、通例、予め定められた間隔で短い閃光を当てるようにプログラムされている。閃光と閃光との合間、身体の内腔は、暗い。通例、閃光ごとに、１つのフレームの獲得および後続の送信が可能となる。

一実施例に従うと、ＣＭＯＳ画像センサ３２は、リセット回路およびタイミング回路、読出回路および光検出素子を含む画素を含む。照明源３３の動作と調和するタイミング回路は、暗い期間中にのみ画素の連続的な読出およびリセットを行ない、照明期間中には画素回路を休止させるようにプログラムされる。画像センサ内で生成される暗信号ノイズは、温度に依存した様態で増加する。生体内等の温暖な環境（たとえば、３７℃）内で動作する遅いサンプリングの画像センサは、比較的大きな暗信号ノイズ成分に対応しなければならない。ノイズキャンセレーションプロセスの一部は、画素の増幅器に、暗信号の平均値を超えた分だけ画素からの読出を開始させることを含み得る。各画素によって生成される暗信号ノイズのばらつきは、不安定なノイズベースラインを引起こし、これは、歪んだ画像の生成を引起こす。図２を参照しながら説明されたように、この発明の実施例は、画像センサ内の各画素が同じ量の暗信号積分時間を有することを保証し得、各画素によって生成される暗信号ノイズのばらつきを低下させる。

この発明の実施例は、通例、毎秒１−１０フレームのレートで動作し、ＣＭＯＳ画像センサは、１２８×１２８画素から５１２×５１２画素、好ましくは、２５６×２５６画素を有し、送信機は、何百ＭＨｚから何百ＧＨｚもの範囲で、または約１．３５メガビッド毎秒の範囲で、ビデオ信号を送信するが、他の周波数が用いられてもよい。送信は、通例、比較的近くに配置された受信システムに対して行なわれる。したがって、この発明の方法および装置の実施例は、１０ｍＷほどの低い電力入力で動作し得る。

この発明が、具体的に図示され、上で説明されたものに限定されないことは、当業者によって理解されるであろう。この発明の範囲は、前掲の請求項によってのみ規定される。

この発明の実施例に従った方法を示すボックス図である。 この発明の一実施例に従った読出のためのタイミング図である。 この発明の実施例に従った生体内撮像装置を示す概略的な縦断面図である。

Claims (8)

1. ＣＭＯＳ画像センサのタイミング制御のための方法であって、前記方法は、
   （ｉ）前記ＣＭＯＳ画像センサの画素に照明源により照らされる少なくとも１つの照明期間および照明源の消される少なくとも１つの後続の暗い期間を提供するステップと、
   （ｉｉ）画像フレームを得るために、前記暗い期間中に、各画素を連続的にかつ個別に読出し、それからリセットすることによって、各画素が同じ量の積分時間だけ暗信号ノイズを積分することを保証するステップと、
   （ｉｉｉ）各画像フレームからダークフレームを差し引いて暗信号ノイズを除去するステップと、
   （ｉｖ）ｍ個の画像フレームを得るために前記ステップ（ｉ）から（ｉｉｉ）をｍ回繰り返すステップとを含む、方法。
2. 前記画素から読出された信号を外部の受信システムに送信するステップをさらに含む、請求項１に記載の方法。
3. 画素に少なくとも１つの照明期間および少なくとも１つの後続の暗い期間を提供する前記ステップは、前記ＣＭＯＳ画像センサのすべての画素上で行なわれる、請求項１に記載の方法。
4. 画素に少なくとも１つの照明期間および少なくとも１つの後続の暗い期間を提供する前記ステップは、２５６×２５６画素上で行なわれる、請求項３に記載の方法。
5. 前記ステップは、毎秒１−１０回繰返されて、それに応じて毎秒１−１０個の画像フレームが得られる、請求項１に記載の方法。
6. 前記ステップは、毎秒２回繰返されて、毎秒２個の画像が得られる、請求項５に記載の方法。
7. 信号を外部の受信システムに送信する前記ステップは、前記後続の暗い期間中に行なわれる、請求項２に記載の方法。
8. 信号を外部の受信システムに送信する前記ステップは、毎秒約１．３５メガビットの帯域幅で実行される、請求項２に記載の方法。

Images