JP3985123B2 - 二次元撮像素子の駆動制御方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ＣＣＤ撮像素子に代表される二次元撮像素子の駆動制御方法に係り、特に、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出して、有効画像の高速読み出しを可能とした二次元撮像素子の駆動制御方法に関する。
【０００２】
【従来の技術】
ＣＣＤ撮像素子に代表される固体撮像素子では、フォトダイオードやフォトトランジスタ等のフォトセンサを複数個マトリクス状に配列し、各フォトセンサ毎に入射された光情報に比例する信号電荷を蓄積することにより、二次元画像データを生成している。各フォトセンサに蓄積された信号電荷は、インターライン転送方式やフレーム転送方式などの転送方法により一次元の映像信号として外部に出力される。
【０００３】
図１４は、インターライン転送方式型のＣＣＤ撮像素子の基本構成を示すもので、ｍ行×ｎ列のマトリクス状に配列された複数個のフォトセンサＰｈと、これらフォトセンサＰｈの列毎に配備されるｎ個の垂直シフトレジスタＶＲ１〜ＶＲｎと、各垂直シフトレジスタＶＲ１〜ＶＲｎの出力側に配備される水平シフトレジスタＨＲとを、主要構成として備えている。なお、図中１４は出力バッファである。
【０００４】
各垂直シフトレジスタＶＲ１〜ＶＲｎの各転送部（ステージ）には、それぞれその転送部に電荷を転送するフォトセンサＰｈがｍ行×ｎ列のマトリクスのどの位置にあるかを示すアドレスが示してある。また水平シフトレジスタＨＲの各転送部に示される数値は、それぞれその転送部に何列目のフォトダイオードＰｈからの電荷が転送されるかを示すものである。
【０００５】
各垂直シフトレジスタＶＲ１〜ＶＲｎ，水平シフトレジスタＨＲは、ＣＣＤ（電荷結合素子）により構成されており、各フォトセンサＰｈ，垂直シフトレジスタＶＲ１〜ＶＲｎ，水平シフトレジスタＨＲは、それぞれ図示しない駆動制御部よりビデオ規格に基づくタイミングで与えられる転送パルスＴＰ１（電荷取込パルス），ＴＰ２（垂直転送パルス），ＴＰ３（水平転送パルス）を受けて、内部に蓄積された信号電荷を転送する。なお、それらの転送パルスＴＰ１，ＴＰ２，ＴＰ３は、この明細書では便宜的に単一のパルスで表されているが、実際は、単一のパルスで構成されているものではなく、２相、３相、４相と言った多相パルスで構成されるのが通例である。一例としては、各転送パルスの１段の転送に要する多相一組のパルスの期間は、ＴＰ１では約７．５μｓ以上、ＴＰ２では約８．０μｓ以上、ＴＰ３では約４０ｎｓ以上である。
【０００６】
図１５は、上記撮像素子から得られる映像信号のフォーマットを示す。なお図中、１垂直期間毎の映像信号（上段）の１ライン分の出力データには、それぞれそのデータが何ライン目のフォトセンサＰｈに対応するかを示す数値が、また各水平期間毎の詳細な映像信号（下段）の１画素分の出力データには、そのデータに対応するフォトセンサＰｈのアドレスが、それぞれ示されている。
【０００７】
まず最初の垂直期間が開始され、垂直ブランキング期間内に第１の転送パルスＴＰ１が出力される。この転送パルスＴＰ１は各フォトセンサＰｈに同時に与えられ、それぞれのフォトセンサＰｈに蓄積された電荷が対応する垂直シフトレジスタＶＲ１〜ＶＲｎに一斉に転送される。
【０００８】
次に、第１の水平期間が開始され、水平ブランキング期間内に、各垂直シフトレジスタＶＲ１〜ＶＲｎに第２の転送パルスＴＰ２が与えられる。この転送パルスＴＰ２により、各垂直シフトレジスタＶＲ１〜ＶＲｎ内の信号電荷は１画素ずつシフトされて、一番先頭の１ライン分の信号電荷（図中、アドレス（１，１）（１，２）・・・（１，ｎ）の画素に対応する電荷）が水平シフトレジスタＨＲ側へと転送される。
【０００９】
次いで、１水平期間が終了するまでの間に、水平シフトレジスタＨＲに対し、第３の転送パルスＴＰ３が１水平ライン画素相当数であるｎ個連続して与えられる。これにより水平シフトレジスタＨＲ内に蓄積された１ライン分の信号電荷は１画素ずつシフトされ、最前方の電荷より順次出力される。
【００１０】
以下同様にして、各水平期間毎に各垂直シフトレジスタＶＲ１〜ＶＲｎに転送パルスＴＰ２が与えられて、１ライン分の信号電荷が水平シフトレジスタＨＲへと転送された後、水平シフトレジスタＨＲ側にｎ個の転送パルスＴＰ３が与えられて前記転送された１ライン分の信号電荷が１画素ずつ出力される。この水平期間がｍ回繰り返されることにより１垂直期間が終了する。
【００１１】
図１６は、上記の動作により生成された二次元画像のデータ構成を示すもので、各フォトダイオードＰｈに対応する各画素がフォトダイオードの配列状態と同様のマトリクス状に配置された画像データが生成される。
【００１２】
上記インターライン方式の固体撮像素子を用いた撮像装置は、現行のビデオ規格に伴い、１フィールド分の映像信号を１／６０秒の時間間隔で出力するように設定されている。したがってこの現行の方式により出力される映像信号を画像処理装置に取り込んで処理を行う場合、入力された映像信号をリアルタイムで処理しても１秒間に６０回の処理を行うのが限度であり、それ以上の高速化は図れないという問題がある。
【００１３】
特開平１０−１９１１７６号公報には、一画面分の映像信号をより高速に読み出すことを可能とする技術が開示されている。この公報開示技術にあっては、一画面を構成する信号電荷の中で、不要画像領域に相当する信号電荷については通常よりも高速で読み出す一方、有効画像領域に相当する信号電荷については必要な分解能で読み出すようにしたものである。
【００１４】
【発明が解決しようとする課題】
上記の公報開示技術にあっては、不要画像領域に相当する信号電荷を高速に読み出すについて、垂直シフトレジスタを水平ブランキング期間内に複数段転送させる連続垂直転送動作と、水平シフトレジスタを水平ブランキング期間外に１水平ライン画素相当段転送させる連続水平転送動作とを、交互に規定水平期間回数だけ繰り返すと言う手法を採用している。換言すれば、連続垂直転送動作中にあっては、水平シフトレジスタの転送動作は停止され、複数行分の信号電荷は水平シフトレジスタの各ステージにおいて列毎に一括加算される。
【００１５】
そのため、不要画像領域に輝度の高い画像が存在したり、或いは、一括加算される水平ライン数が多いと、水平シフトレジスタのいずれかのステージにおいて信号電荷が飽和する確率が高くなり、スミヤの発生等により読み出される画像が劣化すると言う問題点が指摘されている。
【００１６】
この発明は、上記問題点に着目してなされたもので、その目的とするところは、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出可能とした二次元撮像素子の駆動制御方法を提供することにある。
【００１７】
この発明の他の目的とするところは、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出して、有効画像の高速読み出しを可能とした二次元撮像素子の画像読出方法を提供することにある。
【００１８】
この発明の他の目的とするところは、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）に好適な計測方法を提供することにある。
【００１９】
この発明の他の目的とするところは、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）に好適な撮像装置を提供することにある。
【００２０】
この発明の他の目的とするところは、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）に好適な計測装置を提供することにある。
【００２１】
この発明のさらに他の目的又は作用効果については、明細書の以下の記述により、当業者であれば容易に理解されるであろう。
【００２２】
【課題を解決するための手段】
この発明の二次元撮像素子の駆動制御方法は、マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子を使用することを前提としている。
【００２３】
ここで、二次元撮像素子には、少なくとも、ＣＣＤ撮像素子が含まれる。また、『水平』並びに『垂直』の語は、この種の映像信号に関する技術用語にならったもので、物理的な意味での水平並びに垂直ではないことは言うまでもない。
【００２４】
この発明の要部は、垂直シフトレジスタを１水平期間内に複数段転送させる連続垂直転送動作と、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、同時並行的に規定水平期間回数だけ繰り返し実行させる、と言う点にある。
【００２５】
ここで、『同時並行的に』としたのは、連続垂直転送動作と連続水平転送動作とを１水平期間内において時間帯をずらせて別々に行うようにした従来技術との差異を明らかにするためである。『同時並行的』の態様には、次の二つの態様が少なくとも含まれる。
【００２６】
第１の態様では、連続水平転送動作の開始前に１若しくは２以上の段数の垂直転送動作を行ない、かつ連続水平転送動作の開始後に１若しくは２以上の段数の垂直転送動作を行う。
【００２７】
第２の態様では、連続水平転送動作の開始前に垂直転送動作を行わず、かつ連続垂直転送動作の開始後に２以上の段数の垂直転送動作を行う。
【００２８】
ここで、『連続水平転送動作の開始前』とは、例えば、１水平期間内の前部に位置するブランキング期間が含まれる。
【００２９】
このような構成によれば、各垂直シフトレジスタにより連続垂直転送される複数個の信号電荷は、水平シフトレジスタ上の２以上のステージに分散重畳して移送される。そのため、画面上の高輝度領域に対応して特定の垂直シフトレジスタの一連のステージに比較的多量の信号電荷が格納されていても、そのような電荷は水平シフトレジスタ上の複数のステージに分散して重畳移送されるので、水平シフトレジスタ上のいずれかのステージにおいて信号電荷が飽和する確率が低くなり、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出可能となる。
【００３０】
次に、この発明の二次元撮像素子の画像読出方法は、マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子から撮影画像に相当する信号電荷を読み出すものであることを前提としている。
【００３１】
この発明の要部は、不要画像部分に相当する水平ライン帯については、先に説明した本発明の二次元撮像素子の駆動制御方法を使用して信号電荷の高速読み出しを行なう一方、有効画像部分に相当する水平ライン帯については、垂直シフトレジスタを水平ブランキング期間内に１若しくは複数段転送させる連続垂直転送動作と、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、交互に規定水平期間回数だけ繰り返し実行させる二次元撮像装置の駆動制御方法を使用して信号電荷の読み出しを行う、と言う点にある。
【００３２】
ここで、『不要画像部分』並びに『有効画像部分』の定義については、予め特定の水平ライン帯をそのように割り付けてもよいし、実際の画像をモニタにて確認後、手動若しくは自動で該当する水平ライン帯をそのように割り付けてもよいであろう。
【００３３】
このような構成によれば、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出して、有効画像を高速に読み出すことが可能となる。
【００３４】
次に、この発明の計測方法は、マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子から撮影画像を読み出し、該読み出した撮影画像に対して画像処理を施すことにより、計測対象量を求めることを前提としている。
【００３５】
この発明の要部は、前記画像処理に必要な撮影画像の読み出し動作は、先に説明した画像読出方法を使用して行われる、と言う点にある。
【００３６】
このような構成によれば、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）が可能となる。
【００３７】
この発明の撮像装置は、マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子と、前記二次元撮像素子の各フォトセンサ，垂直シフトレジスタ，水平シフトレジスタに対し、それぞれ保有する信号電荷を転送させるための転送パルスを生成する転送パルス発生部と、１水平期間内に何行分の画像データを出力するかを示す転送ライン数を指定するための転送ライン数指定部とを備える、ことを前提としている。
【００３８】
加えて、この発明の要部は、前記転送パルス発生部は、各垂直期間の開始時に各フォトセンサの信号電荷を垂直シフトレジスタ側に取り込むための第１の転送パルスを送出する電荷取込用転送パルス送出処理と、各水平期間毎に、各垂直シフトレジスタに対して、前記転送ライン数指定部にて指定された転送ライン数分の第２の転送パルスを送出する垂直転送パルス列送出処理と、各水平期間毎に、前記水平シフトレジスタに対して、１ライン画素数分の第３の転送パルスを送出する水平転送パルス列送出処理と、を実行すると共に、前記垂直転送パルス列送出処理と前記水平転送パルス列送出処理とは同時並行的に実行される、と言う点にある。
【００３９】
この発明にあっても、『同時並行的』なる概念には次のような少なくとも２つの態様が含まれる。
【００４０】
第１の態様においては、第３の転送パルス列の送出開始前に１若しくは２以上の個数の第２の転送パルスを送出し、かつ第３の転送パルス列の送出開始後に１若しくは２以上の個数の第２の転送パルスを送出する。
【００４１】
第２の態様においては、第３の転送パルス列の送出開始前に第２の転送パルスを送出せず、かつ第３の転送パルス列の送出開始後に２以上の個数の第２の転送パルスを送出する。
なお、一般に良く知られているように、この種の二次元撮像素子（例えば、ＣＣＤ撮像素子等）の第１、第２、及び第３の転送パルスは、それぞれ２相、３相、４相と言った多相パルスで構成されている場合が多い。そのため、このような多相パルス列が使用される場合には、第２及び第３の転送パルスに関して言う『１個のパルス』とは、該当するシフトレジスタを１段転送乃至移送するために必要な多相一組のパルスのことを意味している。
【００４２】
このような構成によれば、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）に好適な撮像装置を提供できる。
【００４３】
この発明の好ましい実施の形態においては、転送ライン数指定部は、各水平期間毎の転送ライン数を記憶する転送ライン数テーブルを具備し、各水平期間毎にその期間に対応する転送ライン数を前記転送ライン数テーブルより読み出して転送ライン数の指定を行う。
【００４４】
このような構成によれば、転送ライン数テーブルの内容を外部から制御することにより、任意の水平ライン帯に属する画像を水平シフトレジスタを飽和させること無く、高速に読み出すことができる。
【００４５】
この発明の計測装置は、先に説明した本発明の撮像装置と、この撮像装置より出力された画像データを入力して、所定の画像処理を実施する画像処理装置とを備えてなるものである。
【００４６】
このような構成によれば、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）が可能となる。
【００４７】
【発明の実施の形態】
この発明の一実施例にかかるビジュアル計測装置（例えば、光切断法応用の変位センサ、三次元センサ等）の構成を示すブロック図が図１に示されている。
【００４８】
同図に示されるように、ビジュアル計測装置１００は、二次元画像の映像信号を生成して出力する撮像装置１と、この撮像装置１から出力される映像信号を取り込んで計測に必要な画像処理を実行する画像処理装置２とを、主要構成として備えている。
【００４９】
撮像装置１は、固体撮像素子としてのＣＣＤ撮像素子１１（図中「ＣＣＤ」と略す）と、転送パルス発生部１２と、転送ライン数指定部１３と、出力バッファ１４と、転送ラインテーブル１５とを含んでいる。
【００５０】
画像処理装置２は、撮像装置１からの映像信号をＡ／Ｄ変換するための画像入力部２１と、変換処理後のディジタル画像を用いて所定の計測のための画像処理を実施する画像処理部２２と、この画像処理結果を外部に出力するための出力部２３とを含んでいる。
【００５１】
ＣＣＤ撮像素子１１は、前記した図１４のものと同様の構成を備えるもので、転送パルス発生部１２より出力される第１〜第３の転送パルスＴＰ１〜ＴＰ３を受けて動作する。すなわち第１の転送パルスＴＰ１が与えられる毎に、各フォトセンサＰｈに蓄積された信号電荷が垂直シフトレジスタＶＲ１〜ＶＲｎに転送され、第２の転送パルスＴＰ２が与えられる毎に、各垂直シフトレジスタＶＲ１〜ＶＲｎの蓄積電荷が１画素ずつシフトされて、先頭の１ライン分の信号電荷が水平シフトレジスタＨＲに転送される。さらに第３の転送パルスＴＰ３が与えられる都度、水平シフトレジスタＨＲに蓄積された信号電荷が１画素ずつ走査され、先頭の信号電荷が出力バッファ１４を介して画像処理装置２へと出力される。
【００５２】
後に詳細に説明するように、この実施形態の撮像装置１は、１水平期間内に第２の転送パルスＴＰ２を複数個出力することにより、垂直シフトレジスタを１水平期間内に複数段転送させる連続垂直転送動作と、１水平期間内に第３の転送パルスＴＰ３をｎ個出力することにより、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、同時並行的に規定水平期間回数だけ繰り返し実行することにより、不要画像に相当する信号電荷を高速に読み出すことが可能に構成されている。
【００５３】
転送ライン数指定部１３は、１水平期間内に何ライン分の画像データを転送するかを設定するためのもので、設定された転送ライン数は、２ビット構成の転送ライン数信号Ｌ１，Ｌ２に変換されて、転送パルス発生部４に出力される。
【００５４】
転送ライン数毎の転送ライン数信号Ｌ１，Ｌ２のデータ構成が図２に示されている。同図に示されるように、１〜４までの各転送ライン数について、それぞれ「００」，「１０」，「０１」，「１１」のコードが割り当てられており、そのコードの上位ビットがＬ１として、下位ビットがＬ２として、それぞれ設定されている。
【００５５】
転送パルス発生部１２における第２の転送パルスＴＰ２の生成部の内部構成が図３に示されている。同図に示されるように、第２の転送パルス生成部には、４個のタイミング発生部１２１，１２２，１２３，１２４と、各タイミング発生部１２１〜１２４からのパルス列を選択的に出力するマルチプレクサ１２５とが含まれている。
【００５６】
各タイミング発生部１２１〜１２４は、それぞれ１〜４ライン分の転送用に用いられるもので、通常のビデオ規格の水平期間と同じ長さの期間内に、対応する転送ライン数分の第２の転送パルスＴＰ２を出力する。各タイミング発生部１２１〜１２４からの転送パルスＴＰ２の出力態様が図４に示されている。
なお、先に説明したように、転送パルスＴＰ２は多相パルスで構成されており、図中１個のパルスで表されている部分は、実際は、垂直シフトレジスタを１段転送乃至移送させるに必要な多相一組のパルスを意味している。この例では、転送パルスＴＰ２の１個のパルスに相当する多相一組のパルスの出力期間は約８μｓ以上が必要であり、通常の垂直ブランキング期間を想定すると、垂直ブランキング期間内には約２個程度のパルスの出力が可能である。
【００５７】
同図に示されるように、１ライン転送用のタイミング発生部１２１は、水平ブランキング期間内に１個のパルスを出力する。なお、１個のパルスとは、多相一組のパルスの意味である。以下、同様である。
【００５８】
２ライン転送用のタイミング発生部１２２は、水平ブランキング期間内に１個のパルスを、また水平ブランキング期間外に１個のパルスを出力する。
【００５９】
３ライン転送用のタイミング発生部１２３は、水平ブランキング期間内に１個のパルスを、また水平ブランキング期間外に２個のパルスを出力する。
【００６０】
４ライン転送用のタイミング発生部１２４は、水平ブランキング期間内に１個のパルスを、また水平ブランキング期間外に３個のパルスを出力する。
【００６１】
マルチプレクサ１２５は、これらタイミング発生部１２１〜１２４の中から転送ライン数信号Ｌ１，Ｌ２の示す転送ライン数用のタイミング発生部を選択し、その信号の入力経路をＣＣＤ撮像素子１１への出力経路に接続する。これにより選択されたタイミング発生部の出力パルスが転送パルスＴＰ２として採用され、ＣＣＤ撮像素子１１へと与えられる。
【００６２】
なお、ここでは図示しないが、第１の転送パルスＴＰ１の生成部も、上記と同様に、各転送ライン数用の４個のタイミング発生部とマルチプレクサとにより構成される。このうち１ライン転送用のタイミング発生部は、通常のビデオ規格に基づくタイミングでパルス信号を１個出力するのに対し、２ライン〜４ライン転送用の各タイミング発生部は、転送ライン数で定まる一画面分の電荷の出力周期毎にパルス信号を１個出力する。マルチプレクサが前記と同様に転送ライン数信号Ｌ１，Ｌ２に対応するタイミング発生部を選択することにより、そのタイミング発生部の出力パルスが転送パルスＴＰ１として出力され、ＣＣＤ撮像素子１１に与えられる。
【００６３】
ＣＣＤ撮像素子１１のより具体的な一例の画素配列が図５に示されている。なお、説明の便宜上、画素の大きさは実際よりもかなり誇張して描かれていることに注意されたい。
【００６４】
同図において、Ｐｈは標準的なビデオカメラの視野に対応して垂直方向５０１行×水平方向７００列のマトリクス状に配列されたフォトセンサ群（画素群）の各構成画素、ＶＲは画素群を構成する各画素Ｐｈの出力を各列毎に垂直方向へと移送する垂直シフトレジスタ、ＨＲは各列の垂直シフトレジスタＶＲから移送されてくる電荷を受け取ると共にこれを水平方向へと移送する水平シフトレジスタ、１４は水平シフトレジスタＨＲから移送されてくる電荷を外部へ出力するための出力バッファである。
【００６５】
画素Ｐｈの中で図中白抜きにて表された画素Ｐｈ１は光感応画素であり、図中ハッチングにて塗りつぶされて表された画素Ｐｈ２はオプティカルブラック画素である。それらの画素Ｐｈ１，Ｐｈ２はいずれもフォトダイオードを基本とした素子構造を有する。垂直並びに水平シフトレジスタＶＲ，ＨＲはＣＣＤを基本とした素子構造を有する。
【００６６】
当業者にはよく知られているように、オプティカルブラック画素Ｐｈ２とは遮光マスクにより受光不能としたり、受光しても電荷が蓄積されないようにしたり、或いは受光により蓄積された電荷が取り出せないように改変した画素のことで、その出力は受光量に拘わらず常に規定の暗レベルとなる。光感応画素Ｐｈ１とはそのような特別の改変を加えていない通常の画素のことで、その出力は受光量に応じた明レベルとなる。
【００６７】
図５の例では、画素群を構成する画素Ｐｈの中で、画面上縁部近傍の１２本の水平ライン（水平画素列の意味）に属する画素と画面下縁部近傍の３本の水平ラインに属する画素は全てオプティカルブラック画素Ｐｈ２とされている。それら上縁部１２本の水平ライン並びに下縁部３本の水平ラインに挟まれた中央部に位置する４８５本の水平ラインに属する画素Ｐｈの大部分は光感応画素Ｐｈ１とされている。
【００６８】
より厳密に言えば、中央部の４８５本の水平ラインに属する画素Ｐｈの中で、画面左縁部近傍の３本の垂直ライン（垂直画素列の意味）に属する画素Ｐｈと画面右縁部近傍の４０本の垂直ラインに属する画素Ｐｈは全てオプティカルブラック画素Ｐｈ２とされている。それら左縁部３本の垂直ライン並びに右縁部４０本の垂直ラインに挟まれた中央部に位置する６５７本の垂直ラインに属する画素Ｐｈは全て光感応画素Ｐｈ１とされている。
【００６９】
同ＣＣＤ撮像素子（ビデオカメラ用）における光感応画素領域とオプティカルブラック画素領域との関係が実際の画面縦横比で図６に示されている。同図に示されるように、光感応画素領域（４８６行×６５７列）は、受光面全体（５０１行×７００列）の大部分を占めていることが理解される。
【００７０】
今仮に、ビジュアル計測装置１００に必要とされる光像が、図６に示される受光面上において、２０２〜３０１ラインの水平ライン帯（点線にて囲まれた領域）に存在するものと想定する。この場合、同図に記述されているように、受光面上の２０２〜３０１ラインの１００ラインが有効画像領域とされ、１〜２０１ラインの２０１ライン並びに３０２〜５０１ラインの２００ラインが前段及び後段の不要画像領域とされる。応答性の良好なビジュアル計測装置を実現するためには、このような一画面分の画像データ（信号電荷）を、有効画像領域のデータを壊すことなく、できる限り速やかに読み出す必要がある。
【００７１】
そこで、この実施形態においては、以下に詳細に説明するように、不要画像領域に相当する水平ライン帯（１〜２００ラインの２００ライン並びに３０２〜５００ラインの１９９ライン）については、第１のＣＣＤ駆動制御方法を使用して信号電荷の高速読み出しを行なう。一方、有効画像部分に相当する水平ライン帯（２０１〜３０１ラインの１００ライン）については、第２のＣＣＤ駆動制御方法を使用して信号電荷の読み出しを行う。水平ライン２０１および５０１については、これらは不要画像領域の最後尾に位置するので、水平シフトレジスタＨＲの電荷を一掃するために、第２のＣＣＤ駆動制御方法を使用する。
【００７２】
ここで、第１のＣＣＤ駆動制御方法では、垂直シフトレジスタを１水平期間内に４段転送させる連続垂直転送動作と、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、同時並行的に規定水平期間回数だけ繰り返し実行させる。これに対して、第２のＣＣＤ駆動制御方法では、１水平ラインづつ或いは複数ラインを列毎に加算して出力する二次元撮像装置の駆動制御方法を使用して信号電荷の読み出しを行う。
【００７３】
図６に示した画像に対する転送ライン数テーブル１５の設定例が図７に示されている。同図に示されるように、この転送ラインテーブル１５には、何度目の水平期間であるかを示す水平期間カウンタ値に対応させて、それぞれその水平期間における転送ライン数の設定値が、転送ライン数信号Ｌ１，Ｌ２の形式により記憶されている。
【００７４】
この例は、有効画像領域に対応する映像信号を１ラインずつ転送し、他の背景等の不要画像領域に対応する映像信号を４ラインずつ転送するように設定した例であって、カウンタ値０〜４９の５０回の水平期間における転送ラインを４ラインとした後、つぎのカウンタ値５０〜１５０の１０１回の水平期間における転送ラインを１ラインとし、カウンタ値１５１〜２００番目の５０回の水平期間における転送ラインを再び４ラインに設定している。
【００７５】
図１に戻って、転送ライン数指定部１３は、各水平期間毎に転送ライン数テーブル１５に記憶された各転送ライン数信号Ｌ１，Ｌ２の設定値を読み込んで、各転送ライン数信号をその設定値に応じたレベルに設定し、転送パルス発生部１２に出力する。転送パルス発生部１２は、転送ライン数テーブル１５にセットされた水平期間カウンタのＭＡＸ値（図７及び図８では「２０１」）に基づき第１の転送パルスの出力タイミングを設定する（すなわちビデオ規格の垂直期間の２／５の時間間隔で転送パルスＴＰ１を出力することになる）。
【００７６】
この後、転送パルス発生部１２は、各水平期間毎に、転送ライン数指定部１３より与えられた転送ライン数信号Ｌ１，Ｌ２に基づき第２の転送パルスＴＰ２の出力回数を設定して、ＣＣＤ撮像素子１１に対する一連の制御を実施する。
【００７７】
なお、画像処理装置２は、必要に応じて画像処理部２２より転送ライン数テーブル１５の各転送ライン数を設定するように構成される。
【００７８】
図１の撮像装置１におけるＣＣＤ撮像素子１１に対する１垂直期間内の動作制御の手順が図８のフローチャートに示されている。一連の動作は、転送ライン数指定部１３に内蔵される水平期間カウンタＬＣの値に基づき行われる。
【００７９】
垂直期間が開始されると、水平期間カウンタＬＣがリセットされた後（ステップ８０１）、転送パルス発生部１２より各フォトセンサＰｈに対する転送パルスＴＰ１が出力される（ステップ８０２）。
【００８０】
垂直ブランキング期間が終了して第１番目の水平期間が開始されると（ステップ８０３）、転送ライン数テーブル１５より水平期間カウンタＬＣの値（最初は『０』）に対応する転送ライン数信号Ｌ１，Ｌ２の設定値を読み出して、転送パルス発生部１２に出力する（ステップ８０４）。
【００８１】
次に、転送パルス発生部１２は、転送ライン数信号Ｌ１，Ｌ２に応じてマルチプレクサ１２５を切り換えることにより、１水平期間内に設定された転送ライン数分の転送パルスＴＰ２を生成し、ＣＣＤ撮像素子１１の各垂直シフトレジスタＶＲ１〜ＶＲｎ（図１４参照）へと出力する。この処理により、各垂直シフトレジスタＶＲ１〜ＶＲｎから水平シフトレジスタＨＲに、それぞれ転送パルスＴＰ２の数分の信号電荷が転送される（ステップ８０５）。
【００８２】
同時に、転送パルス発生部１２は、水平シフトレジスタＨＲに対し、第３の転送パルスＴＰ３を１水平ライン分の画素数ｎだけ生成して出力する。これによりステップ８０５で水平シフトレジスタＨＲに転送された信号電荷が１画素ずつシフトされ、先頭より順に出力される（ステップ８０６）。すなわち、ステップ８０５の転送パルス（ＴＰ２）の送出処理とステップ８０６の転送パルス（ＴＰ３）の送出処理とは、同時並行的に実行される。
【００８３】
以下、各水平期間毎に上記ステップ８０４〜８０７の処理が繰り返し実行されることにより、水平期間カウンタＬＣの値が歩進されてゆき、水平期間カウンタＬＣの値が転送ライン数テーブルのＭＡＸ値に達した段階で、ステップ８０８が「ＹＥＳ」となり、１垂直期間が終了する。
【００８４】
上記手順が図７の転送ライン数テーブルの設定値に基づき行われた場合の映像信号の出力態様が水平期間カウンタＬＣのカウント値並びに転送パルス列（ＴＰ１，ＴＰ２，ＴＰ３）と関連づけて図９に示されている。なお、それらの転送パルスＴＰ１，ＴＰ２，ＴＰ３は、便宜的に単一のパルスで表されているが、実際は、単一のパルスで構成されているものではなく、２相、３相、４相と言った多相パルスで構成されるのが通例である。一例としては、各転送パルスの１段の転送に要する期間は、ＴＰ１では約７．５μｓ以上、ＴＰ２では約８．０μｓ以上、ＴＰ３では約４０ｎｓ以上が必要である。
【００８５】
垂直期間が開始された後、最初の水平期間では水平期間カウンタＬＣの値が「０」であるから、転送ライン数テーブル１５によれば、転送ライン数信号Ｌ１は「１」，Ｌ２は「１」にそれぞれ設定されている（すなわち転送ライン数は「４」となる）。したがって、このカウント値「０」の水平期間では、図１０（ａ）に示されるように、水平ブランキング期間内に１個及び水平ブランキング期間以外に３個の垂直転送パルスＴＰ２が出力される。一方、２〜４個目の垂直転送パルスＴＰ２が出力される時点では、既に、水平転送パルスＴＰ３の出力が開始されている。そのため、各垂直シフトレジスタＶＲ１〜ＶＲｎよりそれぞれ出力される４画素分の信号電荷は、水平シフトレジスタＨＲの一連のステージへと１画素ずつ４つに分散して格納されることとなり、同一垂直シフトレジスタの電荷同士が相互に加算される事態が回避される。その結果、画面の一部に局部的高輝度領域が存在したり、或いは多数の水平ラインを１水平期間に連続的に出力した場合にも、水平シフトレジスタの特定ステージで電荷飽和の生ずる確率が低くなり、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出できることとなる。
【００８６】
以下、カウンタＬＣの値が４９に達するまで転送ライン数信号Ｌ１，Ｌ２の値は保持されるから、この５０回の水平期間毎に前記ステップ８０４〜８０７の処理を実施することにより、４ライン分ずつの映像信号が分散重畳された信号が出力される。これにより前段不要画像領域については、ライン数を標準画像の１／４の５１本に減縮された画像データとして高速に読み出すことができる。
【００８７】
次の水平期間が開始されてカウンタＬＣが５０になったとき、転送ライン数テーブル１５の転送ライン数信号Ｌ１，Ｌ２の設定値がいずれも「１」から「０」に切り替わる。これを受けてこの水平期間では、図１０（ｂ）に示されるように、転送パルス信号ＴＰ２が１個だけ発生し、各垂直シフトレジスタＶＲ１〜ＶＲｍからはそれぞれ１画素分の信号電荷が単独で出力される。
【００８８】
以下、カウンタＬＣが１４９に達するまで、転送ライン数信号Ｌ１，Ｌ２の設定値が固定されているので、５０回目〜１５０目の計１０１回の水平期間においては、標準画像と同様の形態の映像信号が出力される。これにより有効画像領域について標準画像の解像度が維持された画像データが生成される。
【００８９】
次に、カウンタＬＣが１５１になると、転送ライン数テーブル１５の転送ライン数信号Ｌ１，Ｌ２の設定値が再びいずれも「１」に復帰する。これを受けて、転送パルス発生部１２は、再び各水平期間毎に４個の転送パルスＴＰ２を出力するので、この水平期間では、４ライン分の映像信号が分散重畳された信号が、１ライン分の映像信号として出力される。
【００９０】
以下、カウンタＬＣがＭＡＸ値の２０１になるまで、同様の形態の映像信号が出力されることにより、後段不要画像領域についても、ライン数を標準画像の１／４の５０本に減縮された画像データとして高速に読み出すことができる。
【００９１】
上記処理により生成された画像データが画像処理装置２に取り込まれると、画像処理部２２は、有効画像領域の画像データに対し、例えば、２値化処理，エッジ抽出処理などの手法を用いて画像上の対象物を抽出した後、抽出された対象物について、面積，重心位置などの特徴量を計測する。
【００９２】
このとき、前段並びに後段の不要画像領域の合計４０１ライン分の画像データが通常の約４分１の時間で取り込まれるので、画像入力にかかる時間が大幅に短縮され、処理効率が向上する。しかも、水平シフトレジスタＨＲ上で電荷が飽和することがないため、飽和によるスミヤ発生により有効画像領域の画像が劣化する虞もない。加えて、詳細な処理が必要な有効画像領域については、通常のビデオ規格で生成された画像データと同様の解像度の画像データを取得できるので、計測処理の精度を維持できる。
【００９３】
その後、さらに必要に応じてこの計測結果をあらかじめ設定された基準値と比較して対象物の良否を判定する。この計測結果や判定結果は、出力部２３を介してモニタなどの外部装置に出力される。
【００９４】
なお上記の実施例は、いずれの水平期間で転送ライン数を切り換えるかが既知であることを前提としているが、この切り換え時期が不明な場合、画像処理装置２側に通常のビデオ規格により生成された標準画像を取り込んで、前記転送ライン数テーブルの各設定データを作成すればよい。
【００９５】
図１１は、制御処理装置２に取り込まれた標準画像をモニタに表示させて、オペレータが画像上で転送ラインの切換え位置を指定することにより転送ライン数の設定データを作成する手順を示す。なおここでは、前記の例と同様に、計測対象となる有効画像領域に対応する画像データは１ラインずつ転送し、不要画像である背景等の画像データは４ラインずつ転送するように設定するものとする。
【００９６】
まず撮像装置１を通常モードに設定して、所定の観測位置に位置決めされた対象物のモデルを撮像する。この場合、転送ライン数指定部１３により指定される転送ライン数は「１」となるから、転送パルス発生部４からは、ビデオ規格に基づくタイミングで転送パルスＴＰ１が出力されるとともに、各水平ブランキング期間毎に、単独の転送パルスＴＰ２が出力される。
【００９７】
この結果、各水平期間毎に１ライン分の映像信号が出力されて、順次、制御処理部の画像入力部２１に入力されるもので、取り込まれた画像信号は順次Ａ／Ｄ変換されて図示しない画像メモリに格納されるとともに、図示しないモニタ上に出力される（ステップ１１０１）。
【００９８】
１フレーム分の映像信号により、モニタに対象物の画像が表示されると、オペレータは、この表示された画像上で、マウスなどのポインティングデバイスを用いて計測領域の上限位置および下限位置を指定する（ステップ１１０２）。図１２は、この指定操作画面の一例を示すもので、対象物の画像が位置する上限および下限の各座標位置Ｖ１，Ｖ２が指定されている。
【００９９】
次に、画像処理部２２は、この指定された座標位置Ｖ１，Ｖ２を取り込んだ後、１フィールド分の標準画像上で、これら座標Ｖ１，Ｖ２に対応する座標を認識し、これら座標間の領域を計測対象である有効画像領域として、またこの計測領域の上方および下方の各領域を前段及び後段の不要画像領域として、それぞれ設定する。さらに画像処理部２２は、有効画像領域について領域内のライン数分の水平期間を、前段並びに後段の不要画像領域背景の領域についてそれぞれ領域内のライン数の４分の１の水平期間を、それぞれ設定した後、各領域毎に、その水平期間の設定数分の水平期間カウンタ値を確保して、それぞれのカウンタ値に前記設定した転送ライン数を対応づけし、転送ライン数テーブルを作成する。（ステップ１１０４）。
【０１００】
こうして作成された転送ライン数テーブルは、撮像装置１側へ転送される（ステップ１１０５）。これにより以後、撮像装置１を計測モードに切り換えることにより、撮像装置１は、転送されたテーブルの設定値に基づき、前記図８のフローチャートと同様の手順で動作する。
【０１０１】
図１３は、画像処理部２２により画像上の転送ライン数の切換え位置を自動的に抽出するようにした場合の制御手順を示す。なおこの例についても、前記と同様、有効画像領域に対する転送ライン数を「１」に、前段並びに後段の不要画像領域に対する転送ライン数を「４」に、それぞれ設定することを前提として説明する。
【０１０２】
まず、撮像装置１を通常モードに設定して対象物を撮像し、出力された標準画像の映像信号を入力する。入力された映像信号は、画像入力部２１で順次Ａ／Ｄ変換され、画像メモリ内に格納される（ステップ１３０１）。
【０１０３】
画像メモリに１フレーム分のディジタル画像が格納されると、画像処理部２２は、このディジタル画像を所定のしきい値で２値化処理し、たとえば対象物の画像を黒画素、背景の画像を白画素とする２値画像を生成する（ステップ１３０２）。
【０１０４】
次に、画像処理部２２は、２値画像上の各ラインを順次走査して対象物を示す黒画素をサーチし、画像上の対象物の位置する上限および下限位置を特定した後、その特定された座標位置に基づき、有効画像領域と不要画像領域とを設定する（ステップ１３０３）。
【０１０５】
この後、画像処理部２２は、前記と同様にして、転送ライン数テーブルを作成し、これを撮像装置１へと転送する（ステップ１３０４〜１３０６）。
【０１０６】
このように撮像装置１を通常モードに設定して得られた対象物の画像上で計測領域を設定し、その設定結果に基づき転送ライン数テーブルを自動生成することが可能であるので、計測対象の大きさや形状に応じて撮像装置１の動作態様を自在に設定でき、汎用性の高い装置を提供することができる。
【０１０７】
なお、本発明においては、１水平期間内に出力される複数の垂直転送パルスＴＰ２は、全て水平ブランキング期間外に出力するようにしてもよい。また、水平ブランキング期間に出力されるパルスＴＰ２（実際には多相パルス）の個数は２個以上でもよい。
【０１０８】
【発明の効果】
以上の説明で明らかなように、この発明の二次元撮像素子の駆動制御方法は、垂直シフトレジスタを１水平期間内に複数段転送させる連続垂直転送動作と、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、同時並行的に規定水平期間回数だけ繰り返し実行させるものであるから、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出可能なる。
【０１０９】
そのため、水平シフトレジスタの飽和による画像劣化を回避しつつ、不要画像領域に相当する信号電荷を可及的速やかに排出して、有効画像の高速読み出しを可能とした二次元撮像素子の画像読出方法、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）に好適な計測方法、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）に好適な撮像装置、さらには、応答速度の速いビジュアル計測（例えば、光切断法を利用した変位計測、三次元計測等）に好適な計測装置を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るビジュアル計測装置の構成を示すブロック図である。
【図２】転送ライン数信号Ｌ１，Ｌ２と転送ライン数との関係を示す図である。
【図３】転送パルス発生部内の第２の転送パルスＴＰ２の生成部の構成を示すブロック図である。
【図４】水平転送用パルス（ＴＰ２）の出力態様を示すタイムチャートである。
【図５】撮像素子における受光面上の画素配列を模式的に示す図である。
【図６】撮像素子の受光面上における有効画像領域と不要画像領域の関係を示す図である。
【図７】転送ライン数テーブルの構成を示す図である。
【図８】１垂直期間内で転送ラインを切り換える場合の撮像装置の動作手順を示すフローチャートである。
【図９】１垂直期間分の映像信号と転送パルスとの関係を示すタイムチャートである。
【図１０】転送パルスと映像信号との関係を拡大して示すタイムチャートである。
【図１１】画像処理部における転送ライン数テーブルの作成手順を示すフローチャートである。
【図１２】オペレータによる座標位置の指定画面の一例を示す説明図である。
【図１３】画像処理部における転送ラインテーブルの作成手順を示すフローチャートである。
【図１４】撮像素子における電荷移送動作を説明するためのブロック図である。
【図１５】従来の撮像装置における映像信号のフォーマットを示す図である。
【図１６】従来の撮像素子における１画面分の画像データの構成を示す図である。
【符号の説明】
１ 撮像装置
２ 画像処理装置
１１ ＣＣＤ撮像素子
１２ 転送パルス発生部
１３ 転送ライン指定部
１４ 出力バッファ
１５ 転送ラインテーブル
２１ 画像入力部
２２ 画像処理部
２３ 出力部
１００ ビジュアル計測装置
１２１ １ライン垂直転送用のタイミング発生部
１２１ ２ライン垂直転送用のタイミング発生部
１２１ ３ライン垂直転送用のタイミング発生部
１２１ ４ライン垂直転送用のタイミング発生部
Ｌ１，Ｌ２ 転送ライン数信号
ＴＰ１ 電荷取り込み用の転送パルス
ＴＰ２ 垂直転送用の転送パルス
ＴＰ３ 水平転送用の転送パルス

Claims (8)

1. マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子の駆動制御方法であって、
   垂直シフトレジスタを１水平期間内に複数段転送させる連続垂直転送動作と、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、同時並行的に規定水平期間回数だけ繰り返し実行させ、
   連続水平転送動作の開始前に垂直転送動作を行わず、かつ連続垂直転送動作の開始後に２以上の段数の垂直転送動作を行う二次元撮像素子の駆動制御方法。
2. マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子から撮影画像に相当する信号電荷を読み出す方法であって、
   不要画像部分に相当する水平ライン帯については、垂直シフトレジスタを１水平期間内に複数段転送させる連続垂直転送動作と、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、同時並行的に規定水平期間回数だけ繰り返し実行させる二次元撮像素子の駆動制御方法を使用して信号電荷の読み出しを行なう、一方
   有効画像部分に相当する水平ライン帯については、垂直シフトレジスタを水平ブランキング期間内に１若しくは複数段転送させる連続垂直転送動作と、水平シフトレジスタを１水平期間内に１水平ライン画素相当段転送させる連続水平転送動作とを、交互に規定水平期間回数だけ繰り返し実行させる二次元撮像装置の駆動制御方法を使用して信号電荷の読み出しを行う、二次元撮像素子の画像読出方法。
3. マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子から撮影画像を読み出し、該読み出した撮影画像に対して画像処理を施すことにより、計測対象量を求める計測方法であって、
   前記画像処理に必要な撮影画像の読み出し動作は、請求項２に記載の画像読出方法を使用して行われる、計測方法。
4. マトリクス状に配列された複数のフォトセンサと、各フォトセンサの信号電荷を列毎に垂直方向へと転送する複数の垂直シフトレジスタと、各垂直シフトレジスタから転送されてくる信号電荷を水平方向へと転送して外部へと出力する水平シフトレジスタとを有する二次元撮像素子と、
   前記二次元撮像素子の各フォトセンサ，垂直シフトレジスタ，水平シフトレジスタに対し、それぞれ保有する信号電荷を転送させるための転送パルスを生成する転送パルス発生部と、
   １水平期間内に何行分の画像データを出力するかを示す転送ライン数を指定するための転送ライン数指定部とを備え、
   前記転送パルス発生部は、
   各垂直期間の開始時に各フォトセンサの信号電荷を垂直シフトレジスタ側に取り込むための第１の転送パルスを送出する電荷取込用転送パルス送出処理と、
   各水平期間毎に、各垂直シフトレジスタに対して、前記転送ライン数指定部にて指定された転送ライン数分の第２の転送パルスを送出する垂直転送パルス列送出処理と、
   各水平期間毎に、前記水平シフトレジスタに対して、１ライン画素数分の第３の転送パルスを送出する水平転送パルス列送出処理と、を実行すると共に、
   前記垂直転送パルス列送出処理と前記水平転送パルス列送出処理とは同時並行的に実行される、撮像装置。
5. 第３の転送パルス列の送出開始前に１若しくは２以上の個数の第２の転送パルスを送出し、かつ第３の転送パルス列の送出開始後に１若しくは２以上の個数の第２の転送パルスを送出する、請求項４に記載の撮像装置。
6. 第３の転送パルス列の送出開始前に第２の転送パルスを送出せず、かつ第３の転送パルス列の送出開始後に２以上の個数の第２の転送パルスを送出する、請求項４に記載の撮像装置。
7. 転送ライン数指定部は、各水平期間毎の転送ライン数を記憶する転送ライン数テーブルを具備し、各水平期間毎にその期間に対応する転送ライン数を前記転送ライン数テーブルより読み出して転送ライン数の指定を行う請求項４〜６に記載の撮像装置。
8. 請求項４〜７のいずれかに記載の撮像装置と、この撮像装置より出力された画像データを入力して、所定の画像処理を実施する画像処理装置とを備えてなる計測装置。

Images