JP4844121B2 - 画像センサおよび撮像装置 - Google Patents

Description

本発明は、被写体となる撮像領域を、光源により投光し、その反射光を撮像する画像センサおよび撮像装置に関するものである。

従来から、ＣＭＯＳイメージセンサなどの撮像装置において、複数色の光源により被写体を投光し、フォトダイオードへの入射光を光電変換してカラー撮像するものが知られている。

非特許文献１の撮像装置では、露光時間中の短いサイクルで、赤緑青（ＲＧＢ）、各色の発光ダイオードＬＥＤを順に発光させる。背景光成分が重畳したＲＧＢ各色の光は、単一のフォトダイオードで受光する。光電変換によりフォトダイオードに生じる電荷は、ＲＧＢの色光毎に検出する。また、全ての発光ダイオードＬＥＤを無発光状態にして、背景光成分の電荷を検出する。検出されたＲＧＢ各色の電荷と背景光成分の電荷とは、ＲＧＢの色毎に差分を取り蓄積する。このようにして背景光の影響を除いたＲＧＢ各色の電荷を得ている。以上の処理を短いサイクルで繰り返すことで、蓄積回路で背景光成分の電荷が飽和することをなくして、背景光成分の影響を除いたカラー撮像画像を得るようにしている。
大池祐輔、外３名，「変調光検波による画像認識支援カラーイメージセンサ」，ＩＴＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，社団法人映像情報メディア学会，２００４年１０月１５日，第２８巻，第５９号，Ｐ．９−１２

ところで、一般に撮像装置では、基板に占めるフォトダイオードの受光面積が増えるほど高画質の画像データを得ることができ、フォトダイオードの受光面積を広くとることへの要望が高い。しかしながら、非特許文献１の撮像装置は、画素内に各発光色のそれぞれに対応した検出回路、差分回路、および蓄積回路が必要であり、１画素の回路構成が複雑で回路面積が大きく、フォトダイオードの受光面積を大きくとることができなかった。また、各色の発光ダイオードＬＥＤの発光、フォトダイオードでの受光、それぞれを時分割で切り換えるため、各発光ダイオードＬＥＤの発光時間が小さく、各画素部での受光量が小さくなりがちであった。

そこで、本発明は、背景光成分による影響を除いてカラー画像を得る撮像装置であっても、１画素の回路部分の面積を小さくして受光面積を大きく確保でき、また各発光色の発光時間も十分に確保することもできる撮像装置および画像センサを提供することを目的とする。

（１）入射光に応じた電荷が生じる光電変換回路、および前記光電変換回路で生じた電荷を蓄積する蓄積回路、を有する複数の画素部を備えた画像センサと、前記画像センサの撮像領域を投光する投光部と、を備えた撮像装置において、前記投光部は、発光色毎に設けられた光源、および光源毎に設定された発光制御信号に基づいて、複数の光源が閾値以上の信号レベルの発光制御信号によって同時に発光している期間を持つように各光源の発光量を制御する発光制御部を有し、前記画像センサは、前記複数の画素部が光源の発光色に対応した複数のグループに分けられており、各画素部は、属するグループに対応する光源の発光量を制御する発光制御信号の信号レベルが閾値以上の期間と閾値未満の期間とで、前記光電変換回路に生じた電荷を加算電荷、または減算電荷として切り換えて検出する切換回路と、前記切換回路により検出された前記加算電荷、および前記減算電荷の差分を前記蓄積回路に蓄積させる差分回路と、を有し、各画素部の前記蓄積回路には、属するグループに対応する発光色に係る電荷成分が蓄積され、属するグループに対応しない発光色に係る電荷成分は前記加算電荷および前記減算電荷として相殺されることを特徴とする。

この構成では、各画素部が属するグループの発光制御信号の信号レベルに従って、光電変換回路に生じた電荷を加算電荷として、または減算電荷として、各画素部の検出回路で検出する。また、検出された加算電荷に含まれる背景光成分の電荷と、減算電荷に含まれる背景光成分の電荷とを打ち消しあって蓄積回路に蓄積する。

このため、複数のグループの画素部を用いてカラー撮像するとともに、背景光による影響を抑制するようにした画像センサおよび撮像装置であっても、各画素部の構成が簡易になり、回路面積を抑制できる。よって、フォトダイオードの受光面積を高めた画像センサおよび撮像装置を提供できる。

各画素部では、それぞれの加算電荷には、属するグループに対応する発光制御信号の閾値以上の信号レベルに起因する電荷と、他の発光色に起因する電荷と、背景光に起因する電荷とが含まれる。また、減算電荷には、属するグループに対応する発光制御信号の閾値未満の信号レベルに起因する電荷と、他の発光色に起因する電荷と、背景光に起因する電荷とが含まれる。この加算電荷と減算電荷の差分を差分回路で取ることにより、他の発光色に起因する電荷同士が打ち消しあう。したがって、各画素部では対応していない他の発光色の影響がほとんど無くなる。また、複数の発光色を同時に投光しても、各発光色を検出できるようになるので、それぞれの光源を同時に発光させて発光時間を長く確保できる。

（２）各前記発光制御信号は、信号レベルが閾値以上の期間と閾値未満の期間とで時間幅が等しく、いずれの２つの前記発光制御信号の組も、互いに相似し、且つ、一方の周期が他方の周期の正の整数倍である。

各発光制御信号の信号レベルが閾値以上のときと、閾値未満のときとで、光源が等しい時間幅で発光するので、それぞれの時間に受光する背景光の光量がほとんど等しくなり、背景光の影響を無くすことができる。

（３）前記投光部は、赤、緑、青の各色の光源を備え、各画素部が対応する発光色が、隣接する画素部間で異なる。

このように、赤、青、緑（Ｒ，Ｇ，Ｂ）の各色の光源を用いることで、一般的なセンサに容易に置き換えることができ、一般的な従来のＣＭＯＳカラーセンサの後段のカラー処理ＬＳＩやＤＳＰとの整合性を高めることができる。また、隣接する画素部間で対応する発光色が異なるようにして、例えばベイヤ配列にしても好適である。

この発明の撮像装置および画像センサは、背景光成分による影響を除いてカラー画像を得る撮像装置であっても、各画素部の構成を簡易にし、回路面積を抑制できる。よって、フォトダイオードの受光面積を高めることができる。また各光源の発光時間を従来よりも確保できる。

また、投光する光の波長を拡散させるようにすると、従来よりもさらに背景光やノイズの影響を除くことができ、比較的波長の近い複数の光源を用いることもできる。また、ＲＧＢの各色の光源を用いるようにすると、従来構成の撮像装置や画像センサに置き換える事が容易になり、後段のカラー処理ＬＳＩやＤＳＰとの整合性を高めることができる。

以下、本発明の実施形態について説明する。

図１は、撮像装置の構成を示すブロック図である。撮像装置１００は、複数の画素部（ＰＸ１〜ＰＸ９）を２次元状に配置した画像センサ５と、発光制御信号生成部４と、投光部６とを備える。ここで、投光部６は複数の発光ダイオードＬＥＤ１〜発光ダイオードＬＥＤ３を有している。発光ダイオードＬＥＤ１は赤色光Ｒを発光し、発光ダイオードＬＥＤ２は緑色光Ｇを発光し、発光ダイオードＬＥＤ３は青色光Ｂを発光する。なお、ここではＲＧＢの各色光を用いるが、他の波長の光を用いてもよく、可視領域以外の波長（近赤外波長など）の光を用いるようにしてもよい。また、色の数も３色に限らず、２色であってもよく、３色より多くの色を用いるようにしてもよい。

発光制御信号生成部４は発光制御信号（ｒ，ｇ，ｂ）を生成する。これらの発光制御信号（ｒ，ｇ，ｂ）は、それぞれ図３に示すようなパルス状の信号であり、それぞれを対応する投光部６の発光ダイオードＬＥＤ１〜発光ダイオードＬＥＤ３に入力するようにしている。投光部６の発光ダイオードＬＥＤ１は、発光制御信号ｒの信号レベルに従った発光量で赤色光Ｒを発光し、投光部６の発光ダイオードＬＥＤ２は、発光制御信号ｇの信号レベルに従った発光量で緑色光Ｇを発光し、投光部６の発光ダイオードＬＥＤ３は、発光制御信号ｂの信号レベルに従った発光量で青色光Ｂを発光する。これらの各色光（Ｒ，Ｇ，Ｂ）は被写体に向けられることになる。

各発光制御信号（ｒ，ｇ，ｂ）は、投光部６以外に、画像センサ５にも入力する。画像センサ５の複数の画素部ＰＸ１〜ＰＸ９は、本実施形態では色光（Ｒ，Ｇ，Ｂ）のいずれかに対応するグループに便宜上分けており、グループごとに対応する色光（Ｒ，Ｇ，Ｂ）の発光制御信号（ｒ，ｇ，ｂ）がそれぞれに入力される。

具体的には、画素部ＰＸ１、ＰＸ３、ＰＸ７、ＰＸ９を、赤色光Ｒに対応するグループとして分けて、赤色光Ｒの発光制御信号ｒを入力するようにしている。また、画素部ＰＸ２、ＰＸ４、ＰＸ６、ＰＸ８を、緑色光Ｇに対応するグループとして分けて、緑色光Ｇの発光制御信号ｇを入力するようにしている。また、画素部ＰＸ５を、青色光Ｂに対応するグループとして分けて、青色光Ｂの発光制御信号ｂを入力するようにしている。

ここでは、上下左右に隣接する画素同士が異なるグループになり、ベイヤ配置になるように画素部ＰＸ１〜ＰＸ９をグループ分けしている。なお、色の配置については、従来技術の一般的な構成を参照し設定すればよく、本発明では特に問わない。ストライプ配置やハニカム配置などであっても好適に実施できる。

次に、各画素部ＰＸ１〜ＰＸ９について説明する。図２は、画素部ＰＸの構成を説明するブロック図である。図２に示す画素部ＰＸは、光電変換回路１と電荷蓄積回路２とスイッチ回路３とからなる。ここで、スイッチ回路３は本発明の切換回路を含んだ構成であり、電荷蓄積回路２は本発明の蓄積回路と差分回路とを含んだ構成である。

各画素部ＰＸの光電変換回路１はここではフォトダイオードからなり、被写体で反射した赤色光Ｒと緑色光Ｇと青色光Ｂと、背景光（不図示）とが入射する。この光電変換回路１には入射光の光量に応じた電荷が生じる。

スイッチ回路３には、光電変換回路１で生じた電荷とともに、該画素ＰＸが属するグループの発光制御信号（ｒ，ｇ，ｂ）が入力される。スイッチ回路３は、入力された発光制御信号の信号レベルが所定の閾値以上であると検出することで、光電変換回路１に生じた電荷を電荷蓄積回路２に加算電荷として入力する。また、信号レベルが所定の閾値未満であると検出することで減算電荷として電荷蓄積回路２に入力する。電荷蓄積回路２では、入力された加算電荷と減算電荷との差分を取り、差分電荷を蓄積する。

このように、電荷蓄積回路２では蓄積電荷と減算電荷との差分を蓄積するように構成することで、各画素部が属するグループに対応していない他の発光色や、背景光の影響を減らして、各画素部が属するグループに対応する発光色に起因する電荷を蓄積できる。

以上の構成により、本実施形態の各画素部ＰＸ１〜９、画像センサ５、および撮像装置１００を構成する。各画素部ＰＸ１〜９は、光電変換回路１と、加算電荷または減算電荷を切り換えて検出するスイッチ回路３と、加算電荷および減算電荷の差分を蓄積する電荷蓄積回路２のみで構成され、背景光成分や、属するグループに対応していない他の発光色による影響を抑制して、差分電荷を蓄積する。このように簡易な回路で撮像装置１００を構成できるため、光電変換回路１のフォトダイオードの受光面積を高めることができ、高画質のカラー画像データを得ることができる。

なお各画素部ＰＸの電荷蓄積回路２に蓄積された電荷を読み出すための読み出し回路や、電荷を読み出したあとに電荷蓄積回路２の蓄積電荷をリセットするリセット回路については一般的なＣＭＯＳイメージセンサと同様な構成にすればよく、ここでは説明を省略する。

次に、発光制御信号（ｒ，ｇ，ｂ）について詳述する。図３（Ａ）は、発光制御信号ｒの波形を、図３（Ｂ）は発光制御信号ｇの波形を、図３（Ｃ）は発光制御信号ｂの波形を示す図である。
本実施形態の発光制御信号（ｒ，ｇ，ｂ）はいずれも、ＨＩＧＨ信号レベルとＬＯＷ信号レベルとが繰り返す周期関数である。ここでは、いずれの発光制御信号もＨＩＧＨ信号レベルとＬＯＷ信号レベルを、同じ時間幅にしている。また、いずれの２つの発光制御信号の組も、一方の周期が他方の周期の、正の整数倍になる相似した波形にしている。具体的には、発光制御信号ｒの周期Ｔｒを、発光制御信号ｇの周期Ｔｇの２倍、発光制御信号ｇの周期Ｔｇを発光制御信号ｂの周期Ｔｂの２倍になるようにしている。

図３（Ｂ）に示す発光制御信号ｇがＨＩＧＨ信号レベルの時間では、（Ｃ）の発光制御信号ｂは１周期分変化する、また（Ａ）の発光制御信号ｒはＨＩＧＨ信号レベル（又はＬＯＷ信号レベル）で一定である。
また続いて、（Ｂ）の発光制御信号ｇがＬＯＷ信号レベルの時間では、（Ｃ）の発光制御信号ｂは再び１周期分変化する、また（Ａ）の発光制御信号ｒは引き続きＨＩＧＨ信号レベル（又はＬＯＷ信号レベル）で一定である。

ここで、緑色光Ｇに対応するグループに属する画素部ＰＸ２、ＰＸ４、ＰＸ６、ＰＸ８について説明する。このグループには、発光制御信号ｇをそれぞれ入力する。スイッチ回路３では発光制御信号ｇのＨＩＧＨ信号レベルを検出すると、光電変換回路１に生じた電荷を加算電荷として検出する。また、ＬＯＷ信号レベルを検出すると、光電変換回路１に生じた電荷を減算電荷として検出する。

この緑色光Ｇに対応するグループの加算電荷は、発光ダイオードＬＥＤ２が発光する緑色光ＧのＨＩＧＨ信号レベルに応じた発光量と、青色光Ｂの１周期に応じた発光量、赤色光ＲのＨＩＧＨ信号レベル（またはＬＯＷ信号レベル）で一定の発光量、背景光の光量、とによって定まる。
また、減算電荷は発光ダイオードＬＥＤ２が発光する緑色光ＧのＬＯＷ信号レベルに応じた発光量と、青色光Ｂの１周期の発光量、赤色光ＲのＨＩＧＨ信号レベル（またはＬＯＷ信号レベル）で一定の発光量、背景光の光量、とによって定まる。

したがって、この緑色光に対応するグループでの加算電荷と減算電荷の差分は、赤色光Ｒの発光量と、青色光Ｂの発光量と、背景光の光量とが相殺され、発光ダイオードＬＥＤ２が発光する緑色光ＧのＨＩＧＨ信号レベルに応じた発光量と、ＬＯＷ信号レベルに応じた発光量との差分になる。

このように、緑色光Ｇに対応するグループに属する画素部ＰＸ２、ＰＸ４、ＰＸ６、ＰＸ８では、他の発光色である赤色光Ｒと青色光Ｂと、背景光との影響を減らして、緑色光Ｇのみに起因する電荷を蓄積している。

また、緑色光Ｇに対応するグループと同様に、赤色光Ｒに対応するグループに属する画素部ＰＸ１、ＰＸ３、ＰＸ７、ＰＸ９でも、他の発光色である緑色光Ｇと青色光Ｂと、背景光との影響を減らして、赤色光Ｒのみに起因する電荷を蓄積している。

具体的には、この赤色光Ｒに対応するグループの加算電荷は、発光ダイオードＬＥＤ１が発光する赤色光ＲのＨＩＧＨ信号レベルに応じた発光量と、緑色光Ｇの１周期に応じた発光量、青色光Ｂの２周期に応じた発光量、背景光の光量、とによって定まる。また、減算電荷は発光ダイオードＬＥＤ１が発光する赤色光ＲのＬＯＷ信号レベルに応じた発光量と、緑色光Ｇの１周期に応じた発光量、青色光Ｂの２周期に応じた発光量、背景光の光量とによって定まる。したがって、この赤色光Ｒに対応するグループでの加算電荷と減算電荷の差分は、緑色光Ｇの発光量と、青色光Ｂの発光量と、背景光の光量とが相殺され、発光ダイオードＬＥＤ１が発光する赤色光ＲのＨＩＧＨ信号レベルに応じた発光量と、ＬＯＷ信号レベルに応じた発光量との差分になる。

また、緑色光Ｇに対応するグループと同様に、青色光Ｂに対応するグループに属する画素部ＰＸ５でも、他の発光色である赤色光Ｒと緑色光Ｇと、背景光との影響を減らして、青色光Ｂのみに起因する電荷を蓄積している。

具体的には、この青色光Ｂに対応するグループの加算電荷は、発光ダイオードＬＥＤ３が発光する青色光ＢのＨＩＧＨ信号レベルに応じた発光量と、赤色光ＲのＨＩＧＨ信号レベル（またはＬＯＷ信号レベル）で一定の発光量、緑色光ＧのＨＩＧＨ信号レベル（またはＬＯＷ信号レベル）で一定の発光量、背景光の光量、とによって定まる。また、減算電荷は発光ダイオードＬＥＤ３が発光する青色光ＢのＬＯＷ信号レベルに応じた発光量と、赤色光ＲのＨＩＧＨ信号レベル（またはＬＯＷ信号レベル）で一定の発光量、緑色光ＧのＨＩＧＨ信号レベル（またはＬＯＷ信号レベル）で一定の発光量、背景光の光量、とによって定まる。したがって、この青色光Ｂに対応するグループでの加算電荷と減算電荷の差分は、赤色光Ｒの発光量と、緑色光Ｇの発光量と、背景光の光量とが相殺され、発光ダイオードＬＥＤ３が発光する青色光ＢのＨＩＧＨ信号レベルに応じた発光量と、ＬＯＷ信号レベルに応じた発光量との差分になる。

以上のように、各グループに属する画素部ＰＸの加算電荷と減算電荷の差分は、該グループに対応していない他の発光色の発光量と背景光の光量とが相殺され、該グループに対応した発光ダイオードＬＥＤが発光する発光色の信号レベルに応じた電荷になる。

また、各発光制御信号のＨＩＧＨ信号レベルのときと、ＬＯＷ信号レベルのときとで時間幅がほぼ等しいために、背景光成分の影響が極めて小さくなる。

また、各発光ダイオードＬＥＤを同時に投光し、それぞれの色の発光ダイオードＬＥＤの発光時間の合計と非発光発時間の合計とを等しくしている。

以上のように、本実施形態の撮像装置１００および画像センサ５によれば、複数のグループの画素部ＰＸを用いてカラー撮像し、背景光による影響をほとんど無くしても、各画素部ＰＸの回路構成が簡易であり、回路面積を抑制して、フォトダイオードの受光面積を高めることができる。また、複数の発光色を同時に投光することができ、それぞれの光源の発光時間、ひいては発光量を十分に確保できる。

また、ＲＧＢの各色の光源を用いているので、一般的なセンサに容易に置き換えることができ、一般的な従来のＣＭＯＳカラーセンサの後段のカラー処理ＬＳＩやＤＳＰとの整合性を高めることができる。

なお、本実施形態以外にも多様な実施形態で本発明は実施できる。一方の発光制御信号の周期を他信号の整数倍周期にする以外にも、例えば、ＳＩＮ波形とＣＯＳ波形のように、相似する波形に位相差を持たせるようにしてもよい。

また、何らかの符号列が繰り返すようにしたパルス波形を用いてもよい。この場合には、変調する信号の周波数成分が従来より拡散するので、さらに背景光やノイズの影響を除くことができ、比較的波長の近い複数の光源を用いても、高精度に各光源による電荷を抽出できる。また、パルス波形により変調した発光制御信号を用いることもできる。

その他、本発明の要旨を逸脱しない範囲で、多様な波形の発光制御信号を用いることができる。

実施形態の撮像装置の構成を示すブロック図である。 実施形態の画素部の構成を示すブロック図である。 実施形態の発光制御信号の波形を説明する図である。

符号の説明

１−光電変換回路
２−電荷蓄積回路
３−スイッチ回路
４−発光制御信号生成部
５−画像センサ
６−投光部
１００−撮像装置
ＬＥＤ−発光ダイオード
ＰＸ−画素部
Ｒ，Ｇ，Ｂ−光
ｒ，ｇ，ｂ−発光制御信号
Ｔｒ，Ｔｂ，Ｔｇ−発光制御信号の周期

Claims (4)

1. 入射光に応じた電荷が生じる光電変換回路、および前記光電変換回路に生じた電荷を蓄積する蓄積回路、を有する複数の画素部を備えた画像センサと、前記画像センサの撮像領域を投光する投光部と、を備えた撮像装置において、
   前記投光部は、赤、緑、青の色毎に設けられた光源、および、光源毎に設定された発光制御信号に基づいて、複数の光源が閾値以上の信号レベルの発光制御信号によって同時に発光している期間を持つように各光源の発光量を制御する発光制御部を有し、
   前記画像センサは、前記複数の画素部が隣接する画素部間で異なる光源の発光色に対応した複数のグループに分けられており、各画素部は、属するグループに対応する光源の発光制御信号の信号レベルが閾値以上の期間と閾値未満の期間とで、前記光電変換回路に生じた電荷を加算電荷、または減算電荷として切り換えて検出する切換回路と、前記切換回路により検出された前記加算電荷、および前記減算電荷の差分を前記蓄積回路に蓄積させる差分回路と、を有し、
   前記発光制御信号は、信号レベルが閾値以上の区間と閾値未満の区間とで時間幅が等しく、いずれの２つの前記発光制御信号の組も、互いに相似し、且つ、一方の周期が他方の周期の正の整数倍であり、
   各画素部の前記蓄積回路には、各画素部が属するグループに対応する発光色に係る電荷成分が蓄積され、属するグループに対応しない発光色に係る電荷成分は前記加算電荷および前記減算電荷として相殺されることを特徴とする、撮像装置。
2. 入射光に応じた電荷が生じる光電変換回路、および前記光電変換回路で生じた電荷を蓄積する蓄積回路、を有する複数の画素部を備えた画像センサと、前記画像センサの撮像領域を投光する投光部と、を備えた撮像装置において、
   前記投光部は、発光色毎に設けられた光源、および光源毎に設定された発光制御信号に基づいて、複数の光源が閾値以上の信号レベルの発光制御信号によって同時に発光している期間を持つように各光源の発光量を制御する発光制御部を有し、
   前記画像センサは、前記複数の画素部が光源の発光色に対応した複数のグループに分けられており、各画素部は、属するグループに対応する光源の発光制御信号の信号レベルが閾値以上の期間と閾値未満の期間とで、前記光電変換回路に生じた電荷を加算電荷、または減算電荷として切り換えて検出する切換回路と、前記切換回路により検出された前記加算電荷、および前記減算電荷の差分を前記蓄積回路に蓄積させる差分回路と、を有し、
   各画素部の前記蓄積回路には、属するグループに対応する発光色に係る電荷成分が蓄積され、属するグループに対応しない発光色に係る電荷成分は前記加算電荷および前記減算電荷として相殺されることを特徴とする、撮像装置。
3. 各前記発光制御信号は、信号レベルが閾値以上の期間と閾値未満の期間とで時間幅が等しく、いずれの２つの前記発光制御信号の組も、互いに相似し、且つ、一方の周期が他方の周期の正の整数倍である、請求項２に記載の撮像装置。
4. 前記投光部は、赤、緑、青の各色の光源を備え、
   各画素部が対応する発光色が、隣接する画素部間で異なる請求項２または３に記載の撮像装置。

Images