JP5462481B2

JP5462481B2 - 撮像装置

Info

Publication number: JP5462481B2
Application number: JP2008323870A
Authority: JP
Inventors: 睦裕山中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-12-19
Filing date: 2008-12-19
Publication date: 2014-04-02
Anticipated expiration: 2028-12-19
Also published as: JP2010147880A

Description

本発明は、撮像装置に関し、特に周囲光の影響を低減した画像を撮像するための撮像装置に関するものである。

本出願人は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの反射光成分を画素値とする画像（光変調画像）を生成する撮像装置を既に提案している（特許文献１参照）。かかる撮像装置を用いれば、周囲光の影響を低減した画像を撮像することができる。
特開２００６−１２１６１７号公報

ところで、特許文献１の従来例で用いられる撮像素子はデジタルカメラなどに用いられている一般の固体撮像素子（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）と若干構造が異なっている。具体的には、一つの受光部に対して複数個の制御電極が設けられ、制御電圧を印加する制御電極の個数を変化させることで受光部の感度を調整可能な構造を有している。従って、特許文献１における撮像素子は、同じ寸法で比較したときに一般の撮像素子に比べて画素数が少ないために相対的に解像度が低くなってしまう。

一方、一般の撮像素子を用いて変調光が照射されているときの画像と変調光が照射されていないときの画像を交互に撮像して両画像の画素値の差分から光変調画像を生成した場合、撮像素子のフレームレートに制限されて２種類の画像を撮像するタイムラグが大きくなり、動きの速い被写体を撮像したときに被写体像がぶれてしまう虞がある。

本発明は上記事情に鑑みて為されたものであり、その目的は、周囲光の影響を低減するとともに小型化と高解像度化を両立し且つ被写体像のぶれを抑制できる撮像装置を提供することにある。

請求項１の発明は、上記目的を達成するために、対象空間に光を照射する光照射手段と、光電変換を行う多数の受光部を有した撮像素子と、撮像素子で撮像される第１の画像と第２の画像の差分画像を生成する差分画像生成手段とを備え、撮像素子は、光照射手段が照射する光の分光特性に一致する分光感度特性を有した第１の受光部と、前記分光感度特性に近接する分光感度特性を有した第２の受光部とを具備し、差分画像生成手段は、縦横に並設された多数の受光部のうちで縦方向及び横方向に沿って一つ飛びに並ぶ前記第１の受光部で変換される電荷によって形成される第１の画像と、一つ飛びに隣り合う前記第１の受光部に挟まれた前記第２の受光部で変換される電荷によって形成される第２の画像との差分画像を生成する撮像装置であって、差分画像生成手段は、第１の画像を記憶する第１画像記憶部と、第２の画像を記憶する第２画像記憶部と、第１画像記憶部に記憶されている第１の画像のうちで、第２の受光部と対応する画素の画素値を、当該画素と縦方向並びに横方向に隣り合う合計４つの受光部の画素値の平均値で補間する第１補間処理部と、第２画像記憶部に記憶されている第２の画像のうちで、第１の受光部と対応する画素の画素値を、当該画素と縦方向並びに横方向に隣り合う合計４つの受光部の画素値の平均値で補間する第２補間処理部と、第１補間処理部から出力される第１の画像の各画素の画素値と、第２補間処理部から出力される第２の画像の各画素の画素値との差分を求め、当該差分をその画素の画素値とする差分画像を生成する差分処理部とを有することを特徴とする。

請求項１の発明によれば、撮像素子には従来例のように特殊な構造の撮像素子ではなく一般の撮像素子を用いることができるから、周囲光の影響を低減するとともに小型化と高解像度化を両立することができ、しかも、光照射手段が照射する光の分光特性に一致する分光感度特性を有した第１の受光部で光電変換を行って第１の画像を撮像し且つ前記分光感度特性に近接する分光感度特性を有した第２の受光部で光電変換を行って第２の画像を撮像するため、第１の画像と第２の画像が同時に撮像できるから被写体像のぶれを抑制できる。しかも、第１の画像と第２の画像を同程度の画質で撮像することができる。

請求項２の発明は、請求項１の発明において、撮像素子の光路上に設けられ、第１の受光部の分光感度特性と第２の受光部の分光感度特性を併せた透過特性を有する光学フィルタを備えたことを特徴とする。

本発明によれば、周囲光の影響を低減するとともに小型化と高解像度化を両立し且つ被写体像のぶれを抑制できる。

本実施形態の撮像装置は、図１に示すように対象空間に光を照射する光照射部２と、光電変換を行う多数の受光部を有した撮像素子１と、撮像素子１で撮像される第１の画像と第２の画像の差分画像を生成する差分画像生成手段３と、撮像素子１並びに光照射部２を制御する制御部４とを備えている。

光照射部２は、赤外光を発する発光ダイオードと、当該発光ダイオードに直流電力を供給して発光させるＬＥＤ駆動回路とを具備し（但し、何れも図示せず）、制御部４によってＬＥＤ駆動回路の動作が制御される。

撮像素子１は、例えばグローバルシャッタ機能を有する汎用の２次元ＣＭＯＳイメージセンサからなる。図２（ａ）は撮像素子１の１画素の等価回路を示しており、光電変換を行う受光部（フォトダイオード）１０、受光部１０の蓄積電荷を放電（リセット）するためのリセットスイッチ１１、受光部１０で光電変換された電荷（電子）を増幅するアンプ１２、アンプ１２の後段に設けられたグローバルシャッタ部１３、アンプ１２で増幅された電荷を垂直列の信号線１５に転送するための水平転送スイッチ１４が設けられている。尚、垂直列の信号線１５に転送された電荷は垂直転送スイッチ１６を介して読み出される。

またグローバルシャッタ部１３は、受光部１０の電荷を蓄積するための蓄積素子（キャパシタ）１３ａと、受光部１０から蓄積素子１３ａへの電荷転送経路を開閉するシャッタスイッチ１３ｂと、蓄積素子１３ａに蓄積されている電荷に応じた画素情報（画素値）を信号線１５に出力するアンプ１３ｃとを具備している。つまり、リセットスイッチ１１並びに水平転送スイッチ１４を開いた（オフした）状態でシャッタスイッチ１３ｂを開閉すると、シャッタスイッチ１３ｂが閉じている（オンしている）期間に受光部１０で光電変換された電荷がアンプ１２及びシャッタスイッチ１３ｂを介して蓄積素子１３ａに蓄積され、シャッタスイッチ１３ｂを開いた（オフした）後に水平転送スイッチ１４を閉じる（オンする）と、シャッタスイッチ１３ｂのオン期間（露光時間）に応じた電荷量の画素情報が信号線１５に転送されることになる。但し、このようなグローバルシャッタ機能を有した２次元ＣＭＯＳイメージセンサについては従来周知であるから詳細な構成についての図示並びに説明は省略する。

ここで本実施形態における撮像素子１の受光面には、光照射部２から照射される赤外光の分光特性（波長λ）に一致する分光感度特性Ｘ１（図３（ｂ）参照）を有した光学フィルタと、分光感度特性Ｘ１に近接する分光感度特性Ｘ２（図３（ｃ）参照）を有した光学フィルタとが市松模様のように縦横に互い違いに並ぶ形で配設されている。さらに、撮像素子１の光路上には、２つの分光感度特性Ｘ１，Ｘ２を併せた透過特性を有する吸収型のバンドパスフィルタ（図示せず）が配置されている。つまり、図２（ｂ）に示すように縦方向及び横方向に沿って一つ飛びに並ぶ複数の受光部１０Ａ（以下、これら複数の受光部１０Ａのグループを第１の受光部群と呼ぶ。）では、分光感度特性Ｘ１に一致する光（光照射部２から照射される赤外光を含む波長域の光）のみが受光され、受光部１０Ａに挟まれた複数の受光部１０Ｂ（以下、これら複数の受光部１０Ｂのグループを第２の受光部群と呼ぶ。）では、分光感度特性Ｘ２に一致する光のみが受光されることになる。

次に、本実施形態の撮像装置の動作を説明する。まず制御部４は、リセットスイッチ１１を閉じて第１及び第２の受光部群に属する全ての受光部１０Ａ、１０Ｂをリセットした後、シャッタスイッチ１３を所定の露光時間だけ閉じることで第１及び第２の受光部群に属する受光部１０Ａ、１０Ｂで光電変換された電荷をグローバルシャッタ部１３の蓄積素子１３ａに蓄積させる。さらに制御部４は、光照射部２を制御することにより受光部１０Ａ、１０Ｂの露光時間に同期して対象空間に光（赤外光）を照射する。

続いて、制御部４は水平転送スイッチ１４と垂直列の信号線１５に挿入されている垂直転送スイッチ１６をスイッチング制御することにより、第１の受光部群の受光部１０Ａのみから読み出した画素情報で形成される画像（第１の画像）を差分画像生成手段３の第１画像記憶部３０に記憶させ、その後、第２の受光部群の受光部１０Ｂのみから読み出した画素情報で形成される画像（第２の画像）を差分画像生成手段３の第２画像記憶部３１に記憶させる。

第１補間処理部３２は、第１画像記憶部３０に記憶されている第１の画像のうちで、第２の受光部群に属する受光部１０Ｂと対応する画素の画素値を、例えば、当該画素と縦方向並びに横方向に隣り合う合計４つの画素（受光部１０Ａと対応する画素）の画素値の平均値で補間する。そして、第１補間処理部３２は、第２の受光部群に属する全ての受光部１０Ｂに対応する画素に対して上記補間を行うことによって得られた第１の画像を差分処理部３４に出力する。

同じく第２補間処理部３３は、第２画像記憶部３１に記憶されている第２の画像のうちで、第１の受光部群に属する受光部１０Ａと対応する画素の画素値を、例えば、当該画素と縦方向並びに横方向に隣り合う合計４つの画素（受光部１０Ｂと対応する画素）の画素値の平均値で補間する。そして、第２補間処理部３３は、第１の受光部群に属する全ての受光部１０Ａに対応する画素に対して上記補間を行うことによって得られた第２の画像を差分処理部３４に出力する。差分処理部３４は、第１補間処理部３２から出力される第１の画像の各画素の画素値と、第２補間処理部３３から出力される第２の画像の各画素の画素値との差分を求め、当該差分をその画素の画素値とする差分画像を生成する。

ここで、撮像される画像の品質に最も大きな影響を与える周囲光は太陽光であるが、太陽光には様々な波長域の光が含まれており、赤外の波長域の光も当然に含まれている。つまり、太陽光の下で光照射部２から光（赤外光）を照射した場合、図３（ａ）に示すようにほぼ一定の光量を有する太陽光Ｓ２に光照射部２の赤外光Ｓ１が重畳された光が対象空間に照射されることになる。

したがって、第１の受光部群の受光部１０Ａで受光される光は、図３（ｄ）に示すように赤外光の波長λを含む波長領域の光であって太陽光Ｓ２の光量と赤外光Ｓ１の光量を合わせた光量を有している。一方、第２の受光部群の受光部１０Ｂで受光される光は、図３（ｅ）に示すように分光感度特性Ｘ１に隣接する分光感度特性Ｘ２の波長領域の光であって太陽光Ｓ２の光量のみを有している。ここで、太陽光は分光感度特性Ｘ１の波長域における光量（エネルギ）と分光感度特性Ｘ２の波長域における光量（エネルギ）とがほぼ等しいとみなすことができるので、第１の受光部群（受光部１０Ａ）で撮像される第１の画像と第２の受光部群（受光部１０Ｂ）で撮像される第２の画像の差分画像においては、図３（ｆ）に示すようにほぼ赤外光Ｓ１の光量のみで画素値が決まることとなって周囲光（太陽光Ｓ２）の影響を低減することができる。

しかも、本実施形態では第１の受光部群（受光部１０Ａ）と第２の受光部群（受光部１０Ｂ）とで同時に画像を撮像することができるから、動く被写体を撮像したときの画像のぶれを抑制することができる。尚、本実施形態の撮像装置は、例えば、顔認証装置における顔画像の入力装置や監視カメラ、特に被写体を屋外の太陽光下で撮像する用途に用いるのに好適である。

本発明の実施形態１を示すブロック図である。（ａ）は同上における撮像素子の要部構成図であり、（ｂ）は受光部の配置を説明する説明図である。（ａ）〜（ｆ）は同上の動作説明図である。

符号の説明

１撮像素子
２光照射部（光照射手段）
３差分画像生成手段

Claims

対象空間に光を照射する光照射手段と、光電変換を行う多数の受光部を有した撮像素子と、撮像素子で撮像される第１の画像と第２の画像の差分画像を生成する差分画像生成手段とを備え、
撮像素子は、光照射手段が照射する光の分光特性に一致する分光感度特性を有した第１の受光部と、前記分光感度特性に近接する分光感度特性を有した第２の受光部とを具備し、
差分画像生成手段は、縦横に並設された多数の受光部のうちで縦方向及び横方向に沿って一つ飛びに並ぶ前記第１の受光部で変換される電荷によって形成される第１の画像と、一つ飛びに隣り合う前記第１の受光部に挟まれた前記第２の受光部で変換される電荷によって形成される第２の画像との差分画像を生成する撮像装置であって、
差分画像生成手段は、第１の画像を記憶する第１画像記憶部と、第２の画像を記憶する第２画像記憶部と、第１画像記憶部に記憶されている第１の画像のうちで、第２の受光部と対応する画素の画素値を、当該画素と縦方向並びに横方向に隣り合う合計４つの受光部の画素値の平均値で補間する第１補間処理部と、第２画像記憶部に記憶されている第２の画像のうちで、第１の受光部と対応する画素の画素値を、当該画素と縦方向並びに横方向に隣り合う合計４つの受光部の画素値の平均値で補間する第２補間処理部と、第１補間処理部から出力される第１の画像の各画素の画素値と、第２補間処理部から出力される第２の画像の各画素の画素値との差分を求め、当該差分をその画素の画素値とする差分画像を生成する差分処理部とを有することを特徴とする撮像装置。
撮像素子の光路上に設けられ、第１の受光部の分光感度特性と第２の受光部の分光感度特性を併せた透過特性を有する光学フィルタを備えたことを特徴とする請求項１記載の撮像装置。