JP4370855B2 - 固体撮像デバイス、この固体撮像デバイスを用いた撮像方法および装置並びに距離計測方法およびシステム - Google Patents

Description

本発明は、３次元座標位置測定すなわち３次元物体の形状測定（物体表面の位置計測）を行なう距離計測システム、このシステムに好適な撮像方法および撮像装置、並びにこれに使用される撮像デバイス（光検出装置、イメージセンサ）に関する。

より詳細には、光ビームを測定対象物体の表面に照射し、これを走査することによって物体表面から得られる反射光を、画素（セル）がアレイ状に配置されてなる半導体アレイセンサとしての光検出装置で検出し、これにより得られるその測定対象物体表面の光学像（光応答出力）に基づいて物体の形状を計測する、非接触による形状計測や距離測定を行なう技術に関する。たとえば、距離測定用の画像取得と通常画像の取得とを共通の撮像デバイスを用いて両立させる技術に関する。

光学系を利用した３次元物体の形状計測はＣＡＤ／ＣＡＭ，コンピュータビジョンあるいはロボットの目をはじめ医学、服飾学などの分野における生体や自然物の計測と解析あるいは、グラフィックデザインなどの各方面においてその応用が期待されている。

従来の光学的方法による形状計測は幾つかの方式に分けられるが、代表的な方法としてはステレオ法が知られている。このステレオ法に依れば、一旦測定対象物体を複数の工業用カメラなどによって複数の視方向から撮像し、その画面から測定対象物体の形状を抽出するものである。

この方式は、両眼立体視の原理に基づくものであり、撮像された画像データは撮像面全域に亘っての濃淡信号データとして取り込まれており、このような情報から必要な形状のみを抽出するためには、対応点検処理が不可避であり、そのためには各種画像処理を必要とし、膨大な記憶容量と長い処理時間を必要とするため、高速かつ簡便な装置としての具体化は未だ実現していない状態にある。

従来の他の方式としては、光切断法が最も一般的で実用性が高いと考えられている。この光切断法は、スポット状あるいはスリット状の光を被写体に照射したときに生じる、被写体の形状に対応した反射光の変形を観測することにより、三角測量の原理で被写体の形状を捉えて奥行情報（距離）を求める手法である。たとえば、測定対象物体に対してスポット状あるいはスリット状の光ビームを照射し、その光ビームに対応する測定対象物体表面の光学像に基づく映像信号を撮像装置にて計算機に入力し、これを処理した結果として得られる撮像面上での光学像の位置情報と、光ビームと撮像装置との相対的配置関係とから測定対象物体表面の空間座標が求められる。

すなわち、従来の光切断法に依れば、たとえば、偏向走査される光ビームを測定対象物体の表面に照射し、この光ビームによる測定対象物体表面の光学像をＩＴＶカメラあるいはＣＣＤカメラなどの走査型の画像入力装置にて映像信号の形で計算機内に取り込む。したがって、この従来方式に依れば、測定対象物体表面の光学像の位置は、前記撮像面全体を順次電気的に走査することによって特定され、これを偏向走査されている光ビームごとに行ない、このようにして得られた多数のデータから３次元物体の形状が測定される。

しかし、前記従来の光切断法に依れば、測定対象物体表面の各点を検出し特定するためには、その都度、撮像面全体を走査する必要があり、この結果、形状計測に著しく長い時間がかかり、リアルタイムの計測が不可能であるという問題があった。通常、一画面の走査に要する時間は、たとえば、通常の工業的テレビカメラの場合、１／６０〜１／３０秒程度であり、このような遅い計測動作では、リアルタイムで測定対象物体の形状計測をすることや、動きのある測定対象物体の計測を行なうことは殆ど不可能であった。

特に、実際上十分な分解能を持つ３次元物体の形状計測のためには計測点数が多くなければならず、前述のように撮像面全体の走査を必要とする従来の光切断法では、光ビームの偏向走査自体を極めてゆっくりとしなければならず、十分な分解能をもつ計測をリアルタイムで行なうことはできなかった。

一方、測定対象物体表面の３次元座標位置を高速度（リアルタイム）で計測するため、光ビームを走査しながらリアルタイムに計測対象物体までの距離を求める技術が、たとえば特許文献１に開示されている。

特公平６−２５６５３号公報

この特許文献１に記載の技術は、測定対象物体の表面を測定光（たとえばスリット光）を走査して、測定対象物体からの反射光（たとえば反射スリット光）を非走査型撮像素子などの距離画像撮像素子（３次元計測用センサという）を用いて検出することで、測定対象物体表面の光学像の位置情報（空間座標位置）とスリット光の識別情報とをリアルタイムで測定し、順次表面形状を読み取って行く。この手法に依れば、従来の撮像面全体に対して電気的走査を繰り返すことなく形状計測を行なうことができ、測定対象物体に対して非接触かつ高速でその表面形状を知ることが可能となる。

しかしながら、上記特許文献１に記載の技術では、測定対象物体の３次元座標位置を測定している期間には、通常画像の取得ができないという問題がある。

たとえば、ロボットによるハンドリング作業、各種検査作業などにおいて、測定対象物体の３次元位置座標の他に、それに対応する濃淡値や色の情報を必要とする場合がある。すなわち、距離画像では距離画像撮像素子の各セルに対応する測定対象物体の３次元座標位置が得られるが、この３次元位置における濃淡値や色の情報が必要になる場合が多々ある。しかし、上記特許文献１に記載の技術では、距離測定中には、距離画像撮像素子の各セルに対応する３次元座標位置データしか得られず、この３次元位置に対応する測定対象物体表面の明るさすなわち濃淡、あるいは物体色を表す画像情報を得ることはできない。

また、この測定に用いられる３次元計測用センサは、主に距離情報のみを検出する単機能のものが中心であり、距離測定に適した測定光（たとえば赤色光あるいは赤外光）に対して感度特性の良好な撮像デバイスが用いられるので、この撮像デバイスを用いて通常画像を取得すると適切な通常画像が得られないという問題が生じる。濃淡情報（モノクロ画像）のみを必要とする用途では距離測定に特化した撮像デバイスを代用することも考えられるが、特に、カラー画像を撮像する上では、無視できない問題である。

このような問題を解決するものとして、従来の一般的な測定対象物体の表面の明るさを、ＣＣＤカメラなどの走査型の画像入力装置を用いて画像信号の形で測定することが考えられる。つまり、距離測定用の撮像装置と通常画像取得用の撮像装置（通常画像取得装置）とを独立に設けるシステムである。

ところが、このようなシステムでは、通常画像取得装置によって測定された各明るさや色が、距離画像撮像素子によって求められた３次元座標位置の、どこに相当するのかを正確に判定することは非常に困難である。

また、ＣＣＤなどの通常画像撮像素子による画像取り込み時に測定対象物体上をスリット光が走査すると、その走査によるノイズが画像に混入するので、測定対象物体上にスリット光が照射されていないときに、通常画像撮像素子による画像取り込みを行なうことになる。つまり、被測定物の形状や距離を検出する情報を取り込む期間に制約が生じる。この場合、測定対象物体の３次元座標位置とその明るさ情報や色情報とを同時に測定できなくなり、トータルの測定（距離測定と通常画像取得）に長時間を要することになる。

何れか一方の情報取得量（時間）を少なくすることでトータルの測定時間を短縮することも考えられるが、その分だけ情報量が不足するので、たとえば必要十分な解像度を持つ距離画像が得られず距離測定精度が劣化する、あるいは通常画像の画質が低減するなどの問題が生じる。つまり、上記方法では、処理時間（情報量）と精度の間にはトレードオフの関係があり、両方を同時に満足させることは難しい。

これらの問題を解決する手法として、たとえば分光ミラーにて測定光（たとえば赤外光）とそれを含まない通常光（可視光）とに分離し、測定光は距離画像撮像素子上に測定対象物体の像を結像させ、距離画像処理部によって処理された情報と走査位置識別情報とから測定対象物体までの距離を求めるとともに、通常光は通常画像撮像素子上に結像し、それによって濃淡値や色情報を得ることが考えられる。

しかしながら、この方法では、測定光を検知する距離画像撮像素子と通常光を検出する通常画像撮像素子といった、２つの撮像デバイスを用いなければならず、各撮像素子を構成する個々のセルの位置の対応付けを必要とする。すなわち、２つの撮像デバイスを用いることによって、可視光が濃淡画像撮像素子に結像されると同時に、その濃淡画像撮像素子に結像されたと“同じ部分”の（測定対象物体上の）測定光による像が、測定対象物体の画像として距離画像撮像素子に結像されるものの、通常画像撮像素子の各セルと、距離画像撮像素子の各セルの各々の位置関係を対応付けておかなければ、“同じ部分”の情報を得ることはできない。

ところが、２つの撮像デバイスや分光ミラーを用いているので、機械的な位置ズレを回避することは極めて困難である。つまり、程度差こそあれ、距離測定用の撮像装置と通常画像取得用の撮像装置とを独立に設けるシステムと同様の問題を内在する。この場合、通常画像撮像素子上のあるセル（対象セル）の出力より濃淡画像処理部において求められた測定対象物体の各３次元座標位置における明るさ情報や色情報が、距離画像撮像素子上の何れのセルの出力に対応するのかを特定できないので、距離画像処理部においては、対象セルが検出した部分の距離を同定することはできない。

これらの問題を解決する手法として、たとえば非特許文献１には、距離測定用の画像取得と通常画像の取得とを共通の撮像デバイスを用いて両立させる技術も考えられているが、距離測定用画像と通常画像の各画像取得をリアルタイムに行なう場合、電子シャッタ機能との組合せなどにおいて、必ずしも十分なものとなっていない。

"カラー動画の撮像とリアルタイム３次元計測を１チップで可能にする高機能ＣＭＯＳイメージセンサー"、プレスリリース、［online］、２００２年２月７日、［２００３年４月１４日検索］、インターネット＜ＵＲＬ：http://www.sony.co.jp/SonyInfo/News/Press/200202/02-0207/＞

このように、従来の技術では、３次元座標位置測定と通常画像取得の両方を実現しようとする場合、被測定物の形状や距離を検出する情報を取り込む期間の制約、処理時間（情報量）と精度のトレードオフ、距離測定位置と通常画像位置の同定などの問題があり、３次元座標位置測定と通常画像取得が互いに制約を受けていた。

本発明は、上記事情に鑑みてなされたものであり、測定対象物体の濃淡値や色の情報と、必要十分な解像度を持つ距離画像とを、それぞれリアルタイムに得ることのできる撮像方法および撮像装置、あるいは距離計測システムを提供することを目的とする。

また本発明は、測定対象物体の濃淡値や色の情報の取得と、距離情報の取得のそれぞれに対して、適切な特性を持つ画像を得ることのできる撮像方法および撮像装置、あるいは距離計測方法やシステムを提供することを目的とする。

また本発明は、このような撮像方法および撮像装置あるいは距離計測方法やシステムへの適用に好適な半導体で構成された撮像デバイスを提供することを目的とする。

本発明に係る固体撮像デバイスでは、予め定められている定常帯域の波長に対する感光部分である定常波長帯感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが画素ごとに領域分割して設けられている撮像部を備えたものとするとともに、定常波長帯感光領域にて得られる定常撮像信号と帯域外感光領域にて得られる帯域外撮像信号とを区別して、すなわち独立して取り出し可能に構成されているものとした。

１つの撮像デバイス上で、通常画像用の領域（セル、素子）に対応する定常波長帯感光領域と、距離測定用の画像など、その他の波長を用いた撮像のために使用される領域（セル、素子）の位置の対応付けを行なう、すなわち、検知対象波長に応じた受光領域をデバイス上で画素ごとに適正配置する趣旨である。

なお、デバイス構造としては、第１導電型の前記半導体基板と、半導体基板上に形成された第２導電型の半導体層とを備え、撮像部は、第２導電型の半導体層上に形成された、第１導電型の不純物を含む電荷蓄積層を有するものとする。また、さらに撮像部は、信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するものとする（本発明の第１の仕組みと称する）。これにより、本発明の第１の仕組みを適用しない場合と比較して、画像のＳ／Ｎ比が向上し画質が改善する。さらに、撮像部は、定常波長帯感光領域と帯域外感光領域とを囲むように、予め定められた極性の不純物を含む拡散層を有するものとする（本発明の第２の仕組みと称する）。これにより、本発明の第２の仕組みを適用しない場合と比較して、Ｓ／Ｎ比向上になお一層寄与するようになる。これらデバイス構造に関しての事項は、後述する撮像方法や装置あるいは距離測定方法やシステムにおいても同様である。

各感光領域の領域分割の手法としては、デバイス深さ方向としたり、あるいは、平面方向としたりすることができる。定常帯域の波長が可視光領域の波長で、かつ定常帯域以外の帯域の波長が可視光よりも長波長のものとする場合、帯域外感光領域は定常波長帯感光領域（可視光感光領域）よりも受光面に対してより深い部分に形成するとよい。それぞれに適した感度を持つ領域を、デバイス上に適切に配置する趣旨である。

本発明に係る第１の撮像方法や装置は、上記本発明に係る固体撮像デバイスを用いたものであって、被写体に対する定常帯域の波長の電磁波（光）の照射の元での定常波長帯感光領域からの撮像信号の読み出しと、定常帯域以外の波長の電磁波の被写体への照射の元での帯域外感光領域からの撮像信号の読み出しとを、定常波長帯感光領域からの撮像信号の読出サイクル内において、それぞれ異なるタイミングで行なうものである。

本発明に係る第２の撮像方法や装置は、上記本発明に係る固体撮像デバイスを用いた前記第１とは異なる手法であって、被写体に対する定常帯域の波長の電磁波の照射の元で定常波長帯感光領域から撮像信号を読み出している過程で、定常帯域以外の波長の電磁波を被写体に照射して帯域外感光領域から撮像信号を読み出すものである。

なお、撮像装置には、定常波長帯感光領域と帯域外感光領域とから、独立に撮像信号を取り出すための読出制御信号を画素ごとに与える読出駆動制御部を設ける。この読出駆動制御部は、たとえばタイミングジェネレータや画素選択をするアドレス設定回路などがある。この読出駆動制御部は、必要に応じて、定常波長帯感光領域からの撮像信号の読み出しを行なうための駆動部と帯域外感光領域からの撮像信号の読み出しを行なうための駆動部とを独立に設けるとよい。また、この読出駆動制御部は、固体撮像デバイスとともに共通の半導体基板上に形成されているものとするとよい。

本発明に係る距離測定方法やシステムは、上記本発明に係る固体撮像デバイスを用いて、測定対象物体の表面に測定光を投射し、測定対象物体からの反射光が撮像面を構成する画素の前記帯域外感光領域を通過するタイミングを検出して、測定対象物体までの距離を測定するものである。

なお、定常波長帯感光領域としての可視光感光領域にて測定対象物体からの可視光を受光することで測定対象物体の濃淡値または色を表す通常画像を取得し、測定対象物体までの距離に基づいて通常画像を加工する仕組みを設けるとよい。

なお、距離測定は、特許文献１に記載のように、測定光（好ましくはスリット光）の走査にともなって撮像面上に結像する光学像の位置情報を帯域外感光領域にて画素ごとの光検出信号としてリアルタイムで検出し、この光検出時に測定光の走査方向を示す識別情報を画素ごとに記憶し、測定光の走査中に得られる位置情報と識別情報の組合せとに基づいて測定対象物体の形状を求める仕組みを採用するとよい。

本発明に係る上記構成においては、先ず撮像デバイスとして、それぞれに適した感度を持つ領域をデバイス上に適切に配置する。１つの撮像デバイス上で、各波長に応じた感光領域の位置の対応付けを行なうことで、距離測定などにおける物理的な位置ずれの問題を解消する。位置情報画像はブランキング期間や通常画像撮像時に取得することで、カラー動画などの通常画像の撮像と３次元形状計測とのリアルタイム性を同時に、かつ１チップの撮像デバイスで実現する。

本発明に依れば、先ず、それぞれの波長に適した感度を持つ感光領域を撮像デバイス上に適切に配置する。このように、１つの撮像デバイス上で、各波長に応じた感光領域の位置の対応付けを行なうようにしたので、距離測定などにおける物理的な位置ずれの問題を解消することができる。加えて、互いに最適な拡散層深さに感光領域が設定されるので、検出感度を上げることができる。

また、定常波長帯感光領域にて得られる定常撮像信号と、帯域外感光領域にて得られる帯域外撮像信号とを区別（独立）して取り出し可能に構成することで、各波長帯域に応じた撮像信号を得る際の制約を解消する。たとえば、３次元形状測定などの際には、測定光を用いた位置情報画像はブランキング期間や通常画像撮像時に取得することで、カラー動画などの通常画像の撮像と３次元形状計測とのリアルタイム性を同時に、かつ１チップの撮像デバイスで実現することができる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

＜３次元計測システムの構成＞
図１は、本発明に係る撮像装置の第１実施形態を備えた距離測定システム（３次元計測システム）の構成を示す図である。撮像装置１０は、３次元座標位置測定（３次元物体形状測定）に好適な距離測定装置用と、通常画像取得用の両方に使用される撮像装置となっている。

距離測定システム１は、スリット光からなる光ビームにて測定対象物体４の表面形状（測定対象物体の表面の３次元座標位置）と、測定対象物体４の明るさ（濃淡）や色味とを、リアルタイムで同時に測定するシステム構成となっている。

このため、距離測定システム１は、測定対象物体４から得られる光（反射光）を検出することでその光に応じた画像を取得する撮像素子１００を有する撮像装置１０と、距離計測用の測定光で測定対象物体４を走査する走査制御部２０と、撮像装置１０により得られた撮像信号に基づいて測定対象物体４の距離測定を行なったり所定の画像を取得したりする信号処理部３０とを備える。

詳しくは後述するが、この第１実施形態で使用する撮像素子１００は、赤外線などの距離測定光に対して感応する距離画像撮像領域１２０と、可視光に対して感応する通常画像撮像領域１３０とが、画素ごとに対応付けて２次元配置されている。また、撮像素子１００には、受光した情報を一時的に保持する記憶保持部１４０が設けられている。

信号処理部３０は、測定光による撮像装置１０により得られた測定光撮像信号Ｓ１に基づいて測定対象物体４の３次元座標位置を測定する距離測定部（突合せ演算処理部）３１０と、通常光（可視光）による撮像装置１０により得られた撮像信号Ｓ２に基づいて通常画像（モノクロ画像やカラー画像）を取得する通常画像取得部３２０と、距離測定部３１０により得られた測定対象物体４の３次元座標位置と通常画像取得部３２０により得られた通常画像の明るさや色とを対応付けることで所定の加工画像を取得する画像加工処理部３３０とを備える。

偏向照射部の一例である走査制御部２０では、不可視光である赤外光レーザ源などからなるレーザ光源２１からのレーザ光がシリンドリカルレンズを含むレンズ系２２によって垂直に拡大されてスリット光を成し、このスリット光は、ポリゴンミラー（ガルバノミラー）などからなるスキャニングミラー２３（以下ポリゴンミラー２３で代表させる）を用いて反射され測定対象物体４の表面に照射される。このとき、スリット光は、ポリゴンミラー２３を駆動制御部２４で駆動される図示しないモータにより回転させることにより測定対象物体４上で走査される。すなわち、スリット光はポリゴンミラー２３の回転によって順次図のようにその照射角を時間的に変化させることによって偏向され、測定対象物体４の表面をなでていく（走査する）ことができる。

ここで、スリット光の偏向角はポリゴンミラー２３の回転角によって一義的に定まる。したがって、スリット光の識別にあたってはポリゴンミラー２３の回転角を直接的に測定してもよいが、ポリゴンミラー２３は通常、一定角速度で回転運動として制御され、それゆえスリット光も等角速度ωで偏向走査されるため、スリット光の識別は、ある基準位置を光が通過したときに出力されるリセット（トリガ）信号Ｓ２５からの経過時間ｔを計測することによって実現され得る。このようにして偏向されたスリット光の識別情報は時間ｔに依存するから時間ｔをスリット光の識別情報としてその後の演算に用いることができる。また、図１においてスリット光をｎ（ｔ）として示す。

たとえば図示する例では、基準位置検出用にフォトトランジスタなどからなるフォトセンサ２５が設けられており、スリット光がこのフォトセンサ２５を横切るときにリセット信号Ｓ２５が出力され、この信号Ｓ２５によってタイマ２７およびクロックカウンタ２８を起動させ、スリット光ｎ（ｔ）の識別情報Ｓ２８を与える経過時間ｔをリアルタイムで撮像素子１００に出力することができる。したがって、この構成に依れば、測定対象物体４の表面をなで回すスリット光ｎ（ｔ）はその偏向角がそれぞれ経過時間ｔなる識別情報Ｓ２８によって特定されていることが理解される。

一方、測定対象物体４の表面から反射した反射光Ｒ（ｔ）は、撮像装置１０にて受光され、スリット光ｎ（ｔ）に対応した測定対象物体４の表面のスリット状光学像が撮像装置１０に設けられている撮像素子１００の撮像部１１０の撮像面（受光面）上に結像される。この撮像素子１００は、映像同期型撮像素子などの非走査型撮像素子から形成されており、その撮像部１１０は整列して配置された互いに独立したフォトセンサの１次元あるいは２次元状の配列として構成されている。

このため、撮像部１１０の映像情報を画素ごとに個々独立して検出できるので、並列的な処理が可能となる。したがって、その撮像部１１０上を前記スリット状光学像が移動するとき、撮像部１１０を構成する各フォトセンサの光学的映像受信時の出力信号に基づいてスリット状光学像全体の位置情報、たとえばスリット状光学像に対応する画素全部のアドレスを、同時にかつリアルタイムで検出することができる。

したがって、測定対象物体４の表面の光学像の位置情報の検出に撮像部１１０のその都度の走査制御を必要とせずリアルタイムで検出できる利点がある。

以上のようにして検出されたスリット光ｎ（ｔ）の識別情報ｔと、それに対応する測定対象物体表面の光学像の撮像部１１０上での位置情報は、撮像素子１００の記憶保持部１４０に各々対応付けしてラッチ記憶され、所定のタイミングで信号処理部３０に取り込まれる。

信号処理部３０の距離測定部３１０では、測定光撮像信号Ｓ１を記憶保持部１４０から読み出して突き合わせ演算処理を施して、測定対象物体表面の空間座標に変換する。すなわち、本実施形態の構成では、スリット光ｎ（ｔ）の識別情報ｔと、それに対応するスリット状光学像の位置情報の両者がリアルタイムで、かつ、対応付けて検出でき、両情報から測定対象物体４の表面形状で高速で計測することが可能となる。

図１において、レーザ光源２１、レンズ系２２、ポリゴンミラー２３、撮像装置１０、および撮像素子１００の相対位置が固定しており、また予めその位置関係が既知であるならば、上記構成における偏向走査を高速度で行なうことによって測定対象物体自体が測定期間中静止しているものと考えることができ、この測定時間を測定対象物体４のそれ自体の動きより充分に高速度で行なうことによって、動きのある測定対象物体４に対しても測定時間中は静止状態と見なすことが可能である。

ところで、測定対象物体４からの光は撮像素子１００に入射するが、距離測定時には、スリット光ｎ（ｔ）だけでなくそれ以外の光（測定対象物体４には通常の可視光）も照射されており、スリット光ｎ（ｔ）に対応する反射光Ｒ（ｔ）だけでなく、通常の照明光（可視光）による反射光Ｑ（ｔ）も撮像素子１００に入射され、撮像素子１００の撮像部１１０上に結像される。撮像素子１００は、距離測定光に対して感応する距離画像撮像領域１２０と可視光に対して感応する通常画像撮像領域１３０とが画素ごとに対応付けて２次元配置されているので、反射光Ｒ（ｔ）は撮像素子１００の距離画像撮像領域１２０にて検知され、反射光Ｑ（ｔ）は撮像素子１００の通常画像撮像領域１３０にて検知される。

このように構成することによって、距離画像撮像領域１２０で赤外光のスリット光が結像され、従来と同様に距離測定部３１０でリアルタイムで距離が測定される。すなわち、可視光が、通常画像撮像領域１３０に結像されると同時に、その通常画像撮像領域１３０に結像されたと同じ部分の赤外光による像が、測定対象物体４の画像として距離画像撮像領域１２０に結像される。

ここで、距離画像撮像領域１２０と通常画像撮像領域１３０とは、撮像部１１０上で物理的に位置が画素（セル）ごとに対応付けられているので、各領域の各画素の各々の位置関係は一意的に決まり、通常画像撮像領域１３０の画素の出力より通常画像取得部３２０において、求められた測定対象物体４の各３次元座標位置における明るさ色の情報に対応する、距離画像撮像領域１２０の画素の出力より距離測定部３１０において同定できる。

つまり、この第１実施形態の構成に依れば、撮像素子１００上で測定光に対する感応領域と通常光に対する感応領域とを分けて構成しておくことで、距離画像撮像領域１２０により測定された測定対象物体４の３次元座標位置と、通常画像撮像領域１３０により測定された明るさや色との正確な対応付けが可能となる。

なお、詳しくは後述するが、距離画像撮像領域１２０と通常画像撮像領域１３０の配置構成によっては、測定光と通常光の各撮像タイミングを制御する必要がある。通常画像取り込み時に測定対象物体４上をスリット光ｎ（ｔ）が走査することによりノイズが画像に混入する問題を防止するためである。

ただし、距離測定と通常画像取得との同時リアルタイム処理を実現するため、距離測定は通常画像取得におけるブランキング期間に行なう。こうすることで、１チップでカラー動画像と３次元距離情報の両方を、毎秒１５フレームまたは３０フレームで取得可能となる。

＜表面形状特定手法＞
図２は、距離測定部３１０において、スリット光の識別情報と光学像の位置情報とに基づいて測定対象物体４の表面形状を特定する手法を説明する図である。ここで、図２（Ａ）および図２（Ｂ）は、図１に示したミラー反射中心Ｍ（ｘｍ，ｙｍ，ｚｍ）から反射されたスリット光ｎ（ｔ）、それによって照射される測定対象物体４の表面上の点Ｐ（Ｘ，Ｙ，Ｚ）、およびその光学像Ｉ（ｘ，０，ｚｉ）の間の幾何光学的関係をｘｙ平面（図２（Ａ））およびｘｚ平面（図２（Ｂ））へ投影したものである。

本実施形態の距離測定システム１においては、通常画像撮像時のブランキング期間に、三角測量の原理を用いて、赤外線の反射光を検出して、赤外光に対して最適化された拡散層で光電変換された電荷を検出して距離測定を行なう。

たとえば、図２（Ａ）および図２（Ｂ）において、実線は単一の偏向照射装置を用いて測定対象物体４に対して単一スリット光を走査する状態を示し、また鎖線はさらに第２の偏向照射装置を異なる位置に配置して第２のスリット光によって測定対象物体を偏向走査するものであり、このように２つの偏向照射装置を用いれば測定対象物体に凹凸がある場合においても一方のスリット光走査では影となる形状計測不能な表面を大幅に除去することが可能となる。

図２（Ａ）および図２（Ｂ）において、直交座標系（ｘ，ｙ，ｚ）の原点をたとえば撮像部１１０の中心Ｏとし、ｘ軸は水平方向であってさらに撮像部１１０と平行に設定され、ｙ軸は撮像装置１０のレンズ光軸と一致して設定され、さらにｚ軸は鉛直方向に設定されている。

したがって、測定対象物体４の表面上の点Ｐの座標値（Ｘ，Ｙ，Ｚ）は図示のように、スリット光ｎ（ｔ）と反射光Ｒ（ｔ）とによって特定され、計測条件として設定できるレンズ位置Ｌ、ミラー位置Ｍの座標値およびスリット光の回転角速度ωと、計測結果として得られるスリット光ｎ（ｔ）の識別情報ｔおよび点Ｐの光学像Ｉの座標値（ｘｉ，０，ｚｉ）を使って以下のように求められる。なお、各々、以下のように定義する。

外１

先ず、直線ＩｘｙＬｘｙＰｘｙに着目することで、下記式（１−１），（１−２），（１−３）が得られる。

また、直線ＭｘｙＰｘｙに着目することで下記式（２−１），（２−２）が得られる。

さらに、直線ＩｘｚＬｘｚＰｘｚに着目することで、下記式（３−１），（３−２）が得られる。

また、式（１−３）と式（２−２）とから式（４）が得られる。

ここで、式（１−３）と式（４）において、αはスリット光の回転角速度ωと識別情報ｔとの積すなわちα＝ω・ｔであり、この結果（２−２）は式（５−１）に、また式（４）は式（５−２）に、それぞれ変形できる。

したがって、上記式（３−２），式（５−１），（５−２）により、測定対象物体４の表面上の点Ｐの３次元座標値（Ｘ，Ｙ，Ｚ）はスリット光ｎ（ｔ）の識別情報すなわち所定のリセットタイミングからの経過時間ｔと光学像Ｉの撮像部１１０上における位置情報（ｘｉ，０，ｚ）の両者によって決定されることが理解される。

＜撮像素子の第１例の構成＞
図３は、撮像素子１００の第１例の構成を示す図である。ここで、図３は１つのセル（画素）の断面構造を示している。この第１例の撮像素子１００は、スリット光ｎ（ｔ）の識別情報ｔと撮像素子１００の撮像部１１０上の光学像の位置情報を同時にラッチして記憶するとともに、通常光と測定光のそれぞれに対して適切な感応性を持つようにされた、非走査型撮像素子として好適なものとなっている。

先ず、撮像素子１００は、基本的には、撮像部１１０と記憶保持部１４０よりなる。また、撮像部１１０が、画素ごとに、被測定物に照射した測定光を取り込む第１の光電変換領域としての距離画像撮像領域１２０と、測定対象物体４の画像を取り込む第２の光電変換領域としての通常画像撮像領域１３０とに領域分割して、光電変換領域を形成している。すなわち、通常光（可視光）帯域の波長に対する感光領域と、それ以外の帯域の波長（本例では距離測定用の赤外光）に対する感光領域とを、画素ごとに領域分割して設ける。そして、各領域にて得られる撮像信号を、区別して取り出し可能に構成する。

撮像素子１００の撮像部１１０は、基本的には、複数の光電変換素子（フォトダイオードなど）から成る電荷生成部（センサ部）を備えている。この撮像素子１００は、フォトダイオードなどで構成された受光素子としてのフォトセンサ１３２で受光面から入射した入射光を受光して光電変換を行ない、発生した電荷を検出回路によって検出し、その後増幅し、順次出力する。

図３に示した撮像素子１００では、固体撮像素子の一構成例として、Ｎ型シリコン基板（第１導電型の半導体基板）１０１上に、第２導電型の半導体層としてのＰ型不純物（Ｐウェル）を有する半導体層（後述するフォトセンサ１２２）が形成されており、第２導電型の半導体層に第１導電型の不純物をイオン注入することによって形成された電荷蓄積層（第１センサ領域）を具備したセンサ部（受光部；後述するフォトセンサ１３２）が形成されている。光を受光し光電変換して得た信号電荷が、この電荷蓄積層に蓄積される。

また、図３において、半導体基体表面１０２（撮像部１１０）は、複数の整列配置されて互いに独立した、距離画像撮像領域１２０を構成するフォトセンサ１２２と、通常画像撮像領域１３０を構成するフォトセンサ１３２によって構成されている。加えて、距離画像撮像領域１２０は通常画像撮像領域１３０よりも、さらに深い領域に形成している。また第１例の撮像素子１００では、画素ごとに、フォトセンサ１３２の真下にフォトセンサ１２２を形成している。すなわち、デバイス平面方向には同一位置にて入射した光に対して（つまり画素ごとに）、通常光（可視光）帯域の波長に対する感光領域とそれ以外の帯域の波長（本例では距離測定用の赤外光）に対する感光領域とを、デバイス深さ方向に分割している点に特徴を有する。

これは、半導体特質上、長波長に対して感応性のよい部分は拡散層の深い所に形成されることを積極的に利用したものである。たとえば、測定光として使用される波長７００ｎｍ〜１００μｍの赤外線を検出する拡散層（Ｐ型）を撮像部１１０側から２μｍ〜５μｍの深さに形成し、かつ撮像用素子としてのフォトセンサ１３２を撮像部１１０側から０．３〜２μｍの深さに拡散層（Ｎ型）を形成して実現する。これにより、フォトセンサ１２２とフォトセンサ１３２として、互いに光電変換の効率の良い領域を利用した撮像デバイスが実現できる。

すなわち、距離計測時には、スリット光ｎ（ｔ）に対応した反射光Ｒ（ｔ）だけでなく通常光による反射光Ｑ（ｔ）も、フォトセンサ１２２の上部に形成されているフォトセンサ１３２に入射する。フォトセンサ１３２は、可視光を含む赤外光よりも波長が短い光に対して受光感度の高い領域に形成されているので、可視光を含む赤外光よりも波長が短い光はフォトセンサ１３２に吸収され、フォトセンサ１２２には到達しない。これに対して、フォトセンサ１３２は、波長の長い赤外光に対して受光感度の低い領域に形成されているので、波長の長い赤外光は、フォトセンサ１３２に殆ど吸収されることなく、フォトセンサ１２２に到達し、ここで吸収されて信号電荷を生成する。

一方、通常画像撮像時には、スリット光ｎ（ｔ）を照射しなければ、通常光による反射光Ｑ（ｔ）のみが、フォトセンサ１２２の上部に形成されているフォトセンサ１３２に入射し、ここで吸収されて信号電荷を生成する。

なお、ここで第１例の撮像素子１００では、画素ごとに、フォトセンサ１３２の真下にフォトセンサ１２２を形成している。このため、測定光を照射していると、その測定光（スリット光ｎ（ｔ））がフォトセンサ１３２にも入射するので、このときに通常画像を取り込むと、測定対象物体４上をスリット光ｎ（ｔ）が走査することによりノイズが画像に混入する可能性がある。本実施形態のフォトセンサ１３２は、その形成領域が半導体基体表面１０２に近い０．３〜２μｍの深さに拡散層を設けて形成し、赤外光に対する感応性を低くしているが、実際には、赤外光による電荷発生をゼロにはできないからである。

そこで、この第１例の撮像素子１００を使用する場合において、赤外光による電荷発生が問題となる撮像条件下で距離測定を行なう際には、通常画像取得におけるブランキング期間にスリット光ｎ（ｔ）で測定対象物体４の全体を高速に走査することで、距離測定用の画像を取得する。

カラー画像の撮像においても、赤外光の影響を何ら受けないので、色再現性が問題となることもない。測定対象物体４の３次元座標位置を測定するために用いられるスリット光（赤外線）による影響が除去される。このことにより、測定対象物体の３次元座標位置の明るさを正確に測定できる。

こうすることで、カラー動画像と３次元距離情報の両方を、毎秒１５フレームまたは３０フレームで取得可能となり、距離測定と通常画像取得との同時リアルタイム処理を実現することができるようになる。撮像デバイスとしてみれば、通常画像撮像と距離測定用の撮像のそれぞれに感光特性が最適化され、両機能用の画像の取得を兼ねたイメージセンサを提供可能となる。

したがって、前述した説明から明らかなように、スリット光ｎ（ｔ）で走査している距離測定時には、測定対象物体４の表面からの反射光Ｒ（ｔ）が撮像装置１０によって受光され、測定対象物体４の表面の光学像が撮像部１１０における距離画像撮像領域１２０の何れかのフォトセンサ１２２上に結像することとなる。そして、このフォトセンサ１２２の光応答出力は、記憶保持部１４０へ送られる。また、通常光による反射光Ｑ（ｔ）についても、撮像装置１０によって受光されるが、今度は、測定対象物体４の表面の光学像が撮像部１１０における通常画像撮像領域１３０の何れかのフォトセンサ１３２上に結像することとなる。

一方、図３に示すように、記憶保持部１４０は撮像部１１０の各フォトセンサ１２２と１対１に対応付けて配列された要素メモリ１４２によって構成されている。この記憶保持部１４０の各要素メモリ１４２は読出線１２４を介して各々対応するフォトセンサ１２２と接続されており、たとえば複数ビットのＤ型フリップフロップ、あるいはシフトレジスタその他から形成可能である。

何れの場合においても、この要素メモリ１４２はフォトセンサ１２２と対応して設けられており、その書込制御入力には対応するフォトセンサ１２２からの光受信時の出力信号が入力されており、また、データ入力バス１４４にスリット光ｎ（ｔ）の識別情報Ｓ２８が入力されている。よって、スリット光ｎ（ｔ）の識別情報が各センサ１２２に１対１に対応したメモリ、フリップフロップ、あるいはシフトレジスタなどによりなる記憶素子群の配列に格納され、各メモリ要素のアドレスが光学像の撮像面上での位置情報に、また、そのメモリ要素が保持するデータがスリット光識別情報に対応することになる。

ここで、識別情報Ｓ２８は走査制御部２０から得られたリセット信号Ｓ２５によって計数を開始するカウンタ２８の出力から得られ、前述したように、ポリゴンミラー２３の初期位置からカウンタ２８が計数動作を開始し、その出力である時間経過信号ｔがそのままスリット光ｎ（ｔ）の識別情報Ｓ２８として入力バス１４４から各要素メモリ１４２に供給されている。したがって、光学像が結像したフォトセンサ１２２はその出力に光受信信号を出力し、これに対応する要素メモリ１４２をトリガし、そのときの経過時間ｔをスリット光ｎ（ｔ）の識別情報としてラッチ（保持）する。

レーザ光源２１あるいはポリゴンミラー２３を回転させて偏向走査されたスリット光ｎ（ｔ）を得る場合には、識別信号Ｓ２８はポリゴンミラー２３の回転角度信号として電気的に検出可能であり、また偏向走査が定速度で行なわることで、所定のリセットタイミングからの経過時間を識別信号Ｓ２８とすることができる。よって、タイマ２７およびカウンタ２８などの使用により、スリット光ｎ（ｔ）の識別情報Ｓ２８を容易に、かつ、リアルタイムで検出し、出力することができる。

そして、スリット光ｎ（ｔ）の偏向走査によって、測定対象物体４の表面が走査されると、この走査中に記憶保持部１４０には、各結像位置に対応する各要素メモリ１４２のそれぞれに、スリット光ｎ（ｔ）の識別情報が記憶保持されることとなる。このとき、各要素メモリ１４２のアドレスが撮像部１１０上での光学像の位置情報を与えるから、前記過程はスリット光ｎ（ｔ）の識別情報Ｓ２８とそれに対応する光学像の撮像面上で位置情報を対応付けて記憶保持する過程に他ならない。

以上のようにして、スリット光ｎ（ｔ）が測定対象物体４の表面に照射されかつ走査されると、このスリット光ｎ（ｔ）に対応する測定対象物体表面の光学像は、物体表面からの当該スリット光ｎ（ｔ）の反射光Ｒ（ｔ）を受光する光学系とその位置によって特定されることから、これを撮像素子１００の撮像部１１０上に結像させ、スリット光ｎ（ｔ）の走査にともない撮像部１１０上を移動する光学像の位置情報を、撮像部１１０を構成する各フォトセンサの光受信時の出力信号自体に基づいてリアルタイムで検出することが可能となる。

この情報記憶過程には、撮像素子の電気的走査過程が介在しないので、測定対象物体４の表面の光ビームによる走査を高速度で行なっても充分に情報記憶過程を追従させることが可能となる。すなわち、スリット光ｎ（ｔ）によって測定対象物体４を走査すること自体は基本的な光切断法と類似するが、前記のような“なで走査”をしながら、そのスリット光ｎ（ｔ）に対応した測定対象物体４の表面の光学像の撮像面上での位置情報が、撮像面全域を電気的に走査することなく、かつ、各光学像に対応する画像アドレス全部が同時に検出できるので、距離測定のリアルタイム処理が可能となる。

このようにして記憶されたデータは他の周知の手法によって各要素メモリ１４２から距離測定部３１０に読み出され、前述の測定原理に基づき、３次元物体表面の空間座標（Ｘ，Ｙ，Ｚ）に変換される。ここで、スリット光照射装置としての走査制御部２０と、非走査型撮像素子としての撮像素子１００、そして測定対象物体４がある瞬間においてそれぞれ固定されていると考えれば、スリット光ｎ（ｔ）による測定対象物体表面の光学像の撮像面上での位置は、測定対象物体４の表面形状によって一義的に定まるから、スリット光ｎ（ｔ）の識別情報Ｓ２８と、前述の方法で得た撮像素子１００からの測定対象物体表面の撮像面上での光学像の位置情報との両情報から、極めて容易に表面形状を計測することが可能となる。

なお、高照度時の撮像など、赤外光による電荷発生に対して通常光による信号電荷の発生の方が遙かに大きい撮像条件下では、被測定物の形状や距離を検出する情報を取り込む期間に制約を受けない。よって、ブランキング期間ではなく撮像アクティブ期間に赤外光照明をして距離測定をしながら、同時に通常画像の撮像を行なうことも可能である。ただしこの場合、通常画像撮像と測定光画像撮像の各駆動を独立で行なうことができるように、図示しない駆動制御回路（アドレス制御回路やタイミングジェネレータなど）を構成する必要がある。

一方、ブランキング期間に距離測定画像を取得する構成では、駆動制御回路を共用できる利点がある。ただし、電子シャッタ機能を作動させる場合、通常画像撮像時にブランキング期間を利用したシャッタ制御が行なわれるので、その分、測定光画像撮像のタイミングは制約を受けることとなる。これを避けるには、ブランキング期間に距離測定画像を取得するか否かに拘わらず、距離測定画像を取得するための駆動制御回路を、通常画像を取得するための駆動制御回路とは独立に設けるとよい。

このようにして、距離測定部３１０にて３次元物体表面の空間座標（Ｘ，Ｙ，Ｚ）を取得すると、信号処理部３０では、フォトセンサ１３２から読出線１３４を介して通常照明下での撮像により通常画像取得部３２０にて得られる通常画像を参照して、たとえば３次元計測データを画像化して表示することや、３次元計測データを用いて所定距離部分（たとえば前方物体）の画像のみを抽出するなどの画像加工を施して表示することができる。

これらの処理は、距離測定と通常画像取得との同時リアルタイム処理を実現することができ、たとえば、カラー動画像と３次元距離情報の両方を、毎秒１５フレームまたは３０フレームで表示させることができる。動画像と距離情報を同時に利用することにより、画像認識、物体認識、動き検出など、これまで外部に複雑な情報処理を必要としていた機能を小規模なシステムで実現することができる。これにより、パソコンやゲームなどのユーザインタフェースや３次元モデリング、ロボットの障害物検知・人物検知、セキュリティシステムの個人認証、ＴＶ電話の画像抽出機能など、様々な分野において多様なアプリケーションを提供することが可能となる。

なお、距離測定部３１０と通常画像取得部３２０とは、撮像素子１００とともに同一の半導体基板上に一体的に形成してもよい。こうすることで、カラー動画像の撮影機能と、被写体までの距離計測を行なう機能とを、１チップで実現可能となる。画素部（撮像部）としての距離画像撮像領域１２０および通常画像撮像領域１３０と、３次元計測演算回路としての距離測定部３１０とを高速動作させることにより、光切断法に基づく高精度な距離計測をリアルタイム（毎秒１５フレームまたは３０フレーム）で実現でき、動画像撮影と高精度リアルタイム距離計測を１チップで実現できるようになる。

また、画像信号処理部（たとえば通常画像取得部３２０）と３次元計測演算部をチップ内にて独立して配置するようにすれば、それぞれの機能に対して最適な信号処理方式の採用が可能となる。これにより、他方を気にすることなく、それぞれに応じた様々な回路設計手法を適用できるようになり、たとえば高画質化や低消費電力化を実現する上で都合がよくなる。

なお、画像加工処理部３３０は、応用アプリケーションのもので、要求される機能によって様々な構成を採ることが必要となるもので、必要に応じて設けられるものと考えればよい。よって、画像加工処理部３３０は、撮像素子１００、距離測定部３１０、および通常画像取得部３２０を含む１チップのデバイスとは別にしておいた方がよい。

以上説明したように、上記第１の撮像素子１００を備えた構成の撮像装置１０や距離測定システム１に依れば、通常光（可視光）と測定光のそれぞれに対して、画素ごとに、光電変換の効率の良い領域を撮像素子１００に構成するようにしたので、測定対象物体の濃淡値や色の情報の取得と、距離情報の取得のそれぞれに対して、適切な特性を持つ画像を得ることができるようになった。

つまり、フォトセンサの１画素を、被測定物の画像を取り込む通常画像撮像領域１３０と、被測定物に照射した測定光を取り込む距離画像撮像領域１２０とに分けて、半導体基板中の適切な感応領域に形成したので、情報量の不足という問題を生じることがなくなった。よって、被測定物の形状や距離情報の検出と、本来の画像情報検出が互いに制約を受けることがなくなった。加えて、各領域は、互いに最適な拡散層深さに設定されているので、距離測定における検出感度を上げることができる。

また、撮像条件（通常画像用の照明条件）次第ではあるが、ブランキング期間ではなく撮像アクティブ期間に測定光照明をして距離測定をしながら、同時に通常画像の撮像を行なうことも可能である。

このように、上記実施形態の構成に依れば、３次元座標位置測定と通常画像取得の両方を実現しようとする場合であっても、被測定物の形状や距離を検出する情報を取り込む期間の制約、処理時間（情報量）と精度のトレードオフ、距離測定位置と通常画像位置の同定などの問題を解消することができるようになった。

また、３次元座標位置測定としては、特公平６−２５６５３号公報記載と同様の手法を用いており、スリット光ごとに、撮像素子を電気的に走査制御することなく、所望の情報をリアルタイムで得ることができるので、３次元物体の表面形状を高速で計測することが可能となる。高速度で物体表面をスリット光にて走査することによって、動きのある物体に対しても極めて良好な形状計測が可能となる。

つまり、位置情報は撮像面を構成する各フォトセンサの光受信時における出力信号に基づき他のフォトセンサとは独立にリアルタイムで検出され、これとスリット光自体の識別情報とから測定対象物体の表面形状が連続的に読み取られ、これによって高速処理を可能とし、従来のような各光ビーム照射ごとに撮像面全体の電気的走査を繰り返して表面形状を認識する方式と異なり、物体表面を光ビームによってなでる走査時間を著しく短縮し、これによって動きのある物体に対しても実用性に優れた形状計測が可能となる。

＜撮像素子の第２例の構成＞
図４は、撮像素子１００の第２例の構成を示す図である。ここで、図４（Ａ）は撮像素子１００の断面概念図を示し、図４（Ｂ）は、撮像素子１００の平面模式図を示す。この第２例の撮像素子１００は、第１例と同様に、半導体基体表面１０２（撮像部１１０）が、複数の整列配置されて互いに独立した、距離画像撮像領域１２０を構成するフォトセンサ１２２と、通常画像撮像領域１３０を構成するフォトセンサ１３２によって構成されている。加えて、距離画像撮像領域１２０は、０．３〜２μｍの深さに拡散層を形成して得られる通常画像撮像領域１３０よりもさらに深く、半導体基体表面１０２よりも深い領域（拡散層を２μｍ〜５μｍ）に形成しているのも、第１例と同様である。

ただし、第２例の撮像素子１００では、図４（Ｂ）に平面画素配置例を示すように、画素ごとに、フォトセンサ１３２の真下ではなく、ずれた位置にフォトセンサ１２２を形成している。すなわち、通常光（可視光）帯域の波長に対する感光領域と、それ以外の帯域の波長（本例では距離測定用の赤外光）に対する感光領域とを、画素ごとに領域分割して設ける点では、第１例と共通するが、その領域分割の方向を、デバイス深さ方向ではなく、デバイス平面方向としている点に特徴を有する。こうすることで、測定光がフォトセンサ１３２に入射する光路上には、通常光を検知するフォトセンサ１２２が配されないようにできる。

フォトセンサ１２２とフォトセンサ１３２の平面的な配列としては、図４（Ｂ１）に示すように各々ライン状としてもよいし、図４（Ｂ２）に示すようにジグザグ（千鳥）状としてもよい。また、図４（Ｂ３）に示すように、画素形状をハニカム状に形成し、これをフォトセンサ１２２とフォトセンサ１３２に領域分割して配置してもよい。

ただしこの第２の構成例では、通常画像撮像と測定光画像撮像の各駆動を独立で行なうことができるように、図示しない駆動制御回路を構成する必要がある。

こうすることで、フォトセンサ１３２の光学面（通常光の入射面）上に赤外光カットフィルタを設けることができる。これにより、通常画像用の照明条件に拘わらず、距離測定用の赤外光がフォトセンサ１３２に入射することを防止でき、被測定物の形状や距離を検出する情報を取り込む期間に何らの制約を受けないようにできる。

よって、通常画像用の照明条件に拘わらず、ブランキング期間ではなく撮像アクティブ期間に赤外光照明をして距離測定をしながら、同時に通常画像の撮像を行なうことが可能になる。カラー画像の撮像においても、赤外光の影響を何ら受けないので、色再現性が問題となることもない。

これにより、第１例の撮像素子１００を用いる場合と同様に、カラー動画像と３次元距離情報の両方を、毎秒１５フレームまたは３０フレームで取得可能となり、距離測定と通常画像取得との同時リアルタイム処理を実現することができるようになる。撮像デバイスとしてみれば、通常画像撮像と距離測定用の撮像のそれぞれに感光特性が最適化され、両機能用の画像の取得を兼ねたイメージセンサを提供可能となる。

＜撮像素子の第３例の構成＞
図５は、撮像素子１００の第３例の構成を示す図である。ここで、図５は、図３と同様に、１つのセル（画素）の断面構造を示している。この第３例の撮像素子１００は、図３に示した第１例の撮像素子１００に対して、その受光面側にｐ層を追加している点に特徴を有する。記憶保持部１４０や通常画像取得部３２０などについては、第１例と同様である。以下具体的に説明する
図示するように、第３例の撮像素子１００は、Ｎ+ 型不純物領域からなるフォトセンサ１３２の表面側の電荷蓄積層上にさらに、Ｐ+型不純物（第２導電型の不純物）領域からなるＰ型拡散層（正孔蓄積層）１３４が積層された、いわゆるＨＡＤ（Hole Accumulated Diode)構造となっている。Ｐ型拡散層１３４の膜厚は、０．１μｍ程度とすればよい。なおＨＡＤ構造の詳細については、たとえば特許文献２，３などを参照するとよい。

特開平５−３３５５４８号公報 特開２００３−７８１２５号公報

このように、第３例の撮像素子１００では、距離情報を得るための拡散層（本例ではフォトセンサ１２２）上に設けた画像情報を得るためのＮ型拡散層（フォトセンサ１３２）上にさらにＰ型拡散層１３４を設けてＨＡＤ構造にし、半導体基体表面１０２や素子分離界面のＳｉ端面をＰ型拡散層（フォトセンサ１２２とＰ型拡散層１３４）で囲むようにした。これにより、Ｓｉ端面の界面準位で発生するノイズ成分をＰ型拡散層で捕獲し、画像情報を得るためのＮ型拡散層（フォトセンサ１３２）に侵入させないようにすることができ、第１例の撮像素子１００よりも、画像のＳ／Ｎ比が向上し、画質が改善する。

＜撮像素子の第４例の構成＞
図６は、撮像素子１００の第４例の構成を示す図である。ここで、図６は、図３や図５と同様に、１つのセル（画素）の断面構造を示している。この第４例の撮像素子１００は、図５に示したＨＡＤ構造を有する第３例の撮像素子１００に対して、フォトセンサ１３２をなすＰ層１３２ａの外周に他の半導体層を追加している点に特徴を有する。記憶保持部１４０や通常画像取得部３２０などについては、第１例あるいは第３例と同様である。以下具体的に説明する。

図示するように、第４例の撮像素子１００は、半導体基板内において、フォトセンサ１２２およびフォトセンサ１３２からなるフォトダイオード１３１を取り囲むように、先ずフォトセンサ１２２の外側にＮ型拡散層１３６が、さらにその外側にＰ型拡散層１３８が設けられている。

このように、第４例の撮像素子１００では、距離情報を得るための拡散層（フォトセンサ１２２）上に設けた画像情報を得るためのＮ型拡散層（フォトセンサ１３２）上にさらにＰ型拡散層１３４を設けてＨＡＤ構造にし、半導体基体表面１０２や素子分離界面のＳｉ端面をＰ型拡散層（フォトセンサ１２２とＰ型拡散層１３４）で囲むとともに、フォトセンサ１２２を他の拡散層で囲むようにした。

これにより、Ｓｉ端面の界面準位で発生するノイズ成分をＰ型拡散層で捕獲できるとともに、画像情報を得るためのＮ型拡散層（フォトセンサ１３２）の周りのＰ型拡散層（フォトセンサ１２２）を、たとえばＧＮＤ（電気的な接地）などの固定電位に固定することができる。この結果、第３例の撮像素子１００よりも、さらにＳ／Ｎ比が向上し、画質が大幅に改善する。

第３例の撮像素子１００では、距離情報を得るためのＰ型拡散層（フォトセンサ１２２）が、距離情報を得る光電変換のため固定電位にできずノイズのバリア層としてのみ作用するのに対して、第４例の方がＳ／Ｎ比的には有利になる。ただし、素子構造が第３例よりも複雑となっているので、その分だけ工程数は第３例よりも第４例の方が長くなる。

なお、上述した第３例および第４例の構成は、第１例の構成に対する変形例として説明したが、第２例の構成に対する変形例として適用することも可能であり、第３例および第４例で説明したと同様の効果を享受することができる。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、上記実施形態では、赤外光を距離測定用に用いる事例を示したが、必ずしも赤外光に限らない。たとえば、紫外光を用いることもできる。このとき、画素ごとに、紫外光に対する感光特性がある距離画像撮像素子領域を通常画像撮像素子領域とは別に設ける。この場合、デバイスの深さ方向については、紫外光に対して感度の高い領域に距離画像撮像素子領域を形成する。

また、上記実施形態では、通常光（可視光）帯域とそれ以外の帯域の各波長に対して異なる受光感度特性を有する素子領域を画素ごとに領域分割して設けるとともに、この撮像デバイスを３次元計測システムに適用した事例を示したが、このような撮像デバイスの適用範囲は、３次元計測システムに限定されない。

たとえば、赤外光感応領域を用いた暗視カメラと、可視光感応領域を用いた通常カメラとを、共通の撮像デバイスを用いて実現することができる。受光光学系を共通にすることもできる。よって、それぞれ独立した撮像デバイスを用いて兼用カメラを構成する場合に比べて、コンパクトなカメラシステムを構築することができる。

本発明に係る撮像装置の第１実施形態を備えた距離測定システム（３次元計測システム）の構成を示す図である。 距離測定部において、スリット光の識別情報と光学像の位置情報とに基づいて測定対象物体の表面形状を特定する手法を説明する図である。 撮像素子の第１例の構成を示す図である。 撮像素子の第２例の構成を示す図である。 撮像素子の第３例の構成を示す図である。 撮像素子の第４例の構成を示す図である。

符号の説明

１…距離測定システム、４…測定対象物体、１０…撮像装置、２０…走査制御部（偏向照射部）、２０…走査制御部、２１…レーザ光源、２２…レンズ系、２３…ポリゴンミラー、２８…カウンタ、３０…信号処理部、１００…撮像素子、１０１…Ｎ型シリコン基板、１０２…半導体基体表面、１１０…撮像部、１２０…距離画像撮像領域、１２２…フォトセンサ、１３０…通常画像撮像領域、１３１…フォトダイオード、１３２…フォトセンサ、１３４…Ｐ型拡散層、１３６…Ｎ型拡散層、１３８…Ｐ型拡散層、１４０…記憶保持部、１４２…要素メモリ、１４４…入力バス、３１０…距離測定部、３２０…通常画像取得部、３３０…画像加工処理部

Claims (25)

1. 第１導電型の半導体基板と、
   前記半導体基板上に形成された第２導電型の半導体層と、
   予め定められている定常帯域の波長に対する感光部分である定常波長帯感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが、前記第２導電型の半導体層上に、画素ごとに領域分割して設けられた撮像部と、
   を備え、
   前記撮像部は、前記第１導電型の不純物を含む信号電荷蓄積層と前記信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するとともに、前記定常波長帯感光領域と前記帯域外感光領域を囲むように予め定められた極性の不純物を含む拡散層を有しており、
   前記定常波長帯感光領域にて得られる定常撮像信号と、前記帯域外感光領域にて得られる帯域外撮像信号とを区別して取り出し可能に構成されている
   固体撮像デバイス。
2. 前記定常波長帯感光領域と前記帯域外感光領域とが、当該固体撮像デバイスの深さ方向に領域分割されている
   請求項１に記載の固体撮像デバイス。
3. 前記定常帯域の波長は可視光領域の波長であり、かつ前記定常帯域以外の帯域の波長は、前記可視光よりも長波長のものであり、
   前記帯域外感光領域は、前記定常波長帯感光領域よりも受光面に対してより深い部分に形成されている
   請求項２に記載の固体撮像デバイス。
4. 前記定常波長帯感光領域と前記帯域外感光領域とが、前記画素ごとに、当該固体撮像デバイスの平面方向に領域分割されている
   請求項１に記載の固体撮像デバイス。
5. 第１導電型の半導体基板と、前記半導体基板上に形成された第２導電型の半導体層と、予め定められている定常帯域の波長に対する感光部分である定常波長帯感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが、前記第２導電型の半導体層上に、画素ごとに領域分割して設けられた撮像部と、を備え、前記撮像部は、前記第１導電型の不純物を含む信号電荷蓄積層と前記信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するとともに、前記定常波長帯感光領域と前記帯域外感光領域を囲むように予め定められた極性の不純物を含む拡散層を有し、波長に応じた前記感光領域から撮像信号を区別して取り出し可能に構成されている固体撮像デバイスを使用し、
   被写体に対する前記定常帯域の波長の電磁波の照射の元での前記定常波長帯感光領域からの撮像信号の読み出しと、前記定常帯域以外の波長の電磁波の前記被写体への照射の元での前記帯域外感光領域からの撮像信号の読み出しとを、前記定常波長帯感光領域からの撮像信号の読出サイクル内において、それぞれ異なるタイミングで行なう
   撮像方法。
6. 第１導電型の半導体基板と、前記半導体基板上に形成された第２導電型の半導体層と、予め定められている定常帯域の波長に対する感光部分である定常波長帯感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが、前記第２導電型の半導体層上に、画素ごとに領域分割して設けられた撮像部と、を備え、前記撮像部は、前記第１導電型の不純物を含む信号電荷蓄積層と前記信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するとともに、前記定常波長帯感光領域と前記帯域外感光領域を囲むように予め定められた極性の不純物を含む拡散層を有し、波長に応じた前記感光領域から撮像信号を区別して取り出し可能に構成されている固体撮像デバイスを使用し、
   被写体に対する前記定常帯域の波長の電磁波の照射の元で前記定常波長帯感光領域から撮像信号を読み出している過程で、前記定常帯域以外の波長の電磁波を前記被写体に照射して前記帯域外感光領域から撮像信号を読み出す
   撮像方法。
7. 第１導電型の半導体基板と、前記半導体基板上に形成された第２導電型の半導体層と、予め定められている定常帯域の波長に対する感光部分である定常波長帯感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが、前記第２導電型の半導体層上に、画素ごとに領域分割して設けられた撮像部と、を備え、前記撮像部は、前記第１導電型の不純物を含む信号電荷蓄積層と前記信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するとともに、前記定常波長帯感光領域と前記帯域外感光領域を囲むように予め定められた極性の不純物を含む拡散層を有し、波長に応じた前記感光領域から撮像信号を区別して取り出し可能に構成されている固体撮像デバイスと、
   前記定常波長帯感光領域と前記帯域外感光領域とから、独立に撮像信号を取り出すための読出制御信号を前記画素ごとに与える読出駆動制御部と、
   を備え、
   前記読出駆動制御部は、
   被写体に対する前記定常帯域の波長の電磁波の照射の元で前記定常波長帯感光領域からの撮像信号の読み出しと、前記定常帯域以外の波長の電磁波を前記被写体に照射して前記帯域外感光領域からの撮像信号の読み出しとを、前記定常波長帯感光領域からの撮像信号の読出サイクル内において、それぞれ異なるタイミングで行なう
   撮像装置。
8. 前記読出駆動制御部は、前記定常波長帯感光領域からの撮像信号の読み出しを行なうための駆動部と前記帯域外感光領域からの撮像信号の読み出しを行なうための駆動部とを、独立に有している
   請求項７に記載の撮像装置。
9. 第１導電型の半導体基板と、前記半導体基板上に形成された第２導電型の半導体層と、予め定められている定常帯域の波長に対する感光部分である定常波長帯感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが、前記第２導電型の半導体層上に、画素ごとに領域分割して設けられた撮像部と、を備え、前記撮像部は、前記第１導電型の不純物を含む信号電荷蓄積層と前記信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するとともに、前記定常波長帯感光領域と前記帯域外感光領域を囲むように予め定められた極性の不純物を含む拡散層を有し、波長に応じた前記感光領域から撮像信号を区別して取り出し可能に構成されている固体撮像デバイスと、
   前記定常波長帯感光領域と前記帯域外感光領域とから、独立に撮像信号を取り出すための読出制御信号を前記画素ごとに与える読出駆動制御部であって、前記定常波長帯感光領域からの撮像信号の読み出しを行なうための駆動部と前記帯域外感光領域からの撮像信号の読み出しを行なうための駆動部とを独立に有している読出駆動制御部と
   を備え、
   前記読出駆動制御部は、
   被写体に対する前記定常帯域の波長の電磁波の照射の元で前記定常波長帯感光領域から撮像信号を読み出している過程で、前記定常帯域以外の波長の電磁波を前記被写体に照射して前記帯域外感光領域から撮像信号を読み出す
   撮像装置。
10. 第１導電型の半導体基板と、前記半導体基板上に形成された第２導電型の半導体層と、可視光帯域の波長に対する感光部分である可視光感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが、前記第２導電型の半導体層上に、画素ごとに領域分割して設けられた撮像部と、を備え、前記撮像部は、前記第１導電型の不純物を含む信号電荷蓄積層と前記信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するとともに、前記定常波長帯感光領域と前記帯域外感光領域を囲むように予め定められた極性の不純物を含む拡散層を有し、波長に応じた前記感光領域から撮像信号を区別して取り出し可能に構成されている固体撮像デバイスを使用し、
    測定対象物体の表面に測定光を投射し、前記測定対象物体からの反射光を前記帯域外感光領域にて受光することで撮像面を構成する画素を通過するタイミングを検出して、前記測定対象物体までの距離を測定する
    距離測定方法。
11. 前記測定対象物体からの反射光としての前記可視光を前記可視光感光領域にて受光することで前記測定対象物体の濃淡値または色を表す通常画像を取得し、
    求めた前記測定対象物体までの距離に基づいて、前記通常画像を加工する
    請求項１０に記載の距離測定方法。
12. 前記測定光を前記測定対象物体の表面に沿って走査し、
    前記測定光による前記測定対象物体の表面の光学像を前記固体撮像デバイスの受光面上に結像させ、
    前記測定光の走査にともなって前記撮像面上に結像する前記光学像の位置情報を前記帯域外感光領域にて画素ごとの光検出信号としてリアルタイムで検出し、
    この光検出時に前記測定光の走査方向を示す識別情報を画素ごとに記憶し、
    前記測定光の走査中に得られる前記位置情報と前記識別情報の組合せとに基づいて、前記測定対象物体の形状を求める
    請求項１０に記載の距離測定方法。
13. 前記測定対象物体の表面にスリット光を投射し、前記測定対象物体からの反射光に対応した光検出信号を前記帯域外感光領域にて検知する
    請求項１０に記載の距離測定方法。
14. 前記帯域外感光領域が、前記可視光感光領域よりも受光面に対してより深い部分に形成されている前記固体撮像デバイスを使用し、
    前記測定光として前記可視光よりも長波長のものを使用する
    請求項１０に記載の距離測定方法。
15. 前記測定対象物体からの前記可視光帯域の反射光を前記可視光感光領域にて受光する通常撮像信号の読み出しと、前記測定光を前記測定対象物体に照射することによる前記帯域外感光領域からの撮像信号の読み出しとを、前記可視光感光領域からの撮像信号の読出サイクル内において、それぞれ異なるタイミングで行なう
    請求項１０に記載の距離測定方法。
16. 前記測定対象物体からの前記可視光帯域の反射光を前記可視光感光領域にて受光することで通常撮像信号を読み出している過程で、前記測定光を前記測定対象物体に照射して前記帯域外感光領域から撮像信号を読み出す
    請求項１０に記載の距離測定方法。
17. 第１導電型の半導体基板と、前記半導体基板上に形成された第２導電型の半導体層と、可視光帯域の波長に対する感光部分である可視光感光領域と、それ以外の帯域の波長に対する感光部分である帯域外感光領域とが、前記第２導電型の半導体層上に、画素ごとに領域分割して設けられた撮像部と、を備え、前記撮像部は、前記第１導電型の不純物を含む信号電荷蓄積層と前記信号電荷蓄積層上に形成された第２導電型の不純物を含む正孔蓄積層を有するとともに、前記定常波長帯感光領域と前記帯域外感光領域を囲むように予め定められた極性の不純物を含む拡散層を有し、波長に応じた前記感光領域から撮像信号を区別して取り出し可能に構成されている固体撮像デバイスと、
    前記可視光感光領域と前記帯域外感光領域とから、独立に撮像信号を取り出すための読出制御信号を前記画素ごとに与える読出駆動制御部と、
    前記読出駆動制御部による制御の元で読み出される前記帯域外感光領域からの撮像信号に基づいて、前記測定対象物体までの距離を測定する距離測定部と、
    を備え、
    測定対象物体の表面に測定光を投射し、前記測定対象物体からの反射光を前記帯域外感光領域にて受光することで撮像面を構成する画素を通過するタイミングを検出して、前記測定対象物体までの距離を測定する
    距離測定システム。
18. 前記測定対象物体からの反射光としての前記可視光を前記可視光感光領域にて受光することで前記測定対象物体の濃淡値または色を表す通常画像を取得する通常画像取得部と、
    前記距離測定部が求めた前記測定対象物体までの距離に基づいて、前記通常画像取得部が取得した前記通常画像を加工する画像加工処理部と、
    を備えた請求項１７に記載の距離測定システム。
19. 前記距離測定部と前記通常画像取得部とが、前記固体撮像デバイスとともに共通の半導体基板上に形成されている
    請求項１８に記載の距離測定システム。
20. 測定光を所定の走査制御下で前記測定対象物体の表面に向けて偏向走査する偏向照射部と、
    前記偏向照射部によって偏向された測定光の偏向位置をリアルタイムで検出し、その情報を測定光の走査方向を示す識別情報として出力する識別情報検出部と、
    前記測定光の偏向に応じて前記固体撮像デバイスの各画素の前記帯域外感光領域からの光応答出力をトリガとして、このときの測定光の識別情報を保持する記憶部と、
    を備え、
    前記距離測定部は、前記測定光の走査中に得られる前記位置情報と前記識別情報の組合せとに基づいて、前記測定対象物体の形状を求める
    請求項１７に記載の距離測定システム。
21. 前記識別情報検出部と、前記記憶部と、前記距離測定部とが、前記固体撮像デバイスとともに共通の半導体基板上に形成されている
    請求項２０に記載の距離測定システム。
22. 前記偏向照射部は、前記測定対象物体の表面にスリット光を投射する
    請求項２０に記載の距離測定システム。
23. 前記固体撮像デバイスは、前記帯域外感光領域が、前記可視光感光領域よりも受光面に対してより深い部分に形成されており、
    前記偏向照射部は、前記測定光として前記可視光よりも長波長のものを前記測定対象物体の表面に投射する
    請求項２０に記載の距離測定システム。
24. 前記測定対象物体に対する前記可視光の照射の元での前記可視光感光領域からの撮像信号の読み出しと、前記測定光を前記測定対象物体に照射の元での前記帯域外感光領域からの撮像信号の読み出しとを、前記可視光感光領域からの撮像信号の読出サイクル内において、それぞれ異なるタイミングで行なう
    請求項１７に記載の距離測定システム。
25. 前記測定対象物体に対する前記可視光の照射の元で前記可視光感光領域から撮像信号を読み出している過程で、前記測定光を前記測定対象物体に照射して前記帯域外感光領域から撮像信号を読み出す
    請求項１７に記載の距離測定システム。

Images