JP4534670B2 - カメラ装置およびそれを用いたテレビインターホン用子機 - Google Patents

Description

本発明は、カメラ装置およびそれを用いたテレビインターホン用子機に関するものである。

従来から、一般住宅用のテレビインターホンとして、屋内に設置されるテレビインターホン用親機と、戸外に設置されるテレビインターホン用子機とを信号線を介して接続して使用するものが提供されている。ここにおいて、テレビインターホン用子機は、来訪者を撮像する撮像手段としての撮像カメラと、通話用のマイクロホンおよびスピーカと、テレビインターホン用親機において呼出音を発生させるための操作を行う呼出釦とを備え、撮像カメラにより出力される映像信号をテレビインターホン用親機のテレビに表示可能とするように構成されている（例えば、特許文献１参照）。

なお、上記特許文献１に開示されたテレビインターホンでは、テレビインターホン用子機の撮像カメラとしてＴＶカメラを用いており、テレビインターホン用親機のテレビの画面にはＴＶカメラで撮像した濃淡画像が表示される。
特開平１０−２２４４９１号公報

ところで、上記特許文献１に開示されたテレビインターホンでは、テレビインターホン用子機のＴＶカメラにより対象空間を撮像して得られる画像が濃淡画像なので、対象空間の明るさや背景によっては撮像手段としての撮像カメラの露出が不適当となって来訪者の顔を見づらい場合があった。

本発明は上記事由に鑑みて為されたものであり、その目的は、対象空間の明るさや背景によらず、撮像手段の露出を自動的に適正露出に制御することができるカメラ装置およびそれを用いたテレビインターホン用子機を提供することにある。

請求項１の発明は、強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間に照射された光が対照空間内の物体で反射され各感光部で受光されるまでの強度変調光の位相差を物体までの距離に換算した距離値を画素値とする距離画像を生成する距離画像生成手段と、各感光部それぞれの受光光量の平均値である濃淡値を画素値とし各画素が距離画像の各画素と１対１で対応する濃淡画像を生成する濃淡画像生成手段と、距離画像生成手段で生成された距離画像の所定領域内で距離値が最小となる画素を基準画素として検出する基準画素検出手段と、基準画素検出手段にて検出された基準画素を基準として設定した距離画像の特定領域について距離値が規定範囲内にある画素を抽出する画素抽出手段と、画素抽出手段にて抽出した距離画像の各画素それぞれに１対１で対応する画素の集まりからなる濃淡画像に基づいて撮像手段の露出を適正露出に制御する露出制御手段とを備えて成ることを特徴とする。なお、対象空間に存在する物体とは人体を含むものである。

この発明によれば、対象空間の明るさや背景によらず、撮像手段の露出を自動的に適正露出に制御することができる。

請求項２の発明は、請求項１の発明において、前記画素抽出手段にて抽出した距離画像の各画素それぞれに１対１で対応する濃淡画像の画素の平均濃淡値を計算する平均濃淡値算出手段を備え、前記露出制御手段は、平均濃淡値算出手段にて算出された平均濃淡値に基づいて前記撮像手段の露出を適正露出に制御することを特徴とする。

この発明によれば、前記画素抽出手段にて抽出した距離画像の各画素それぞれに１対１で対応する濃淡画像の画素の平均濃淡値に基づいて前記撮像手段の露出が適正露出に制御される。

請求項３の発明は、請求項１または請求項２の発明において、前記画素抽出手段は、前記規定範囲の下限を前記基準画素の距離値とし当該距離値に所定値を加算した値を前記規定範囲の上限とすることを特徴とする。

この発明によれば、前記基準画素に関係する物体（つまり、最短距離にある物体）のみを抽出することが可能となる。

請求項４の発明は、来訪者を撮像する撮像カメラを備え、撮像カメラで撮像された来訪者をテレビインターホン用親機のテレビに表示させるとともにテレビインターホン親機との間で通話可能なテレビインターホン用子機であって、撮像カメラとして請求項１ないし請求項３のいずれか１項に記載のカメラ装置を備えてなることを特徴とする。

この発明によれば、戸外の明るさや背景によらず、テレビインターホン用親機のテレビに表示される濃淡画像の明るさが適正に調節されて見やすくなり、撮像カメラで撮像されている人を家人が認識しやすくなる。

請求項５の発明は、請求項４の発明において、前記カメラ装置の距離画像に対して設定された警戒領域について距離値が警戒距離範囲内にある画素の集まりを物体として抽出する物体抽出手段と、物体抽出手段により抽出された物体の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量に基づいて物体が人体であるか否かを判定する人体判定手段と、人体判定手段により物体が人体であると判定されたときに前記テレビインターホン用親機へ通知する通知制御手段とを備え、特徴量抽出手段は、特徴量として円をテンプレートに用いてパターンマッチングを行い類似度の高い部位を抽出し、抽出された特徴量の面積を閾値と大小比較することにより物体が人体であるか否かを判定することを特徴とする。

この発明によれば、物体抽出手段により抽出された物体が人体であると判定されて前記テレビインターホン用親機へ通知されるので、通知を受けたテレビインターホン用親機が前記カメラ装置で撮像された画像を表示させたり、発光ダイオードなどの発光素子を点灯させたり、鳴動装置を鳴動させたりするようにすれば、家人に注意を促すことができ、また、猫や犬などの小動物が近づいたときに物体抽出手段により抽出された物体が人体ではないと判定されるから、前記テレビインターホン用親機へ通知されるのを防止することができる。

請求項６の発明は、請求項５の発明において、人体から放射される熱線を検知する熱線センサを用いて検知エリア内の人の存否を検出する人感センサを備え、人感センサから人の検知信号を受けたときに前記カメラ装置の動作を開始することを特徴とする。

この発明によれば、人感センサによる検知信号が発生しなければ前記カメラ装置の動作が開始されないので、省電力化を図れる。

請求項７の発明は、請求項５または請求項６の発明において、不審者を警戒する警戒モードを設定する警戒モード設定手段を備え、前記物体抽出手段は、警戒モード設定手段により警戒モードが設定された後に動作することを特徴とする。

この発明によれば、前記物体抽出手段は警戒モード設定手段により警戒モードが設定された後でなければ動作しないので、省電力化を図れる。

請求項１の発明では、対象空間の明るさや背景によらず、撮像手段の露出を自動的に適正露出に制御することができるという効果がある。

請求項４の発明では、戸外の明るさや背景によらず、テレビインターホン用親機のテレビに表示される濃淡画像の明るさが適正に調節されて見やすくなり、撮像カメラで撮像されている人を家人が認識しやすくなるという効果がある。

（実施形態１）
本実施形態のテレビインターホン用子機は、撮像カメラで撮像された来訪者をテレビインターホン用親機のテレビに表示させるとともにテレビインターホン用親機との間で通話可能なテレビインターホン用子機であって、撮像カメラとして図１に示す構成のカメラ装置を備えている。なお、テレビインターホン用子機における撮像カメラ以外の構成要素については周知の構成を適宜採用すればよい。

以下、カメラ装置を説明するにあたり、まず、カメラ装置で用いる距離画像センサＤＳの構成について説明する。

距離画像センサＤＳは、対象空間に光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子１を備える。対象空間に存在する物体Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから物体Ｏｂでの反射光が光検出素子１に入射する（到達する）までの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間はナノ秒レベルの非常に短い時間であるから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。

すなわち、図４（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψが飛行時間に相当するから、位相差ψを求めることにより物体Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。例えば、曲線イにおける位相が０度、９０度、１８０度、２７０度のタイミングで求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の時間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、物体Ｏｂまでの距離が変化せず）、かつ物体Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは外光成分、ωは角振動数、δは位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を時間Ｔｗの積算値ではなく瞬時値とすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
ここに、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
ψ＝ｔａｎ^−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝ …（式１）
式１では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として時間Ｔｗにおける積算値を用いても式１で位相差ψを求めることができる。

上述のように対象空間に照射する光の強度を変調するために、発光源２としては、例えば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、例えば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。

光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系８が配置される。感光部１１は光検出素子１において対象空間からの光が受光光学系８を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。また、感光部１１は、平面格子の格子点上に配置され、例えば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。

受光光学系８は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系８を通して各感光部１１に光が入射する範囲を、受光光学系８の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する物体Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系８の光軸を基準方向として物体Ｏｂの存在する方向を知ることができる。

受光光学系８は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系８の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系８の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する物体Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系８は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。

本実施形態では、上述のように、物体Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１において利用できる電荷を生成する領域の面積を変化させることにより各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。

各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。

ところで、感度制御部１２は感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部１３に集積された電荷は必ずしも受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が蓄積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が蓄積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、Ａ２−Ａ０＝（α−β）（Ａ２−Ａ０）になり、同様にしてＡ１−Ａ３＝（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。

感光部１１と感度制御部１２と電荷集積部１３とを備える光検出素子１は１つの半導体装置として構成され、光検出素子１には電荷集積部１３に集積された電荷を半導体装置の外部に取り出すために電荷取出部１４が設けられる。電荷取出部１４はＣＣＤイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。

上述したように各感光部１１では受光光量に応じた量の電荷を生成するから、上述した各受光光量Ａ０、Ａ１、Ａ２、Ａ３は物体Ｏｂの明るさを反映している。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３の加算値あるいは平均値は濃淡画像における濃度値に相当する。換言すれば、各感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３から物体Ｏｂまでの距離を求めるほか、物体Ｏｂの濃度値も得ることが可能になる。しかも、同じ位置の感光部１１を用いて物体Ｏｂの距離と濃度値とを求めるから、同じ位置について濃度値と距離との両方の情報を得ることが可能になる。

電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において対象空間内の物体Ｏｂまでの距離が上述した式１を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３から算出される。すなわち、画像生成部４では各感光部１１に対応した各方向における物体Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。また、画像生成部４では各感光部１１で得られた濃度値に基づいて対象空間の濃淡画像を生成する。すなわち、画像生成部４は濃淡画像と距離画像とを生成する。なお、濃淡画像は受光光量Ａ０、Ａ１、Ａ２、Ａ３の平均値を濃淡値に用いるようにすれば、発光源２からの光の影響を除去できる。

この構成によって、光検出素子１に設けた感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３から対象空間の濃淡値と距離値とを求めることができ、ほぼ同時刻の濃淡画像と距離画像とを得ることができる。しかも濃淡画像と距離画像との各画素は対象空間の同じ方向の情報を持つ（距離画像の各画素と濃淡画像の各画素とが１対１で対応している）から、濃淡画像と距離画像とから得られる情報を併せて用いることにより、濃淡画像のみを用いる場合よりも対象空間に関して多くの情報を得ることができる。

以下に光検出素子１の具体的構造例を説明する。図５に示す光検出素子１は、複数個（例えば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、１枚の半導体基板上に形成される。感光部１１のうち垂直方向の各列では一体に連続する半導体層２１を共用するとともに半導体層２１を垂直方向への電荷（本実施形態では、電子を用いる）の転送経路として用い、さらに各列の半導体層２１の一端から電荷を受け取って水平方向に電荷を転送するＣＣＤである水平転送部Ｔｈ（図６参照）を半導体基板に設ける構成を採用することができる。

すなわち、図６に示すように、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造であって、フレーム・トランスファ（ＦＴ）方式のＣＣＤイメージセンサと類似した構造になる。また、ＦＴ方式のＣＣＤイメージセンサと同様に、感光部１１を配列した撮像領域Ｄａに隣接して遮光された蓄積領域Ｄｂを設けてあり、蓄積領域Ｄｂに蓄積した電荷を水平転送部Ｔｈに転送する。撮像領域Ｄａから蓄積領域Ｄｂへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Ｔｈでは１水平期間に１水平ライン分の電荷を転送する。図１に示した電荷取出部１４は、半導体層２１における垂直方向への電荷の転送経路としての機能とともに水平転送部Ｔｈを含む機能を表している。ただし、電荷集積部１３は蓄積領域Ｄｂを意味するのではなく、撮像領域Ｄａにおいて電荷を集積する機能を表している。言い換えると、蓄積領域Ｄｂは電荷取出部１４に含まれる。

半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図５は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図５の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送部は、図５の左右方向に電荷を転送することを想定しているが、図５の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図５の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。

この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部でのホールとの再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部でのホールとの再結合により消滅する。

ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。例えば、図５（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図５（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図５（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図５（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。なお、感度制御部１２は制御回路部３により制御される。

ポテンシャル井戸２４から電荷を取り出すには、ＦＴ方式のＣＣＤと同様の技術を採用すればよく、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（例えば、図５の右方向）に転送することができる。つまり、半導体層２１をＣＣＤの垂直転送部と同様に電荷の転送経路に用いることができる。さらに、電荷は図６に示した水平転送部Ｔｈを転送され、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。要するに、制御電極２３への制御電圧の印加パターンを制御することにより、各感光部１１ごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。

本実施形態における感度制御部１２は、利用できる電荷を生成する領域の面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする期間にのみ高感度とし（電荷を生成する領域の面積を大きくし）、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源２を駆動する変調信号に同期させて設定される。また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（例えば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と雑音電荷（外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。

ところで、位相差ψを求めるのに必要な４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４種類の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、本実施形態では、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用している。つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしている。

上述の構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している物体Ｏｂについても距離の検出精度を比較的高く保つことができる。なお、本実施形態の構成では、１個の感光部１１で４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系８の設計によって向上させることが可能である。

以下に動作を具体的に説明する。図５に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するためのポテンシャルの障壁を形成するものであって、２個の感光部１１を組にして用いる場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。

ここでは、図７に示すように、組にした２個の感光部１１にそれぞれ設けた３個ずつの制御電極２３を区別するために各制御電極２３に（１）〜（６）の数字を付す。（１）〜（６）の数字を付与した制御電極２３を有する２個の感光部１１は、１つの視線方向に対応しておりイメージセンサにおける画素を構成する。なお、１画素ずつの感光部１１に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。

図７（ａ）（ｂ）はそれぞれ制御電極２３に異なる印加パターンで制御電圧＋Ｖを印加した状態（半導体基板に設けた図示しない基板電極と制御電極２３との間に制御電圧＋Ｖを印加した状態）を示しており、ポテンシャル井戸２４の形状からわかるように、図７（ａ）では１画素となる２個の感光部１１のうち制御電極（１）〜（３）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）のうちの中央の制御電極（５）に正の制御電圧＋Ｖを印加している。また、図７（ｂ）では制御電極（１）〜（３）のうちの中央の制御電極（２）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）に正の制御電圧＋Ｖを印加している。つまり、１画素を構成する２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを交互に入れ換えている。２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを入れ換えるタイミングは、変調信号における逆位相の（位相が１８０度異なる）タイミングになる。なお、各感光部１１に設けた３個の制御電極２３に同時に制御電圧＋Ｖを印加している期間以外は、各感光部１１に設けた中央部の１個の制御電極２３（つまり、制御電極（２）（５））にのみ制御電圧＋Ｖを印加し、他の制御電極２３は０Ｖに保つ状態とする。

例えば、１画素を構成する２個の感光部１１において受光光量Ａ０、Ａ２に対応する電荷を交互に生成する場合は、図４のように、一方の感光部１１で受光光量Ａ０に対応する電荷を生成するために３個の制御電極（１）〜（３）に制御電圧＋Ｖを印加している間に、他方の感光部１１では受光光量Ａ２に対応する電荷を保持するために１個の制御電極（５）にのみ制御電圧＋Ｖを印加する。同様にして、一方の感光部１１で受光光量Ａ２に対応する電荷を生成するために３個の制御電極（４）〜（６）に制御電圧＋Ｖを印加している間には、他方の感光部１１では受光光量Ａ０に対応する電荷を保持するために１個の制御電極（２）にのみ制御電圧＋Ｖを印加する。また、受光光量Ａ０、Ａ２に対応する電荷を生成する期間以外では制御電極（２）（５）にのみ制御電圧＋Ｖを印加する。図４（ｂ）（ｃ）に受光光量Ａ０、Ａ２に対応する電荷を蓄積する際の各制御電極（１）〜（６）に対する制御電圧＋Ｖの印加のタイミングを示す。図４（ｂ）（ｃ）において斜線部が制御電圧＋Ｖを印加している状態を示し、空白部が制御電極（１）〜（６）に電圧を印加していない状態を示している。

１画素を構成する２個の感光部１１において受光光量Ａ１、Ａ３に対応する電荷を生成する場合も同様であって、受光光量Ａ０、Ａ２に対応する電荷を生成する場合とは制御電極２３に制御電圧＋Ｖを印加するタイミングが、変調信号の位相における９０度異なる点が相違するだけである。また、受光光量Ａ０、Ａ１に対応する電荷を生成する期間と、受光光量Ａ１、Ａ３に対応する電荷を生成する期間との間で撮像領域Ｄａから蓄積領域Ｄｂに電荷を転送する。つまり、受光光量Ａ０に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ２に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ０、Ａ２に対応する電荷を外部に取り出す。次に、受光光量Ａ１に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ３に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ１、Ａ３に対応する電荷を外部に取り出す。このような動作を繰り返すことによって、４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２回の読出動作で光出力素子１の外部に取り出すことができ、取り出した電荷を用いて位相差ψを求めることが可能になる。なお、例えば３０フレーム毎秒の画像を得るためには、受光光量Ａ０、Ａ２に対応する電荷を生成する期間と受光光量Ａ１、Ａ３に対応する電荷を生成する期間とは６０分の１秒よりも短い期間とする。

上述の例では３個の制御電極２３（（１）〜（３）または（４）〜（６））に同時に印加する制御電圧と、１個の制御電極２３（（２）または（５））にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸２４の面積は変化するもののポテンシャル井戸２４の深さは等しくなっている。この場合、制御電圧を印加していない制御電極２３（（１）（３）または（４）（６））において生成された電荷は、同程度の確率でポテンシャル井戸２４に流れ込む。つまり、感光部１１を構成する３個の制御電極２３のうちの１個にのみ制御電圧＋Ｖを印加することによって電荷集積部１３として機能している領域と、３個の制御電極２３のすべてに制御電圧＋Ｖを印加している領域との両方に同程度の量の電荷が流れ込む。つまり、電荷を保持しているポテンシャル井戸２４に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。

そこで、図８のように、小面積のポテンシャル井戸２４の深さを大面積のポテンシャル井戸２４の深さよりも小さく設定するのが望ましく、組になる２個の感光部１１に設けた各３個の制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧が、１個の制御電極（２）または（５）にのみ印加する制御電圧よりも高くなるように設定するのが望ましい。このように、主として電荷（電子ｅ）を生成しているポテンシャル井戸２４を、主として電荷の保持を行っているポテンシャル井戸２４よりも深くすることにより、制御電圧を印加していない制御電極（１）（３）または（４）（６）に対応する部位で生じた電荷は、深いほうのポテンシャル井戸２４に流れ込みやすくなる。つまり、制御電極２３に一定の制御電圧＋Ｖを印加する場合に比較すると、電荷を保持するポテンシャル井戸２４に流れ込む雑音成分を低減することができる。

なお、上述した距離画像センサＤＳの構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４期間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４期間は９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４期間の受光光量に対応した電荷を取り出す周期は、物体Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４個の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。図７、図８を用いて説明した構成例では、感光部１１ごとに３個ずつの制御電極２３を対応付けているが、制御電極２３を４個以上設けるようにしてもよい。また、上述の例ではＦＴ方式のＣＣＤイメージセンサと同様の構成を採用しているが、インターライン・トランスファ（ＩＴ）方式、フレーム・インターライン・トランスファ（ＦＩＴ）方式と同様の構成を採用することも可能である。

なお、本実施形態では、距離画像を生成する際の光検出素子１への外光成分の入射を低減するために、発光源２から赤外線を対象空間に照射し、光検出素子１の前方に赤外線透過フィルタを配置しているものとする。したがって、濃淡画像は赤外線に対する濃淡画像になる。

以上説明した距離画像センサＤＳは、画像生成部４から距離画像および濃淡画像が出力され、本実施形態では、上述の距離画像センサＤＳが、対象空間を撮像する撮像手段を有し対象空間の濃淡画像を生成する濃淡画像生成手段と、対象空間に存在する物体Ｏｂまでの距離値を画素値とする距離画像を生成する距離画像生成手段とを構成している。

いま、図２に示すように、距離画像センサＤＳの対象空間に来訪者Ｍ（物体Ｏｂ）が入って図示しない呼出釦を押すとテレビインターホン親機からテレビインターホン用子機へ電源が供給され、カメラ装置から出力される濃淡画像が映像信号としてテレビインターホン用親機へ伝送されてテレビインターホン用親機のテレビに表示される。ここにおいて、テレビインターホン用子機のカメラ装置は、図３（ａ）に示すように距離画像生成手段で生成された距離画像Ｇ１の所定領域Ｅ内（図２において２本の一点鎖線で囲まれた空間に相当する）で距離が最小となる画素Ｐｍ（図２に示すように物体Ｏｂにおいて距離画像センサＤＳからの距離値が最小となる最近傍点Ｑｍに対応する画素）を基準画素として検出する基準画素検出手段５と、基準画素検出手段５にて検出された基準画素Ｐｍを基準として設定した距離画像Ｇ２の特定領域Ｆについて距離値が規定範囲Ｌ１〜Ｌ２内（図２において２本の破線と２本の一点鎖線とで囲まれた空間に相当する）にある画素を抽出する画素抽出手段６とを備えている。ここにおいて、画素抽出手段６が、上記規定範囲の下限を基準画素の距離値とし当該距離値に所定値（例えば、１０ｃｍ）を加算した値を規定範囲の上限とするようにすれば、基準画素に関係する物体（つまり、最短距離にある物体）のみを抽出することが可能となる。なお、図３（ａ）の距離画像Ｇ１は、距離値範囲に応じて画素の色を３段階に変化させた例を示したものであって、最も近い距離値範囲にある画素が黒色、２番目に近い距離値範囲にある画素を灰色、３番目に近い距離値範囲にある画素を白色で示してあり、図３（ｂ）において黒色で示された領域が画素抽出手段６にて抽出された画素の集まりを示している。

また、カメラ装置は、濃淡画像生成手段で生成された濃淡画像を記憶するメモリからなる濃淡画像記憶手段７と、濃淡画像記憶手段７に記憶されている濃淡画像を読み出して画素抽出手段６にて抽出した距離画像の各画素それぞれに１対１で対応する濃淡画像の画素の平均濃淡値（平均輝度）を計算する平均濃淡値算出手段９と、平均濃淡値算出手段９にて算出された平均濃淡値に基づいて撮像手段の露出を適正露出に制御する露出制御手段１０とを備えている。要するに、露出制御手段１２は、画素抽出手段６にて抽出した距離画像の各画素それぞれに１対１で対応する画素の集まりからなる濃淡画像に基づいて撮像手段の露出を適正露出に制御する。ここにおいて、露出制御手段１０は、上述の制御回路部３を介して発光源２の出力を制御したり感度制御部１２を制御することにより撮像手段の露出を適正露出に制御する。本実施形態のカメラ装置では、上述の説明から分かるように距離画像センサＤＳが対象空間を撮像する撮像手段を兼ねているが、距離画像センサＤＳとは別体のカラー撮像素子（例えば、カラーＣＣＤなど）を撮像手段として距離画像センサＤＳの近傍に配置した構成として、カラー撮像素子にて撮像して得られたカラー画像をテレビインターホン用親機のテレビに表示させるようにし、露出制御手段１０がカラー撮像素子の露出を適正露出に制御するようにしてもよい。なお、基準画素検出手段５、画素抽出手段６、平均濃淡値算出手段９および露出制御手段１０は、例えば、マイクロコンピュータに適宜のソフトウェアを搭載することにより実現できる。

しかして、本実施形態におけるカメラ装置では、対象空間の明るさや背景によらず、撮像手段の露出を自動的に適正露出に制御することができるので、本実施形態のテレビインターホン用子機では、戸外の明るさや背景によらず、テレビインターホン用親機のテレビに表示される濃淡画像の明るさが適正に調節されて見やすくなり、撮像カメラとしてのカメラ装置で撮像されている人を家人が認識しやすくなる。

（実施形態２）
本実施形態のテレビインターホン用子機の基本構成は実施形態１と略同じであって、図９に示すように、不審者を警戒する警戒モードを設定する警戒モード設定手段３１と、警戒モード設定手段３１により警戒モードが設定された後にカメラ装置における距離画像センサＤＳの距離画像に対して設定された警戒領域（図１０中の２本の一点鎖線で囲まれた領域）について距離値が警戒距離範囲Ｌ３〜Ｌ４内（図１０中の２本の破線で囲まれた距離範囲内）にある画素の集まりを物体として抽出する物体抽出手段３２と、物体抽出手段３２により抽出された物体の特徴量を抽出する特徴量抽出手段３３と、特徴量抽出手段３３により抽出された特徴量に基づいて物体が人体であるか否かを判定する人体判定手段３４と、人体判定手段３４により物体が人体であると判定されたときにテレビインターホン用親機へ通知する通知制御手段３５とを備えている点に特徴がある。ここに、物体抽出手段３２、特徴量抽出手段３３、人体判定手段および呼出制御手段３５は、実施形態１にて説明したマイクロコンピュータに適宜のソフトウェアを搭載することにより実現でき、警戒モード設定手段３１は例えばスイッチにより構成すればよい。なお、実施形態１と同様の構成要素については図示および説明を省略する。

物体抽出手段３２では、上述の警戒領域と警戒距離範囲とで規定される限定警戒エリア（図１０における斜線部）に存在する物体Ｏｂを抽出することができるので、特徴量抽出手段３３において例えば特徴量として円をテンプレートに用いてパターンマッチングを行い類似度の高い部位を抽出するようにすれば、特徴量抽出手段３３により抽出された特徴量の面積を適宜の閾値と大小比較することにより物体Ｏｂが人体であるか小動物であるかを判定することが可能となる。

しかして、本実施形態のテレビインターホン用子機では、家人が警戒モード設定手段３１により警戒モードを設定しておけば、上述の警戒領域と警戒距離範囲とで規定される限定警戒エリア（図１０における斜線部）に例えば不審者からなる物体Ｏｂが近づいて入ったときには物体抽出手段３２により物体Ｏｂが抽出され、物体抽出手段３２により抽出された物体Ｏｂが人体判定手段３４にて人体であると判定されてテレビインターホン用親機へ通知されるので、通知を受けたテレビインターホン用親機が例えばカメラ装置で撮像された画像をテレビに表示させたり、発光ダイオードなどの発光素子を点灯させたり、鳴動装置（例えば、ブザーなど）を鳴動させたりするようにすれば、家人に注意を促すことができ、また、限定警戒エリアに猫や犬などの小動物からなる物体Ｏｂが近づいて入ったときには物体抽出手段３２により物体Ｏｂが抽出され、物体抽出手段３２により抽出された物体Ｏｂが人体判定手段３４にて人体ではないと判定されるから、テレビインターホン用親機へ通知されるのを防止することができる。

ところで、上述のテレビインターホン用子機に、人体から放射される熱線を検知する熱線センサ（焦電形赤外線センサ）を用いて検知エリア内の人の存否を検出する人感センサ（図示せず）を設けて、距離画像センサＤＳの制御回路部３が人感センサによる検知信号を受けたときにカメラ装置の動作を開始し（つまり、発光源２による対象空間への光の照射を開始し）、その後、物体抽出手段３２の動作を開始するようにしてもよい。なお、焦電形赤外線センサは微分形のセンサであって、受光した熱線量の変化に応じた振幅の出力電圧を発生させるものであり、熱線センサの出力電圧に規定の閾値以上の変化が生じると人感センサからはパルス状の検知信号が出力されるようになっている。

このように人感センサの検知信号に応じてカメラ装置の動作を開始させる（カメラ装置を起動する）ようにすれば、警戒モード設定手段３１により警戒モードが設定されていても、人感センサによる検知信号が発生しなければカメラ装置の動作が開始されないので、省電力化を図れる。

実施形態１を示すテレビインターホン用子機におけるカメラ装置のブロック図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上に用いる光検出素子の要部の動作説明図である。 同上に用いる光検出素子の平面図である。 同上に用いる光検出素子の要部の動作説明図である。 同上に用いる光検出素子の要部の動作説明図である。 実施形態２を示すテレビインターホン用子機の要部ブロック図である。 同上の動作説明図である。

符号の説明

１ 光検出素子
２ 発光源
３ 制御回路部
４ 画像生成部
５ 基準画素検出手段
６ 画素抽出手段
７ 濃淡画像記憶手段
９ 平均濃淡値算出手段
１０ 露出制御手段
１１ 感光部
１２ 感度制御部
Ｏｂ 物体
ＤＳ 距離画像センサ

Claims (7)

1. 強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間に照射された光が対照空間内の物体で反射され各感光部で受光されるまでの強度変調光の位相差を物体までの距離に換算した距離値を画素値とする距離画像を生成する距離画像生成手段と、各感光部それぞれの受光光量の平均値である濃淡値を画素値とし各画素が距離画像の各画素と１対１で対応する濃淡画像を生成する濃淡画像生成手段と、距離画像生成手段で生成された距離画像の所定領域内で距離値が最小となる画素を基準画素として検出する基準画素検出手段と、基準画素検出手段にて検出された基準画素を基準として設定した距離画像の特定領域について距離値が規定範囲内にある画素を抽出する画素抽出手段と、画素抽出手段にて抽出した距離画像の各画素それぞれに１対１で対応する画素の集まりからなる濃淡画像に基づいて撮像手段の露出を適正露出に制御する露出制御手段とを備えて成ることを特徴とするカメラ装置。
2. 前記画素抽出手段にて抽出した距離画像の各画素それぞれに１対１で対応する濃淡画像の画素の平均濃淡値を計算する平均濃淡値算出手段を備え、前記露出制御手段は、平均濃淡値算出手段にて算出された平均濃淡値に基づいて前記撮像手段の露出を適正露出に制御することを特徴とする請求項１記載のカメラ装置。
3. 前記画素抽出手段は、前記規定範囲の下限を前記基準画素の距離値とし当該距離値に所定値を加算した値を前記規定範囲の上限とすることを特徴とする請求項１または請求項２記載のカメラ装置。
4. 来訪者を撮像する撮像カメラを備え、撮像カメラで撮像された来訪者をテレビインターホン用親機のテレビに表示させるとともにテレビインターホン親機との間で通話可能なテレビインターホン用子機であって、撮像カメラとして請求項１ないし請求項３のいずれか１項に記載のカメラ装置を備えてなることを特徴とするテレビインターホン用子機。
5. 前記カメラ装置の距離画像に対して設定された警戒領域について距離値が警戒距離範囲内にある画素の集まりを物体として抽出する物体抽出手段と、物体抽出手段により抽出された物体の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量に基づいて物体が人体であるか否かを判定する人体判定手段と、人体判定手段により物体が人体であると判定されたときに前記テレビインターホン用親機へ通知する通知制御手段とを備え、特徴量抽出手段は、特徴量として円をテンプレートに用いてパターンマッチングを行い類似度の高い部位を抽出し、抽出された特徴量の面積を閾値と大小比較することにより物体が人体であるか否かを判定することを特徴とする請求項４記載のテレビインターホン用子機。
6. 人体から放射される熱線を検知する熱線センサを用いて検知エリア内の人の存否を検出する人感センサを備え、人感センサから人の検知信号を受けたときに前記カメラ装置の動作を開始することを特徴とする請求項５記載のテレビインターホン用子機。
7. 不審者を警戒する警戒モードを設定する警戒モード設定手段を備え、前記物体抽出手段は、警戒モード設定手段により警戒モードが設定された後に動作することを特徴とする請求項５または請求項６記載のテレビインターホン用子機。