JP2024078785A - 撮像装置、及び生体部位検出装置 - Google Patents

Abstract

【課題】 外光としての反射光が存在する環境下においても、簡素化された構成を用いて、撮像画像に基づく人体の部位の検出精度の低下を抑制する。【解決手段】 撮像装置は、照明光を発光する発光部２０２ａ、２０２ｂと、撮像光を受光する受光部２０４ａ、２０４ｂと、発光部、及び受光部の動作を制御する制御部２２０と、を備える撮像部２００を有し、照明光の代表的光路を照明光路ＬＩ、撮像光の代表的光路を撮像光路Ｌｉとし、照明光路ＬＩが基準直線Ｌｃとなす角度をθＩｃとし、撮像光路Ｌｉが基準直線Ｌｃとなす角度をθｉｃとする場合に、発光部、及び受光部は、θｉｃ＜θＩｃであるという第１の条件と、基準アイポイントＰｃを含む平面Ｓｃｘ又は平面Ｓｃｙで車体座標系の空間を２分割した場合における同じ側の空間に位置するという第２の条件を満たすように配置されている。【選択図】 図３

Description

本発明は、撮像装置、及び生体部位検出装置等に関する。

特許文献１には、赤外光を用いた撮像装置を、ヘッドアップディスプレイ（ＨＵＤ）装置に搭載した構成が示されている。

特許文献２には、ＨＵＤ装置の利用者に赤外光を照射して利用者を撮像し、その撮像画像に基づいて利用者の目の位置（瞳孔等の位置）を検出する際に、ＨＵＤ装置に太陽光や街灯の光等の強い外光が入射した場合であっても、画像処理によって目の位置の検出を可能とすることが記載されている。

特開２０２２－５６５２０号公報（図１、図２、図６、図８等） 特開２０２１－１３３８０１号公報（図３～図６等）

本発明者の検討によって、以下の事項が明らかとされた。
（１）赤外光等を用いて車両の乗員の顔等の部位を検出する場合において、撮像装置に外光が入射すると検出精度が低下する。
（２）外光としては、例えば、照明光である赤外光等が乗員の眼鏡（サングラスを含む）等で反射して生じる反射光、及び、例えば太陽光等がウインドシールド等で反射して生じる反射光がある。
（３）照明光の反射光、ならびに太陽光の反射光の双方について対策するのが好ましい。但し、複雑な画像処理システム等を使用することは、コスト上昇、あるいは、装置の処理負担の増大等を招くため、好ましくない。

本発明の目的の１つは、外光としての反射光が存在する環境下においても、簡素化された構成を用いて、撮像画像に基づく人体の部位の検出精度の低下を抑制可能な撮像装置を提供することである。

本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、撮像装置は、
車両の乗員である被写体の部位の撮像に用いられる撮像装置であって、
前記車両の乗員である被写体の部位の検出に用いられる光のうち、
反射体で反射して前記被写体の部位に照射される光を照明光とし、
前記照明光が、撮像対象である前記被写体の部位で反射し、さらに前記反射体で反射して前記撮像装置に戻る光を撮像光とする場合において、
前記照明光を発光する発光部と、
前記撮像光を受光する受光部と、
前記発光部、及び前記受光部の動作を制御する制御部と、
を備える撮像部を有し、
前記車両の前後方向に配置される車体座標系の座標軸をＸ軸とし、
前記Ｘ軸に直交すると共に、前記車両の左右方向に配置される座標軸をＹ軸とし、
前記Ｘ、Ｙの各座標時軸に直交すると共に、前記車両の高さ方向に配置される座標軸をＺ軸とし、
前記被写体としての前記車両の前記乗員の代表的な目の位置として定められる、前記車体座標系における点を基準アイポイントＰｃとし、
前記被写体としての前記車両の前記乗員の前記基準アイポイントＰｃを通り、前記Ｘ軸と平行な直線を基準直線Ｌｃとし、
前記基準アイポイントＰｃと前記反射体との間における、前記照明光の代表的光路を照明光路ＬＩとし、
前記基準アイポイントＰｃと前記反射体との間における、前記撮像光の代表的光路を撮像光路Ｌｉとし、
前記照明光路ＬＩが前記基準直線Ｌｃとなす角度をθＩｃとし、
前記撮像光路Ｌｉが前記基準直線Ｌｃとなす角度をθｉｃとする場合に、
前記発光部、及び前記受光部は、第１及び第２の条件を満たすように配置されている、
前記第１の条件は、
θｉｃ＜θＩｃである、
前記第２の条件は、
前記発光部、及び前記受光部が、前記車体座標系におけるＺＸ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｘで前記車体座標系の空間を２分割した場合における同じ側の空間に位置すること、
又は、
前記発光部、及び前記受光部が、前記車体座標系におけるＸＹ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｙで前記車体座標系の空間を２分割した場合における同じ側の空間に位置することである。

第１の態様によれば、赤外光等の照明光は、受光部としての赤外線カメラ等の光軸（言い換えれば、撮像光の代表的光路である撮像光路Ｌｉ）よりも外側から、被写体である乗員（運転者等）に向かうため、例えば、乗員が装着している眼鏡（サングラスを含む）のレンズ等で反射して生じる照明光の反射光は、上記の赤外線カメラ等に向かわない。

言い換えれば、眼鏡等で反射して生じる照明光の反射光が、乗員の、例えば目やその周辺の撮像に及ぼす影響を抑制することができる。

例えば、被写体である乗員が略正面を向いている状況、言い換えれば、乗員が前方を見ており、乗員の視線が、車体座標系におけるＸ軸（前後方向軸）と略平行である状況を想定する。

上記の第２の条件より、発光部と受光部は、平面Ｓｃｘ、あるいは平面Ｓｃｙによち２分割される２つの空間のうちの同じ空間（ここでは、第１の空間）に位置する。

よって、基準アイポイントＰｃと反射体（ウインドシールド等）との間における照明光の代表的光路である照明光路ＬＩ（これは赤外線ＬＥＤ等の発光部の光軸とみなすことができる）と、基準アイポイントＰｃと反射体（ウインドシールド等）との間における、撮像光の代表的光路である撮像光路Ｌｉ（これは赤外線カメラ等の光軸とみなすことができる）も、同じ空間（第１の空間）に位置する。

発光部から照射された照明光は、反射体（ウインドシールド等）で反射されて、第１の空間内の上記の照明光路ＬＩを経由して、乗員の部位（例えば人の顔（目、鼻、耳、口を含むことができる）に進み、その部位で反射する。

その反射光（これを正規の反射光とする）は、第１の空間内の上記の撮像光路Ｌｉ（受光部を構成する赤外線カメラ等の光軸）を経由して進行し、反射体（ウインドシールド等）で反射して受光部に入射され、その受光により得られる電気信号に基づいて人の部位（生体の部位）の検出が実施される。

一方、例えば、人が眼鏡（サングラスを含む）やマスクを着用しており、撮像光である赤外光等が、その眼鏡等で反射して反射光（不要な外光としての反射光）が生じる場合がある。

ここで、上記の第１の条件から、照明光は、受光部を構成する赤外線カメラ等の光軸（言い換えれば、撮像光路Ｌｉ）よりも外側から眼鏡等に入射する。ここで不要な反射が生じるが、照明光は、眼鏡等に対して浅い入射角で入射するため、全反射により生じる不要な反射光は、第１の空間とは反対側の第２の空間へと向かうことになり、第１の空間側には向かわない。

このため、不要な反射光が、人の部位の検出に用いられる正規の反射光に重畳することが抑制され、よって、検出精度の低下が抑制される。

このように、発光部と受光部を、上記の第１の条件、第２の条件を満たすように配置することで、不要な外光としての反射光が撮像装置へと入射することが抑制され、よって、人の部位の検出精度の低下が抑制され得る。

第１の態様に従属する第２の態様において、
前記照明光を出射する発光部として、第１の発光部と、第２の発光部とが設けられると共に、
前記制御部は、前記第１、第２の発光部の何れを用いて前記被写体を照明するかを切り替えることができ、
前記第２の発光部は、第３の条件を満たすように配置されてもよい、
前記第３の条件は、
前記第２の発光部が、前記車体座標系におけるＺＸ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｘで前記車体座標系の空間を２分割した場合における、前記第１の発光部が位置する空間とは反対側の空間に位置すること、
又は、
前記第２の発光部が、前記車体座標系におけるＸＹ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｙで前記車体座標系の空間を２分割した場合における、前記第１の発光部が位置する空間とは反対側の空間に位置することである。

第２の態様では、発光部として、第１、第２の発光部が設けられる。第２の発光部は、基準アイポイントＰｃを含む平面Ｓｃｘ、あるいはＳｃｙにて車体座標系の空間を２分割した場合における、第１の発光部とは反対側の空間に配置され、かつ、制御部は、各発光部の発光（点灯及び消灯）を切り替えることができる。

先に説明した第１の態様では、不要な反射光が撮像部に向かうことを抑制できるが、不要な反射光の一部が撮像部に入射することはあり得る。

例えば、乗員が顔の向きを変えたことにより、一方の発光部から出射された照明光が、乗員が装着している眼鏡等のレンズで反射し不要な反射光が生じ、その不要な反射光が撮像部（の受光部）にも入射して、その結果、撮像画像に不要な反射パターンが生じる場合がある。

このような場合には、制御部が、第１、第２の発光部を切り替え制御し、例えば、一方の発光部を消灯し、他方の発光部を点灯することができる。

第１、第２の発光部を切り替えることで、眼鏡等への照明光の入射方向や入射角度が変化する。よって、照明光が眼鏡のレンズ等で反射して生じる撮像光が、撮像装置（撮像装置の撮像部における受光部）に向かうことを抑制することができる。よって、撮像画像に基づいて、例えば、乗員の目やその周辺を検出する場合における検出精度の低下を抑制することができる。

第１の態様に従属する第３の態様において、
前記撮像部として、第１の撮像部と、第２の撮像部とが設けられ、
前記第２の撮像部は、第４の条件を満たすように配置されてもよい、
前記第４の条件は、
前記第２の撮像部が、前記車体座標系におけるＺＸ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｘで前記車体座標系の空間を２分割した場合における、前記第１の撮像部が位置する空間とは反対側の空間に位置すること、
又は、
前記第２の撮像部が、前記車体座標系におけるＸＹ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｙで前記車体座標系の空間を２分割した場合における、前記第１の撮像部が位置する空間とは反対側の空間に位置することであり、
かつ、
前記第１の撮像部における発光部、及び受光部を、第１の発光部、及び第１の受光部とし、
前記第２の撮像部における発光部、及び受光部を、第２の発光部、及び第２の受光部とする場合に、
前記第１の発光部と前記１の受光部は、前記第１の条件、及び前記第２の条件を満たすように配置されており、
前記第２の発光部と前記２の受光部も、前記第１の条件、及び前記第２の条件を満たすように配置されており、
前記制御部は、前記第１の発光部、前記第２の発光部、前記第１の受光部、前記第２の受光部の何れを用いるかを選択することができるようにしてもよい。

第３の態様では、撮像部として、第１、第２の撮像部が設けられる。第１の撮像部は、第１の発光部と第１の受光部を有し、第２の撮像部は、第２の発光部と第２の受光部を有する。制御部は、人体の部位の撮像に関して、第１、第２の発光部、第１、第２の受光部のどれを使用するかを適宜、選択できる。

例えば、先に説明した第２の態様の構成を用いて、発光部の切り替えを行った場合でも、眼鏡のレンズ等による反射を防ぎきれない場合があり得る。

このような場合には、発光部のみならず、受光部も含めて、使用するデバイスを適宜、選択する（切り替える）ことによって、不要な反射光による人の部位の検出精度の低下を抑制することができる。

例えば、第１の撮像部（第１の発光部と第１の受光部）を用いた場合は、不要な反射パターンが撮像画像に生じたとする。しかし、この場合でも、第２の撮像部（第２の発光部と第２の受光部）を用いると、撮像画像において不要な反射パターンの影響を低減できる可能性が高い。

例えば、眼鏡のレンズ等による不要な反射光は、第２の撮像部における第２の受光部には入射しない可能性がある。

また、仮に、不要な反射光が第２の受光部に入射する場合であっても、撮像画像上の不要な反射パターンの位置は、第１の撮像部を使用した場合における、撮像画像上の不要な反射パターンの位置とは異なる。

よって、第１の撮像部を用いたときに、不要な反射パターンが重畳して、特徴量の検出ができない箇所（例えば、左目が検出できないとする）があったときでも、第２の撮像部を使用すれば、不要な反射光パターンの位置がずれるため、第１の撮像部による撮像画像では特徴量が検出できなかった箇所（ここでは左目）は、第２の撮像部による撮像画像では検出が可能となる。

よって、例えば、第１、第２の各撮像部により得られる撮像データを併せて用いる（例えば、一方の撮像画像で検出不能となった箇所を、他方の撮像画像における、対応する箇所の画像にて補完するといった補正処理、あるいは、画像合成処理等を実施する）ことにより、被写体全体における情報の欠損を十分に抑制することができる。

また、反射体（ウインドシールド）を透過した強い外光（太陽光など）が、例えば第１の撮像部（第１の受光部）に入射し、反射体（ウインドシールド等）で反射して撮像された被写体の画像と重なるような状況が生じ、乗員の目やその周辺の撮像に支障が生じたとする。

この場合でも、第２の撮像部を用いた場合は、第２の撮像部は第１の撮像部とは反対側の空間に配置され、位置が異なることから、強い外光の光路と被写体の撮像光路（撮像光路）がずれる。よって、乗員の目やその周辺を撮像することが可能である。

また、本態様では、種々の変形例が存在する。
例えば、第１の撮像部における第１の発光部と第１の受光部、及び、第２の撮像部における第２の受光部を利用する、といった変形例も考えられる。
この変形例では、第１の発光部を共通の発光部として使用し、撮像光を、第１、第２の受光部（言い換えれば、設置されている位置が異なる２つの受光部）で受光する。
そして、各受光部から得られる撮像画像データを併用し、画像補正や画像合成等を実施することで、不要な反射光パターンの影響を低減して、人の部位（顔等）の全体を、精度よく検出することができる。
上記の例では、第１の発光部、及び第１、第２の撮像部を使用したが、第２の発光部、及び第１、第２の撮像部を使用することもできる。この場合も同様の効果を得ることができる。

第１乃至第３の何れか１つの態様に従属する第４の態様において、
前記受光部は、可視光を遮蔽し、前記照明光、及び前記撮像光を透過するフィルタ部を
を有し、
前記発光部は、前記車両の前記乗員が、少なくとも直接的には見ることができない位置に設けられていてもよい。

第４の態様では、撮像部の受光部として、フィルタ部付きの受光部を使用する。
フィルタ部としては、例えば可視光を吸収し、赤外光を透過する材料からなる多層のロングパスフィルタ（ＩＲフィルタ等）を用いることができる。これにより、太陽光や街灯の光、あるいは、それらの光が反射体（ウインドシールド等）で反射して生じる反射光が、赤外線カメラ等の受光部に入射することを抑制することができ、よって、撮像精度が向上する。

また、受光部に設けられるフィルタ部は、被写体としての車両の乗員から、受光部が直接的に見えないようにする、という視覚的効果も有する。これにより、撮像部のデザイン性が損なわれることを抑制できる。

一方、発光部については、車両の乗員が、少なくとも直接的には見ることができない位置に設けられる。

上記のとおり、受光部にはフィルタ部が設けられて、乗員は通常は目視することができず、また、上記のとおり、発光部は、乗員が通常は目視できない位置に設けられることから、受光部、及び発光部は共に、目視が困難である。よって、撮像部（撮像装置）全体のデザイン性が損なわれることを抑制することができる。

また、本態様の構成を採用すると、受光部（赤外線カメラ等）と、発光部（赤外線ＬＥＤ等）の配置（レイアウト）の自由度も向上する。

例えば、撮像装置の窓部（赤外光が通過する部分）に上記のフィルタ部を設ける場合は、そのフィルタ部により可視光が遮蔽されている領域に、受光部と発光部の双方を設けなければならない、という制約が生じる。

これに対して、本態様では、受光部（赤外線カメラ等）自体にフィルタ部が設けられているため、これにより、太陽光等の可視光に対する対策はできている。よって、発光部（赤外線ＬＥＤ等）については、上記のような配置上の制約は生じず、配置の自由度が向上する。

言い換えれば、先に説明した第１の態様に示した第１の条件、第２の条件が満たされる範囲内で、受光部（赤外線カメラ等）と発光部（赤外線ＬＥＤ等）は、各々、最適な位置に、ある程度の自由度をもって配置することができ、よって配置の自由度が向上し、撮像装置の設計が容易化されるという効果が得られる。

第１の態様に従属する第５の態様において、
前記撮像装置は、
前記車両の前記反射体に画像の表示光を照射して、前記車両の前記乗員に対して画像を表示する画像表示装置内に設けられる、
又は、
前記画像表示装置と一体的に設けられてもよい。

第５の態様によれば、画像表示装置内に撮像装置を設けることができ、装置（システム）全体の小型化を推進することができる。

第６の態様において、生体部位検出装置は、
撮像画像に基づいて、被写体としての車両の乗員の部位を検出する生体部位検出装置であって、
第１乃至第５の何れかの態様の撮像装置と、
前記撮像装置により取得された撮像画像に基づいて、生体の部位を検出する生体部位検出処理部と、
を有する。

第６の態様では、生体部位検出装置は、上記の各態様の撮像装置に加えて、画像処理によって生体の部位（人の顔等）を検出する生体部位検出処理部と、を有する。

生体部位検出処理部は、例えば、１つの撮像部から得られた撮像画像に反射光パターンが存在して、その反射光パターンに重畳される目等の部位の検出ができないときは、他の撮像部で撮像して得られる他の撮像画像における、上記の検出できなかった部位（目等）の画像を用いた画像処理（画像補正や画像合成等）を実施して、顔等の全体の部位の検出を可能とすることも可能である。よって、検出精度が向上する。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

赤外光を用いた撮像装置の構成の一例を示す図である。 基準アイポイント、基準アイポイントを通り、車体座標系のＸ軸と平行な基準直線、基準アイポイントと反射体との間における、照明光の代表的光路である照明光路、基準アイポイントと反射体との間における、撮像光の代表的光路である撮像光路、車体座標系におけるＺＸ平面と平行で、基準アイポイントを含む平面、ならびに、車体座標系におけるＸＹ平面と平行で、基準アイポイントを含む平面、の相対的な位置関係の例を示す図である。 第１、第２の撮像部を用いた場合の各撮像部を構成する発光部と受光部の配置例、反射体であるウインドシールドと基準アイポイントとの間の、照明光、及び撮像光の各光路、ならびに、各光路の位置関係等を示す図である。 第１の撮像部、第２の撮像部の各々を用いて、乗員の顔を撮像して得られる撮像画像の例を示す図である。 生体部位検出装置の構成の一例を示す図である。 第１、第２の撮像部を用いて被写体を撮像する場合の、各撮像部における発光部の点灯タイミング、及び受光部による撮像タイミングの一例を示す図である。 第１、第２の撮像部を用いて被写体を撮像する場合の、各撮像部における発光部の点灯タイミング、及び受光部による撮像タイミングの他の例を示す図である。 赤外光を用いた撮像装置（及び生体部位検出装置）を備える車載表示装置（ここではヘッドアップディスプレイ（ＨＵＤ）装置）の構成例、及び、車載表示装置における第１、第２の撮像部の配置例を示す図である。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

（第１の実施形態）
図１は、赤外光を用いた撮像装置の構成の一例を示す図である。
図１において、Ｘ軸、Ｙ軸、Ｚ軸は、車体座標系（直交座標系）の座標軸である。ここで、車両１の前後方向に配置される車体座標系の座標軸をＸ軸とし、Ｘ軸に直交すると共に、車両１の左右方向に配置される座標軸をＹ軸とし、Ｘ、Ｙの各座標時軸に直交すると共に、車両１の高さ方向に配置される座標軸をＺ軸とする。

また、図１において、被写体としての車両１の乗員５の代表的な目の位置として定められる、車体座標系における点を基準アイポイントＰｃとする。なお、「基準アイポイント」は、「両目の中点位置にあるセンターアイポイント」と言い換えることができる。
また、被写体としての車両１の乗員５の基準アイポイントＰｃを通り、Ｘ軸と平行な直線を基準直線Ｌｃとする。
また、基準アイポイントＰｃとウインドシールド等の反射体２との間における、照明光の代表的光路を照明光路ＬＩとする。なお、照明光自体を、照明光ＬＩと称する場合もある。

また、基準アイポイントＰｃと反射体との間における、撮像光の代表的光路を、撮像光路Ｌｉとする。なお、撮像光自体を撮像光Ｌｉと称する場合もある。
また、照明光路（あるいは照明光）Ｌ１の、反射体（ウインドシールド）２における反射点をＰｒＩとする。
また、撮像光路（あるいは撮像光）Ｌｉの、反射体（ウインドシールド）２における反射点をＰｒｉとする。
上記の各部の、好適な相対的位置関係等については、図２、図３等を用いて説明する。

また、以下の説明では、被写体の部位の撮像に用いられる光（ここでは赤外光）のうち、反射体（ウインドシールド２等）で反射して、被写体の部位（図１では、車両１の乗員５の顔１１）に照射される光を「照明光」と称する。

また、照明光が、撮像対象である被写体の部位で反射し、さらに反射体２で反射して撮像装置２０１に戻る光を「撮像光」と称する。

図１のＡ－１において、撮像装置２０１は、例えば、近赤外光を出射する赤外線ＬＥＤ等からなる発光部（照明部）２０２と、赤外線カメラ等からなる受光部２０４と、を備える撮像部２００を有する。

なお、撮像装置（反射式撮像装置）２０１は、撮像部２００における発光部（赤外線ＬＥＤ等）２０２、受光部（赤外線カメラ等）２０４の動作を制御する制御部（図１では不図示、図３、図５～図７における符号２２０）が設けられる。

また、図１の例では、反射体として、光（例えば、ＨＵＤ装置で画像を表示するための表示光）の反射性と透過性を併せ持つウインドシールド２が使用されている。

撮像対象である被写体は、図１の例では、ステアリングホイール８を操作している、車両１の乗員としての運転者５である。

図１における符号６は、運転者５の視点（目）を示す。また、運転者５は、眼鏡（サングラスを含む）９を装着している。

照明光である赤外光が、眼鏡９のレンズ（あるいは、マスク等）で反射して、反射光ＲＦ１が生じる場合がある。また、太陽３の太陽光Ｌｔが、例えば反射体（ウインドシールド）２で反射して、反射光ＲＦ２が生じる場合がある。

太陽光等の反射光は、例えば、図８の例のように撮像装置２０１がＨＵＤ装置のような車載表示装置に搭載される場合は、表示光を通過する窓部を経由して間接的に車載表示装置に入射し、迷光として撮像装置２０１に入射する場合も想定される。

撮像装置２０１は、例えば、運転者５の部位である顔１１（目、鼻、耳、口等を含めてもよい）を撮像する。
なお、例えば顔１１を観察することで、運転者５の現在の状態（通常の集中力がある状態、疲労している状態、居眠りをしている状態等）を推定することが可能となる。

また、撮像装置２０１は、例えば、車両１のインストルメントパネル（あるいはダッシュボード）４に収納されている。

また、図１の例では、撮像装置２０１は、窓部（図１の例では開口部）１２を有する筐体１１６内に設けられている。

また、撮像部２００における受光部（赤外線カメラ等）２０４の、光の入射側にはフィルタ部１３が設けられている。フィルタ部１３は、赤外光（言い換えれば、照明光及び撮像光）を透過し、可視光を遮蔽（例えば吸収）する特性を有する。
このフィルタ部１３は、外光が撮像装置２０１に入射するのを防止する効果を有する

これにより、太陽光や街灯の光、あるいは、それらの光が反射体（ウインドシールド等）で反射して生じる反射光が、赤外線カメラ等の受光部に入射することを抑制することができ、よって、撮像精度が向上する。

また、受光部２０４に設けられるフィルタ部１３は、被写体としての車両１の乗員５から、受光部２０４が直接的に見えないようにする、という視覚的効果も有する。これにより、撮像部のデザイン性が損なわれることを抑制できる。

なお、「直接的に見る」とは、例えば、「ミラー等を利用して間接的に見ること」、あるいは、「無理な姿勢をとって強引に見るというような不自然な目視」を排除する趣旨である。この点は、以下の説明でも同様である。

フィルタ部１３としては、例えば可視光を吸収し、赤外光を透過する材料からなる多層のロングパスフィルタ、例えばＩＲフィルタを用いることができる。

また、図１のＡ－２で示されるように、撮像部２００における発光部（赤外線ＬＥＤ等）２０２は、車両１の乗員５が、少なくとも直接的には見ることができない位置に設けられている。

言い換えれば、発光部２０２は、標準的であると想定される人（乗員）が着座し、通常の姿勢で前方を見ている場合における想定される視界（あるいは視野範囲）ＦＲの外側に位置し、よって、車両１の乗員５は、少なくとも直接的には見ることができない位置に設けられる。

上記のとおり、受光部２０４にはフィルタ部１３が設けられて、乗員５は通常は目視することができない。また、上記のとおり、発光部２０２については、乗員５が通常は目視できない位置に設けられる。

したがって、受光部２０４、及び発光部２０２は共に、目視が困難である。よって、撮像部（撮像装置）全体のデザイン性が損なわれることを抑制することができる。

また、図１のＡ－１、Ａ－２に示される撮像部２００の構成を採用すると、受光部（赤外線カメラ等）２０４と、発光部（赤外線ＬＥＤ等）２０２の配置（レイアウト）の自由度も向上する。

例えば、仮に撮像装置２０１の窓部（赤外光が通過する部分）に上記のフィルタ部を設ける場合は、そのフィルタ部により可視光が遮蔽されている領域に、受光部と発光部の双方を設けなければならない、というレイアウト上の制約が生じる。

これに対して、図１の例では、受光部（赤外線カメラ等）２０４自体にフィルタ部１３が設けられているため、これにより、太陽光等の可視光に対する対策はできている。よって、発光部（赤外線ＬＥＤ等）２０２については、上記のようなレイアウト上の制約は生じず、配置の自由度が向上する。

言い換えれば、所定の撮像条件（これについては、図２、図３を用いて説明する）を満たす範囲内で、受光部（赤外線カメラ等）２０４と発光部（赤外線ＬＥＤ等）２０２は、各々、最適な位置に、ある程度の自由度をもって配置することができ、よって、図１の例の構成によれば、配置の自由度が従来よりも向上し、撮像装置の設計が容易化されるという効果が得られる。

以下、好適な構成について、より具体的に説明する。
受光部（撮像部）２０４としては、例えば赤外線の特定の波長帯Ｗのみを透過する光学フィルタとしてのフィルタ部１３を備えた赤外線カメラを用いることができる。ここで、波長帯Ｗは、例えば９５０±２５ｎｍ程度としてもよい。

また、発光部（照明部）２０２としては、上記の波長帯Ｗの光線を照射するＬＥＤ等を用いることができる。

また、照明光や撮像光を反射する反射体として、上記のとおり、自動車のウインドシールド２を使用することができる。但し、少なくとも波長帯Ｗ付近の赤外線を５０％程度は反射する中間膜を設けてもよい。

また、発光部２０２は、照明光が反射体２上の点ＰｒＩで反射されて、被写体である乗員（図１の例では運転者）５の顔等の部位に照射されるような「位置および角度」に配置される。

また、受光部２０４は，被写体で反射され、さらに反射体２上の点Ｐｒｉで反射された撮像光を撮像できる「位置および角度」に配置される。

受光部２０４、発光部２０２は、上記のとおり、インストルメントパネル４内に設置され、例えば、筐体１１６の表面、あるいは、インストルメントパネル４の表面に設けた窓部（図１の例では開口部）を経由して、撮像光を受光し、また照明光を出射する。

また、受光部２０４と発光部２０２の配置（レイアウト）に関しては、例えば、受光部２０４が、乗員（運転者）から見て、車両の左右方向における端部側（言い換えれば、ウインドシールド２を支持する支柱としてのフロントピラー（Ａピラーとも称される）側）に設置される場合を想定すると、発光部２０２は、乗員（運転者）５から見て、さらに車両１の端部側（さらにフロントピラー（Ａピラー）に近い外側）に設置されるのが好ましい（例えば、図８のＡ－２のレイアウト例を参照）。

但し、上記のレイアウトは一例であり、これに限定されるものではない。発光部２０２は、受光部２０４に対して、乗員（運転者）から見て車両の外側に必ず配置される、というものではなく、「所定の条件」を満たすのであれば、種々の配置を採ることもできる。「所定の条件」については、図２、図３を用いて説明する。一例を挙げれば、例えば、図２に示すように，直線Ｌｃを軸にして、撮像光の光路Ｌｉｃを回転させて得られる円錐の外側に、照明光の光路Ｌｉｃを回転させて得られる円錐が設けられる配置であるのが好ましい。

次に、図２を参照する。図２は、基準アイポイント、基準アイポイントを通り、車体座標系のＸ軸と平行な基準直線、基準アイポイントと反射体との間における、照明光の代表的光路である照明光路、基準アイポイントと反射体との間における、撮像光の代表的光路である撮像光路、車体座標系におけるＺＸ平面と平行で、基準アイポイントを含む平面、ならびに、車体座標系におけるＸＹ平面と平行で、基準アイポイントを含む平面、の相対的な位置関係の例を示す図である。なお、図２において、図１と共通する部分には、同じ符号を付している（この点は、他の図面においても同様である）。

なお、図２において、符号６Ｌは、乗員５の左目を示し、符号６Ｒは、乗員５の右目を示す。

光線の相対的位置関係を説明するためには、例えば、各光線が、どのような空間に位置するかを定義する必要がある。そこで、図２のＡ－１では、車体座標系におけるＺＸ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｘで車体座標系の空間を、乗員（運転者）５から見て左右に２分割し、乗員（運転者）５から見て左側の空間を「第１の空間ＱＬ」とし、右側の空間を「第２の空間ＱＲ」としている。

図１で示したように、撮像部２００の受光部２０４、発光部２０２が共に、インストルメントパネル４内に設けられて、車両１の左右方向に配置されている場合は、図２のＡ－１に示される空間を用いて、光線の位置関係を説明することができる。

一方、受光部２０４、発光部２０２が、例えば、車両１の高さ方向に分割されて配置されるような場合、例えば、発光部２０２がインストルメントパネル４内に配置され、受光部２０４が、車両１の天井、あるいはフロントピラー（Ａピラー）の上部等に配置されるような場合は、図２のＡ－２に示される空間を用いて、光線の位置関係を説明することができる。

図２のＡ－２では、車体座標系におけるＸＹ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｙで車体座標系の空間を、乗員（運転者）５から見て上下に分割し、乗員（運転者）５から見て下側の空間を「第３の空間ＱＤ」とし、上側の空間を「第４の空間ＱＵ」としている。

以下の説明では、図２のＡ－１の場合について説明する（以下の説明は、図２のＡ－２についても、同様に適用され得る）。

図２のＡ－１において、直線Ｌｃを軸（中心軸）として、撮像光の光路Ｌｉを回転させて得られる円錐の外側に、照明光の光路Ｌｉを回転させて得られる円錐が位置している。

撮像光についての円錐は、基準アイポイントＰｃを頂点とし、撮像光の光路Ｌｉを回転させて得られる円（径がより小さい円）Ｄｉを底面とする円錐として描かれている。

照明光についての円錐は、基準アイポイントＰｃを頂点とし、照明光の光路ＬＩを回転させて得られる円（径がより大きい円）ＤＩを底面とする円錐として描かれている。

先に、図１における説明にて、「発光部２０２は、照明光が反射体２上の点ＰｒＩで反射されて、被写体である乗員（運転者）５の顔等の部位に照射されるような「位置および角度」に配置され、受光部２０４は，被写体で反射され、さらに反射体２上の点Ｐｒｉで反射された撮像光を撮像できる「位置および角度」に配置される」と記載したが、このことを言い換えれば、図２のＡ－１（及びＡ－２）に示されるような、円錐の相対的位置関係が成立するように、発光部２０２及び受光部２０４が配置される、ということである。

次に、図３を参照する。第１、第２の撮像部を用いた場合の各撮像部を構成する発光部と受光部の配置例、反射体であるウインドシールドと基準アイポイントとの間の、照明光、及び撮像光の各光路、ならびに、各光路の位置関係等を示す図である。

図３のＡ－１の例では、第１、第２の撮像部２００ａ、２００ｂが設けられている。第１の撮像部２００ａは、第１の発光部２０２ａ、及び第１の受光部２０４ａを有し、第２の撮像部２００ｂは、第１の発光部２０２ｂ、及び第２の受光部２０４ｂを有する。また、符号１６Ｒ、１６Ｌは、フロントピラー（Ａピラー）を示す。

第１の撮像部２００ａ（第１の発光部２０２ａ、及び第１の受光部２０４ａ）は、先に図２のＡ－１で説明した、車体座標系におけるＺＸ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｘで車体座標系の空間を左右に２分割した場合の、乗員５から見て左側の空間である「第１の空間ＱＬ」に配置されている。

第２の撮像部２００ｂ（第２の発光部２０２ｂ、及び第２の受光部２０４ｂ）は、先に図２のＡ－１で説明した、車体座標系におけるＺＸ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｘで車体座標系の空間を左右に２分割した場合の、乗員５から見て右側の空間である「第２の空間ＱＲ（平面Ｓｃｘを基準として、第１の空間ＱＬとは反対側に位置する空間）」に配置されている。

図３のＡ－２に示されるように、撮像制御部２２０は、第１の発光部２０２ａ、第２の発光部２０２ｂ、第２の受光部２０４ｂの各々の動作を個別に制御可能である。言い換えれば、撮像に際して、どの発光部と受光部を使用するかを、適宜、個別に選択することができる。

次に、図３のＡ－３を参照する。先に説明したように、被写体としての車両１の乗員５の代表的な目の位置として定められる、車体座標系における点を基準アイポイントＰｃとし、被写体としての車両１の乗員５の基準アイポイントＰｃを通り、Ｘ軸と平行な直線を基準直線Ｌｃとし、基準アイポイントＰｃと反射体（ウインドシールド等）２との間における、照明光の代表的光路を照明光路ＬＩとし、基準アイポイントＰｃと反射体（ウインドシールド等）２との間における、撮像光の代表的光路を撮像光路Ｌｉとし、また、照明光路ＬＩが基準直線Ｌｃとなす角度をθＩｃとし、撮像光路Ｌｉが基準直線Ｌｃとなす角度をθｉｃとする。

但し、図３の例では、２つの撮像部２００ａ、２００ｂが設けられているため、各撮像部に対応するように、角度θＩｃについては、θＩｃ１、θＩｃ２と区別して記載している。同様に、角度θｉｃについても、θｉｃ１、θｉｃ２と区別して記載している。

なお、図中、ＰｒＩ１、ＰｒＩ２は、第１、第２の発光部２０２ａ、２０２ｂの各々から出射される照明光の、反射体（ウインドシールド等）２における反射点を示す。また、Ｐｒｉ１、Ｐｒｉ２は、第１、第２の受光部２０４ａ、２０４ｂの各々に入射される撮像光の、反射体（ウインドシールド等）２における反射点を示す。

図３のＡ－３では、θｉｃ＜θＩｃの関係を満たしている。より具体的には、θｉｃ１＜θＩｃ１、及び、θｉｃ２＜θＩｃ２の関係が成立している。上記の関係を、「第１の条件」とする。

また、図３のＡ－１に示したように、第１の撮像部２００ａにおける第１の発光部２０２ａと第１の受光部２０４ａは、車体座標系におけるＺＸ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｘで車体座標系の空間を２分割した場合における同じ側の空間（図３のＡ－１の例では、第１の空間ＱＬ）に位置している。
また、第２の撮像部２００ｂにおける第２の発光部２０２ｂと第２の受光部２０４ｂは、車体座標系におけるＺＸ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｘで車体座標系の空間を２分割した場合における同じ側の空間（図３のＡ－１の例では、第２の空間Ｑｒ）に位置している。
このような関係を、「第２の条件」とする。

なお、この第２の条件に関して、車体座標系におけるＸＹ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｙ（図２のＡ－２参照）で車体座標系の空間を２分割した場合においては、第１の撮像部２００ａにおける第１の発光部２０２ａと第１の受光部２０４ａは、例えば、図２のＡ－２で示した第３の空間ＱＤに位置し、第２の撮像部２００ｂにおける第２の発光部２０２ｂと第２の受光部２０４ｂは、例えば、図２のＡ－２で示した第４の空間ＱＵに位置する。

このように、各撮像部２００ａ、２００ｂにおける発光部、及び受光部（第１の発光部２０２ａと第１の受光部２０４ａ、あるいは、第２の発光部２０２ｂと第２の受光部２０４ｂ）は、第１、第２の条件を満たすように配置され、
第１の条件は、
θｉｃ＜θＩｃ（θｉｃ１＜θＩｃ１、又は、θｉｃ２＜θＩｃ２）である、
第２の条件は、
各撮像部における発光部、及び受光部（第１の発光部２０２ａと第１の受光部２０４ａ、あるいは、第２の発光部２０２ｂと第２の受光部２０４ｂ）が、車体座標系におけるＺＸ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｘで車体座標系の空間を２分割した場合における同じ側の空間に位置すること、
又は、
各撮像部における発光部、及び受光部（第１の発光部２０２ａと第１の受光部２０４ａ、あるいは、第２の発光部２０２ｂと第２の受光部２０４ｂ）が、車体座標系におけるＸＹ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｙで車体座標系の空間を２分割した場合における同じ側の空間に位置することである。

これにより、赤外光等の照明光は、受光部としての赤外線カメラ等の光軸（言い換えれば、撮像光の代表的光路である撮像光路Ｌｉ）よりも外側から、被写体である乗員（運転者等）５に向かうため、例えば、乗員５が装着している眼鏡（サングラスを含む）９のレンズ等で反射して生じる照明光の反射光は、上記の赤外線カメラ等からなる受光部２０４（２０４ａ、２０４ｂ）に向かわない。

言い換えれば、眼鏡９等で反射して生じる照明光の反射光が、乗員５の、例えば目やその周辺の撮像に及ぼす影響を抑制することができる。

例えば、被写体である乗員５が略正面を向いている状況、言い換えれば、乗員５が前方を見ており、乗員の視線が、車体座標系におけるＸ軸（前後方向軸）と略平行である状況を想定する。

上記の第２の条件より、発光部と受光部は、平面Ｓｃｘ、あるいは平面Ｓｃｙによち２分割される２つの空間のうちの同じ空間に位置する。

よって、基準アイポイントＰｃと反射体（ウインドシールド等）２との間における照明光の代表的光路である照明光路ＬＩ（これは赤外線ＬＥＤ等の発光部の光軸とみなすことができる）と、基準アイポイントＰｃと反射体（ウインドシールド等）との間における、撮像光の代表的光路である撮像光路Ｌｉ（これは赤外線カメラ等の光軸とみなすことができる）も、同じ空間に位置する。

発光部２０２（２０２ａ、２０２ｂ）から照射された照明光は、反射体（ウインドシールド等）２で反射されて、照明光路ＬＩを経由して、乗員５の部位（例えば人の顔（目、鼻、耳、口を含むことができる）に進み、その部位で反射する。

その反射光（これを正規の反射光とする）は、上記の撮像光路Ｌｉ（受光部を構成する赤外線カメラ等の光軸）を経由して進行し、反射体（ウインドシールド等）２で反射して受光部２０４（２０４ａ、２０４ｂ）に入射され、その受光により得られる電気信号に基づいて人の部位の検出が実施される。

一方、例えば、乗員５が眼鏡（サングラスを含む）９やマスクを着用しており、撮像光である赤外光等が、その眼鏡９等で反射して反射光（不要な外光としての反射光）が生じる場合がある。

ここで、上記の第１の条件から、照明光は、受光部２０４（２０４ａ、２０４ｂ）を構成する赤外線カメラ等の光軸（言い換えれば、撮像光路Ｌｉ）よりも外側から眼鏡９等に入射する。

ここで不要な反射が生じるが、照明光は、眼鏡９等に対して浅い入射角で入射するため、全反射により生じる不要な反射光は、発光部２０２（２０２ａ又は２０２ｂ）及び受光部２０４（２０４ａ又は２０４ｂ）が属する空間とは反対側の空間へと向かう。

このため、不要な反射光が、人の部位の検出に用いられる正規の反射光に重畳することが抑制され、よって、検出精度の低下が抑制される。

このように、発光部と受光部を、上記の第１の条件、第２の条件を満たすように配置することで、不要な外光としての反射光が撮像装置へと入射することが抑制され、よって、人の部位の検出精度の低下が抑制され得る。

次に、図４を参照する。図４は、第１の撮像部、第２の撮像部の各々を用いて、乗員の顔を撮像して得られる撮像画像の例を示す図である。

図４においては、発光部として複数の（ここでは２つの）発光部を設け、各発光部を切り替えて使用する例や、図３のＡ－１、Ａ－２に示した、複数（ここでは２つ）の撮像部を用いる例における効果等について説明する。

図４のＡ－１は、図３のＡ－１と同じである。図４のＡ－２には、第１の撮像部２００ａにより撮像されて得られた撮像画像の例が示されている。乗員５の右目付近において、眼鏡９のレンズにおける照明光の反射パターンが存在し、右目の特徴量の検出が困難な状況である。

一方、第２の撮像部２００ｂにて撮像されて得られる撮像画像には、照明光の反射パターンは存在せず、顔１１の全体を検出することが可能である。

よって、図４のＡ－２、Ａ－３に示される２つの撮像画像を併用し、特徴量の検出が困難となった部位（ここでは右目）付近の画像を、障害が生じていない他の撮像画像を用いて補完したり、補正したりすることで、欠損がない状態の顔１１等の検出が可能となる。

以下、具体的に説明する。
図４のＡ－１の例では、照明光を出射する発光部として、第１の発光部２０２ａと、第２の発光部２０２ｂとが設けられると共に、制御部２２０は、第１、第２の発光部２０２ａ、２０２ｂの何れを用いて被写体としての乗員５を照明するかを、適宜、切り替えることができる。

この場合、第２の発光部２０２ｂは、第３の条件を満たすように配置してもよい、
第３の条件は、
第２の発光部２０２ｂが、車体座標系におけるＺＸ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｘで前記車体座標系の空間を２分割した場合における、第１の発光部２０２ａが位置する空間とは反対側の空間に位置すること、
又は、
第２の発光部２０２ｂが、車体座標系におけるＸＹ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｙで車体座標系の空間を２分割した場合における、第１の発光部２０２ａが位置する空間とは反対側の空間に位置することである。

言い換えれば、発光部として、第１、第２の発光部２０２ａ、２０２ｂが設けられる場合には、第２の発光部２０２ｂは、基準アイポイントＰｃを含む平面Ｓｃｘ、あるいはＳｃｙにて車体座標系の空間を２分割した場合における、第１の発光部２０２ａとは反対側の空間に配置され、かつ、制御部２２０は、各発光部２０２ａ、２０２ｂの発光（点灯及び消灯）を切り替えることができる。

例えば、乗員５が顔の向きを変えたことにより、図４のＡ－２の例のように、一方の発光部（ここでは、第１の発光部２０２ａ）から出射された照明光が、乗員５が装着している眼鏡９等のレンズで反射し不要な反射光が生じ、その不要な反射光が撮像部（ここでは第１の撮像部２００ａの受光部２０４ａ）にも入射して、その結果、撮像画像に不要な反射パターンが生じる場合がある。

このような場合には、制御部２２０が、第１、第２の発光部２０２ａ、２０２ｂを切り替え制御し、例えば、一方の発光部を消灯し、他方の発光部を点灯することができる。

第１、第２の発光部２０２ａ、２０２ｂを切り替えることで、眼鏡９等への照明光の入射方向や入射角度が変化する。よって、照明光が眼鏡９等のレンズで反射して生じる撮像光が、撮像装置（撮像装置の撮像部における受光部）に向かうことを抑制することができる。よって、撮像画像に基づいて、例えば、乗員５の目やその周辺を検出する場合における検出精度の低下を抑制することができる。

次に、複数（ここでは２つ）の撮像部を設け、撮像に際しては、各撮像部に含まれる発光部と受光部の中から、撮像に用いる発光部と受光部を、適宜、選択する例について説明する。

図４のＡ－１で示したように、撮像部として、第１の撮像部２００ａと、第２の撮像部２００ｂが設けられる場合は、第２の撮像部２００ｂは、第４の条件を満たすように配置する、
第４の条件は、 第２の撮像部２００ｂが、車体座標系におけるＺＸ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｘで車体座標系の空間を２分割した場合における、第１の撮像部２００ａが位置する空間とは反対側の空間に位置すること、
又は、
第２の撮像部２００ｂが、車体座標系におけるＸＹ平面と平行で、基準アイポイントＰｃを含む平面Ｓｃｙで車体座標系の空間を２分割した場合における、第１の撮像部２００ａが位置する空間とは反対側の空間に位置することであり、
かつ、
第１の撮像部２００ａにおける発光部、及び受光部を、第１の発光部２０２ａ、及び第１の受光部２０４ａとし、
第２の撮像部２００ｂにおける発光部、及び受光部を、第２の発光部２０２ｂ、及び第２の受光部２０４ｂとする場合に、
第１の発光部と前記１の受光部は、第１の条件、及び第２の条件を満たすように配置されており、
第２の発光部２０２ｂと第２の受光部２０４ｂも、上記の第１の条件、及び第２の条件を満たすように配置されており、
制御部（撮像制御部）２２０は、第１の発光部２０２ａ、第２の発光部２０２ｂ、第１の受光部２０４ａ、第２の受光部２０４ｂの何れを用いるかを、個別に選択することができるようにしてもよい。

例えば、発光部の切り替えを行った場合でも、眼鏡９のレンズ等による反射を防ぎきれない場合があり得る。このような場合には、発光部のみならず、受光部も含めて、使用するデバイスを適宜、選択する（切り替える）ことによって、不要な反射光による人の部位の検出精度の低下を抑制する効果を、さらに高めることができる。

例えば、第１の撮像部２００ａ（第１の発光部２０２ａと第１の受光部２０４ａ）を用いた場合は、不要な反射パターンが撮像画像に生じたとする。しかし、この場合でも、第２の撮像部２００ｂ（第２の発光部２０２ｂと第２の受光部２０４ｂ）を用いると、撮像画像において不要な反射パターンの影響を低減できる可能性が高い（図４のＡ－１、Ａ－２の例を参照）。

例えば、眼鏡９のレンズ等による不要な反射光は、第２の撮像部２００ｂにおける第２の受光部２０４ｂには入射しない可能性がある。

また、仮に、不要な反射光が第２の受光部２０４ｂに入射する場合であっても、撮像画像上の不要な反射パターンの位置は、第１の撮像部２００ｂを使用した場合における、撮像画像上の不要な反射パターンの位置とは異なる。

よって、第１の撮像部２００ａを用いたときに、不要な反射パターンが重畳して、特徴量の検出ができない箇所（例えば、右目が検出できないとする）があったときでも、第２の撮像部２００ｂを使用すれば、不要な反射光パターンの位置がずれるため、第１の撮像部２００ａによる撮像画像では特徴量が検出できなかった箇所（ここでは右目）は、第２の撮像部２００ｂによる撮像画像では検出が可能となる。

よって、例えば、第１、第２の各撮像部２００ａ、２００ｂにより得られる撮像データを併せて用いる（例えば、一方の撮像画像で検出不能となった箇所を、他方の撮像画像における、対応する箇所の画像にて補完するといった補正処理、あるいは、画像合成処理等を実施する）ことによって、被写体全体における情報の欠損を十分に抑制することができる。

また、反射体（ウインドシールド等）２を透過した強い外光（太陽光など）が、例えば第１の撮像部２００ａ（の第１の受光部２０４ａ）に入射し、反射体（ウインドシールド等）２で反射して撮像された被写体の画像と重なるような状況が生じ、乗員の目やその周辺の撮像に支障が生じたとする。

この場合でも、第２の撮像部２００ｂを用いた場合は、第２の撮像部２００ｂは第１の撮像部２００ａとは反対側の空間に配置され、位置が異なることから、強い外光の光路と被写体の撮像光路（撮像光路）がずれる。よって、乗員５の目やその周辺を撮像することが可能である。よって、各撮像画像を併用して、顔等の検出を行うことで、検出精度を向上することができる。

次に、図５を参照する。図５は、生体部位検出装置の構成の一例を示す図である。生体部位検出装置（例えば顔検出装置）１１０は、撮像装置（反射式撮像装置）２０１と、生体部位検出処理部２３０と、を有する。

撮像装置２０１は、第１、第２の撮像部２００ａ、２００ｂと、撮像制御部（制御部）２２０と、を有する。

第１の撮像部２００ａは、第１の発光部（赤外線ＬＥＤ等）２０２ａと、第１の受光部（赤外線カメラ等）２０４ａと、を有する。

第２の撮像部２００ｂは、第２の発光部（赤外線ＬＥＤ等）２０２ｂと、第２の受光部（赤外線カメラ等）２０４ｂと、を有する。

生体部位検出処理部２３０は、画像取得部２３１と、所定のパターンを有する反射光パターンを抽出する反射光パターン抽出部２３２と、例えば、学習データ等に基づいて反射光パターンの位置、ならびに種類（照明光の反射であるか、太陽光等による反射であるか）を検出する反射光パターン検出部２３３と、検出結果に基づいて、検出対象である生体の部位（被写体である乗員の部位）を検出する生体部位検出部（例えば顔検出部）２３６と、結果出力部２３８と、を有する。

生体部位検出処理部２３０は、先に説明したように、例えば、１つの撮像部から得られた撮像画像に反射光パターンが存在して、その反射光パターンに重畳される目等の部位の検出ができないときは、他の撮像部で撮像して得られる他の撮像画像における、上記の検出できなかった部位（目等）の画像を用いた画像処理（画像補正や画像合成等）を実施して、顔等の全体の部位の検出を可能とすることも可能である。よって、検出精度が向上する。

次に、図６を参照する。図６は、第１、第２の撮像部を用いて被写体を撮像する場合の、各撮像部における発光部の点灯タイミング、及び受光部による撮像タイミングの一例を示す図である。

図６のＡ－１は、先に示した図３のＡ－２と同じである。図６のＡ－２には、各撮像部における発光部の点灯タイミング、及び受光部による撮像タイミングの一例が示されている。

図６のＡ－２において、符号Ｄ２０２ａは、第１の発光部２０２ａの駆動信号であり、符号Ｄ２０４ａは、第１の受光部２０４ａの駆動信号であり、符号Ｄ２０２ｂは、第２の発光部２０２ｂの駆動信号であり、符号Ｄ２０４ｂは、第２の受光部２０４ｂの駆動信号である。この点は、図７のＡ－２においても同様である。

図６のＡ－２の例では、期間Ｔ１、Ｔ３において、第１の撮像部２００ａ（第１の発光部２０２ａ、第１の受光部２０４ａ）による撮像が実施され、期間Ｔ２、Ｔ４において、第２の撮像部２００ｂ（第２の発光部２０２ｂ、第２の受光部２０４ｂ）による撮像が実施される。

図６のＡ－２の例では、第１、第２の受光部２０４ａ、２０４ｂは、それぞれの露光期間が重ならないように駆動される。また、第１、第２の各発光部２０２ａ、２０２ｂの発光期間（照明期間）は、第１、第２の各受光部２０４ａ、２０４ｂの露光期間と同期している。

次に、図７を参照する。図７は、第１、第２の撮像部を用いて被写体を撮像する場合の、各撮像部における発光部の点灯タイミング、及び受光部による撮像タイミングの他の例を示す図である。

図７のＡ－１は、先に示した図３のＡ－２と同じである。図７のＡ－２には、各撮像部における発光部の点灯タイミング、及び受光部による撮像タイミングの一例が示されている。

図７のＡ－２では、第１の発光部２０２ａは消灯しており、第２の発光部２０２ｂが、期間Ｔ１～Ｔ４の各々において点灯する。

また、期間Ｔ１、Ｔ３では、第１の撮像部２００ａにおける第１の受光部２０４ａによる撮像が実施される。また、期間Ｔ２、Ｔ４では、第２の撮像部２００ｂにおける第２の受光部２０４ｂによる撮像が実施される。

図６の駆動例を採用するか、あるいは、図７の駆動例を採用するかは、反射光パターンの有無、あるいは、反射光パターンが有る場合における、反射光パターンの位置や種類に応じて、選択することができる。

例えば、図５に示した生体部位検出処理部２３０の反射光パターン検出部２３３によって反射光パターンが検出され、その位置と種類が特定されると、その情報が、撮像制御部（制御部）２２０に供給され、撮像制御部（制御部）２２０は、供給された情報に基づいて、適宜、撮像に使用する発光部と受光部を選択し、適切なタイミングで、各部を駆動する。

また、先に図５に示した生体部位検出処理部２３０における生体部位検出部（顔検出部）２３６は、例えば、第１、第２の各受光部２０４ａ、２０４ｂの双方で取得された画像データを合成し、運転者の３次元的な位置を把握し、顔や目の位置、視線の向き、居眠りや体調不良に伴う姿勢の前傾等を高精度に検出（識別）してもよい。

この検出結果（識別結果）を、例えばヘッドアップディスプレイ（ＨＵＤ）装置等の車載表示装置における表示にて、乗員（運転者等）に報知してもよい。また、必要に応じて、乗員（運転者等）に警報を発してもよい。

また、撮像制御部（制御部）２２０は、乗員５が眼鏡等を装着しているか否か、あるいは、乗員の顔の向きを常に監視してもよい。

眼鏡等のレンズによって、例えば第１の発光部２０２ａによる照明光が反射され，目やその周囲を第１の受光部２０４ａにて撮像できなくなる可能性があると判断したときは，図７のＡ－２の例のように、第１の発光部２０２ａを消灯し，第２の発光部２０２ｂを点灯させ、第１、第２の受光部２０４ａ、２０４ｂによる撮像を実施してもよい。

また、撮像制御部（制御部）２２０は，第１、第２の受光部２０４ａ、２０４ｂの双方において、眼鏡のレンズによる反射等の外乱の影響を受けずに乗員の顔を撮像できる状態が継続できている間に、例えば、乗員の顔までの距離と、撮像画像上における、乗員の顔の特徴点同士の位置関係等を学習し、その学習結果を利用して、どちらか一方の受光部のみで得られた撮像データに基づく、乗員の目等の３次元的な位置推定を行ってもよい。

この場合、外乱の影響を受けている側の受光部は、外乱の影響を受け続けていると推定される期間中は撮像を中断してもよい。

（第２の実施形態）
図８を参照する。図８は、赤外光を用いた撮像装置（及び生体部位検出装置）を備える車載表示装置（ここではヘッドアップディスプレイ（ＨＵＤ）装置）の構成例、及び、車載表示装置における第１、第２の撮像部の配置例を示す図である。

先に説明した撮像装置２０１（図１のＡ－２参照）は、車両１の反射体（ウインドシールド等）２に画像の表示光を照射して、車両１の乗員５に対して画像を表示する、ＨＵＤ装置（車載表示装置）内に設けられてもよく、あるいは、画像表示装置（車載表示装置）と一体的に設けられてもよい。これにより、装置（システム）全体の小型化等を推進することができる。

図８において、ＨＵＤ装置１００は、筐体１１６と、筐体に設けられる透光カバー１１２と、筐体１１６（ここでは、先に図１に示した撮像装置２０１における筐体１１６がＨＵＤ装置１００の筐体としても使用されるものとし、符号は同一とする）と、画像を表示する表示部１０２（液晶表示装置等の表示パネル１０４を備える）と、透光カバー１１２を経由して反射体（反射透光部材）としてのウインドシールド２に向けて表示光Ｌ１０を照射する凹面鏡等の曲面ミラー１０８と、平面ミラー１０６と、を有する。なお、曲面ミラー１０８と平面ミラー１０６は、光学系、光学素子と言い換えることができる。

図８のＡ－２には、ＨＵＤ装置１００に第１、第２の撮像部２００ａ、２００ｂを組み込んだ場合の、各撮像部２００ａ、２００ｂの配置例が示されている。

図２のＡ－２において、領域Ｚ１は、表示光Ｌ１０が出射される領域である。第１の撮像部２００ａは、乗員５から見て領域Ｚ１の左側に配置され、第２の撮像部２００ｂは、乗員５から見て領域Ｚ１の右側に配置されている。

先に説明したように、第１、第２の発光部２０２ａ、２０２ｂ、第１、第２の受光部２０４ａ、２０４ｂは、乗員５が通常の姿勢では目視できない位置に設けられているため、ＨＵＤ装置１００全体として、実用に足るデザイン性が確保されている。

また、画像表示装置（車載表示装置）と、赤外光等を用いた生体部位検出装置とが一体化されているため、構成が簡易であり、多機能であり、小型であり、かつ、車内への搭載にも適した画像表示装置（車載表示装置）を得ることができる。

また、先に説明したように、本発明の好ましい実施形態では、受光部（赤外線カメラ等）自体にフィルタ部が設けられているため、これにより、太陽光等の可視光に対する対策はできている。よって、従来に比べて、レイアウト上の制約が緩和されている。言い換えれば、発光部（赤外線ＬＥＤ等）については、配置の自由度が向上している。

したがって、先に説明した第１の条件、第２の条件が満たされる範囲内で、受光部（赤外線カメラ等）と発光部（赤外線ＬＥＤ等）は、各々、最適な位置に、ある程度の自由度をもって配置することができ、よって配置の自由度が向上し、撮像装置の設計が容易化されるという効果が得られる。

また、撮像装置は、画像表示装置に対して、一体化して、あるいは、付属品として組み込まれていてもよい。

また、撮像装置における発光部と受光部を、互いに離れた位置に配置してもよい。例えば、発光部は、撮像手段と離れた位置であって、乗員の顔を直接的に照明できるような位置（例えば、車内の天井やフロントピラーの上側あるいは下側）に配置（設置）してもよい。

以上、本発明について、いくつかの実施形態を用いて説明したが、本発明は、これらに限定されるものではなく、種々、変形、応用が可能である。

本明細書において、車両という用語は、広義に、乗り物としても解釈し得る。また、生体には、人（人体）の他、動物（動物体）も含まれる。また、例えば、人体と同様の構造を備える人形や模型も、生体に含めることができる。また、検出対象である生体の部位（顔、目等）についても、柔軟に、かつ広義に解釈するものとする。例えば、生体の部位には、生体の全体（例えば生体の全体形状等）も含めることができる。

画像表示装置（車載表示装置、より広義には表示装置）には、シミュレータ（例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。

以上説明したように、本実施形態によれば、外光としての反射光が存在する環境下においても、簡素化された構成を用いて、撮像画像に基づく生体（人体）の部位の検出精度の低下を抑制することができる。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

１・・・車両、２・・・反射体（ウインドシールド等）、４・・・インストルメントパネル（あるいはダッシュボード）、５・・・乗員（運転者等、人）、６・・・目（視点）、８・・・ステアリングホイール、９・・・眼鏡、１２・・・窓部（開口部）、１３・・・フィルタ部（ＲＦフィルタ等）、１６Ｌ、１６Ｒ・・・フロントピラー（Ａピラー）、１００・・・ＨＵＤ装置（画像表示装置、車載表示装置）、１０２・・・表示部、１０４・・・液晶表示装置等の表示パネル、１０６・・・平面ミラー、１０８・・・曲面ミラー（凹面鏡等）、１１０・・・生体部位検出装置（顔検出装置）、１１２・・・透光カバー、２００・・・撮像部、２０１・・・撮像装置（反射式撮像装置）、２０２（２０２ａ、２０２ｂ）・・・発光部（照明部、照明ユニット、赤外線ＬＥＤ等）、２０４（２０４ａ、２０４ｂ）・・・受光部（受光ユニット、撮像ユニット、赤外線カメラ等）、２２０・・・撮像制御部（制御部）、２３０・・・生体部位検出処理部、２３１・・・画像取得部、２３２・・・反射光パターン抽出部、２３３・・・反射光パターン検出部、２３６・・・生体部位検出部（顔検出部）、２３８・・・結果出力部、Ｐｃ・・・基準アイポイント（両目の中点に位置するセンターアイポイント）、Ｌｃ・・・基準直線（直線）、ＬＩ・・・照明光路、Ｌｉ・・・撮像光路、ＦＲ・・・視界（視野範囲）、ＰｒＩ（ＰｒＩ１、ＰｒＩ２）・・・反射体上での照明光の反射点、Ｐｒｉ（Ｐｒｉ１、Ｐｒｉ２）・・・反射体上での撮像光の反射点、Ｌ１０・・・表示光、Ｚ１・・・表示光（可視光）が出射される領域。

Claims (6)

1. 車両の乗員である被写体の部位の撮像に用いられる撮像装置であって、
   前記車両の乗員である被写体の部位の検出に用いられる光のうち、
   反射体で反射して前記被写体の部位に照射される光を照明光とし、
   前記照明光が、撮像対象である前記被写体の部位で反射し、さらに前記反射体で反射して前記撮像装置に戻る光を撮像光とする場合において、
   前記照明光を発光する発光部と、
   前記撮像光を受光する受光部と、
   前記発光部、及び前記受光部の動作を制御する制御部と、
   を備える撮像部を有し、
   前記車両の前後方向に配置される車体座標系の座標軸をＸ軸とし、
   前記Ｘ軸に直交すると共に、前記車両の左右方向に配置される座標軸をＹ軸とし、
   前記Ｘ、Ｙの各座標時軸に直交すると共に、前記車両の高さ方向に配置される座標軸をＺ軸とし、
   前記被写体としての前記車両の前記乗員の代表的な目の位置として定められる、前記車体座標系における点を基準アイポイントＰｃとし、
   前記被写体としての前記車両の前記乗員の前記基準アイポイントＰｃを通り、前記Ｘ軸と平行な直線を基準直線Ｌｃとし、
   前記基準アイポイントＰｃと前記反射体との間における、前記照明光の代表的光路を照明光路ＬＩとし、
   前記基準アイポイントＰｃと前記反射体との間における、前記撮像光の代表的光路を撮像光路Ｌｉとし、
   前記照明光路ＬＩが前記基準直線Ｌｃとなす角度をθＩｃとし、
   前記撮像光路Ｌｉが前記基準直線Ｌｃとなす角度をθｉｃとする場合に、
   前記発光部、及び前記受光部は、第１及び第２の条件を満たすように配置されている、
   前記第１の条件は、
   θｉｃ＜θＩｃである、
   前記第２の条件は、
   前記発光部、及び前記受光部が、前記車体座標系におけるＺＸ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｘで前記車体座標系の空間を２分割した場合における同じ側の空間に位置すること、
   又は、
   前記発光部、及び前記受光部が、前記車体座標系におけるＸＹ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｙで前記車体座標系の空間を２分割した場合における同じ側の空間に位置することである、
   撮像装置。
2. 前記照明光を出射する発光部として、第１の発光部と、第２の発光部とが設けられると共に、
   前記制御部は、前記第１、第２の発光部の何れを用いて前記被写体を照明するかを切り替えることができ、
   前記第２の発光部は、第３の条件を満たすように配置されている、
   前記第３の条件は、
   前記第２の発光部が、前記車体座標系におけるＺＸ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｘで前記車体座標系の空間を２分割した場合における、前記第１の発光部が位置する空間とは反対側の空間に位置すること、
   又は、
   前記第２の発光部が、前記車体座標系におけるＸＹ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｙで前記車体座標系の空間を２分割した場合における、前記第１の発光部が位置する空間とは反対側の空間に位置することである、
   請求項１に記載の撮像装置。
3. 前記撮像部として、第１の撮像部と、第２の撮像部とが設けられ、
   前記第２の撮像部は、第４の条件を満たすように配置されている、
   前記第４の条件は、
   前記第２の撮像部が、前記車体座標系におけるＺＸ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｘで前記車体座標系の空間を２分割した場合における、前記第１の撮像部が位置する空間とは反対側の空間に位置する、
   又は、
   前記第２の撮像部が、前記車体座標系におけるＸＹ平面と平行で、前記基準アイポイントＰｃを含む平面Ｓｃｙで前記車体座標系の空間を２分割した場合における、前記第１の撮像部が位置する空間とは反対側の空間に位置することであり、
   かつ、
   前記第１の撮像部における発光部、及び受光部を、第１の発光部、及び第１の受光部とし、
   前記第２の撮像部における発光部、及び受光部を、第２の発光部、及び第２の受光部とする場合に、
   前記第１の発光部と前記１の受光部は、前記第１の条件、及び前記第２の条件を満たすように配置されており、
   前記第２の発光部と前記２の受光部も、前記第１の条件、及び前記第２の条件を満たすように配置されており、
   前記制御部は、前記第１の発光部、前記第２の発光部、前記第１の受光部、前記第２の受光部の何れを用いるかを選択することができる、
   請求項１に記載の撮像装置。
4. 前記受光部は、可視光を遮蔽し、前記照明光、及び前記撮像光を透過するフィルタ部を有し、
   前記発光部は、前記車両の前記乗員が、少なくとも直接的には見ることができない位置に設けられている、
   請求項１に記載の撮像装置。
5. 前記撮像装置は、
   前記車両の前記反射体に画像の表示光を照射して、前記車両の前記乗員に対して画像を表示する画像表示装置内に設けられる、
   又は、
   前記画像表示装置と一体的に設けられる、
   請求項１に記載の撮像装置。
6. 撮像画像に基づいて、被写体としての車両の乗員の部位を検出する生体部位検出装置であって、
   第１乃至第５の何れか１項に記載の撮像装置と、
   前記撮像装置により取得された撮像画像に基づいて、生体の部位を検出する生体部位検出処理部と、
   を有する、
   生体部位検出装置。

Images