JP5753509B2 - 被測定物情報取得装置 - Google Patents

Description

本発明は、被測定物までの距離に基づいて該被測定物についての各種情報を取得する被測定物情報取得装置に関する。

被測定物に対し変調光を出射して、該変調光が被測定物に反射して戻って来た反射光をカメラにより検出し、カメラの出力から変調光が被測定物までの往復に要した所要時間を算出し、該所要時間に基づいて被測定物までの距離を測定する距離測定装置が知られている（例：特許文献１）。

一方、特許文献２は、運転手が手指を動かして所定のジェスチャを行うことによりカーナビゲーション装置に対して各種の指示を出すジェスチャスイッチ装置を開示する。該ジェスチャスイッチ装置によれば、ステレオカメラ（左右に各１個のカメラ）がダッシュボードに配設され、ステレオカメラから運転手の手指の三次元画像情報を取得するようになっている。

特開２００８−８９３４６号公報 特開２０１０−１８４６００号公報

特許文献２のジェスチャスイッチ装置は、所定の明るさが確保される場所では、ジェスチャを把握することができるが、夜間等、車室内が暗い期間では、ジェスチャの把握に支障が生じる。

特許文献１の距離測定装置は、暗い場所でも、被測定物までの距離を円滑に測定することができるが、被測定物についての距離以外の情報を取得することは難しい。

本発明の目的は、被測定物に係る各種情報を暗がりでも円滑に取得することができる被測定物情報取得装置を提供することである。

第１発明の被測定物情報取得装置は、所定の撮影範囲についての撮像画像を生成する撮像装置と、変調光を前記撮影範囲に向けて出射する変調光出射部と、前記撮像画像に基づいて変調光が前記撮影範囲内の被測定物まで行って反射光として戻って来るのに要した所要時間を算出し該所要時間に基づいて前記被測定物までの距離を算出する距離算出部と、前記撮影範囲をマトリクス状に区画し、各区画が前記撮像画像の各撮像区画に対応する複数の撮影区画に対して、前記距離算出部が算出した前記被測定物までの距離に基づいて各撮影区画からの温度観測用放射媒体の入射量を補正し、補正した入射量に基づいて各撮影区画ごとに温度段階を検出する温度検出装置と、所定の温度段階が検出された撮影区画の個数、又は前記複数の撮影区画について各撮影区画ごとの温度段階を配置してなる温度段階パターンに基づいて前記被測定物に係る情報を取得する情報取得部とを備えることを特徴とする。

第１発明によれば、変調光による被測定物までの距離測定と被測定物からの温度観測用放射媒体の入射量に基づく各撮影区画の温度とを、周囲の明るさに関係なく算出又は検出することができる。これにより、被測定物までの距離と各撮影区画ごとの検出温度とに基づいて被測定物についての各種情報を、暗がりでも的確に取得することができる。

第２発明の被測定物情報取得装置は、第１発明において、前記温度検出装置が、前記撮影範囲の各部位からの温度観測用放射媒体の強さを各画素データとして保存しかつ各撮像区画ごとに所属の画素データが読出し自在になっている撮像型温度センサ、又は各々が対応する撮影区画からの温度観測用放射媒体の入射量を検出する複数の入射量検出型温度センサから成ることを特徴とする。

第２発明によれば、撮像型温度センサ又は複数の入射量検出型温度センサに基づいて各撮影区画ごとの温度を支障なく検出することできる。

第３発明の被測定物情報取得装置は、第２発明において、前記情報取得部は、前記温度検出装置の検出に基づいて被測定物が存在する撮影区画に対応する画像部分を前記撮像画像から抽出して、該画像部分に対するパターンマッチング処理により前記被測定物に係る情報を取得することを特徴とする。

第３発明によれば、パターンマッチング処理は、温度検出装置の検出に基づいて被測定物が存在する撮影区画に対応する画像部分に絞って、実施するので、パターンマッチング処理の軽減及び処理時間の短縮を図ることができる。
第４発明の被測定物情報取得装置は、所定の撮影範囲についての撮像画像を生成する撮像装置と、変調光を前記撮影範囲に向けて出射する変調光出射部と、前記撮像画像に基づいて変調光が前記撮影範囲内の被測定物まで行って反射光として戻って来るのに要した所要時間を算出し該所要時間に基づいて前記被測定物までの距離を算出する距離算出部と、前記撮影範囲をマトリクス状に区画し、各区画が前記撮像画像の各撮像区画に対応する複数の撮影区画に対して、前記距離算出部が算出した前記被測定物までの距離に基づいて各撮影区画からの温度観測用放射媒体の入射量を補正し、補正した入射量に基づいて各撮影区画ごとに温度段階を検出する温度検出装置と、前記温度検出装置が検出した各撮影区画ごとの温度段階に基づいて前記被測定物に係る情報を取得する情報取得部とを備え、前記温度検出装置は、前記撮影範囲の各部位からの温度観測用放射媒体の強さを各画素データとして保存しかつ各撮像区画ごとに所属の画素データが読出し自在になっている撮像型温度センサ、又は各々が対応する撮影区画からの温度観測用放射媒体の入射量を検出する複数の入射量検出型温度センサから成ることを特徴とする。
第４発明によれば、撮影範囲をマトリクス状に区画した各撮影区画ごとに温度段階を検出することにより、撮影範囲の温度分布の特徴をマトリクス状の撮影区画の温度分布として処理することができ、撮影範囲の温度分布の特徴抽出処理を効率化することができる。また、被測定物までの距離に基づいて補正した温度観測用放射媒体の入射量に基づいて各撮影区画ごとに温度段階を検出するので、同種の被測定物に対しては、該被測定物までの遠近に関係なく、同一の温度段階を得ることができる。これにより、被測定物の取得情報の精度を高めることができる。さらに、撮影範囲のマトリクス状の設定された複数の撮影区画の各々の温度段階を撮像型温度センサや複数の入射量検出型温度センサを用いて、円滑に検出することができる。

自動車における車内情報取得装置の配備図。 車内情報取得装置をその前面側から見た斜視図。 単一の赤外線カメラに代えて用いられる複数の赤外線センサを用いる場合の自動車における車内情報取得装置及び赤外線センサの配備図。 各赤外線センサが入射量を検出する赤外線の入射範囲と撮影範囲との関係を示す図。 車内情報取得装置のブロック図。 変調光を使用した距離測定方式の説明図。 光カメラの上下画角と光カメラからの距離と上下画角幅との間の関係についての説明図。 距離だけでは被測定物の大きさが定まらない場合の説明図。 撮影範囲に対して設定する温度検出区画としての撮影区画を示す図。 撮影区画ごとの温度に基づいて人の大きさが判断できることを示す図。 運転手による手指の種々のジェスチャを示す図。 車内情報取得装置を装備する自動車において実施する制御のフローチャート。

図１の自動車１において、運転手２及び助手３は車室内の運転席及び助手席にそれぞれ座っている。車内情報取得装置４は、ダッシュボード５の左右方向ほぼ中央位置に車室の後方向きに配備される。

車内情報取得装置４は光カメラ８及び赤外線カメラ９を備え、光カメラ８及び赤外線カメラ９は水平画角θ及び上下画角γ（図７）で規定される撮影範囲６を撮影して、それぞれ光及び赤外線による撮像画像を生成する。なお、図１及び後述の図３の撮影範囲６は、光カメラ８の光軸方向に対して直角方向から見た撮影範囲６である。図４で後述する撮影範囲１７は、光軸方向に見た撮影範囲であり、撮影範囲６，１７は、光カメラ８及び赤外線カメラ９の撮影範囲として同一の実体を、異なる方向から見ただけである。

運転手２及び助手３は撮影範囲６の内側に位置している。光カメラ８及び赤外線カメラ９は、それぞれ撮影範囲６の各部位からの光及び赤外線の入射量を対応の各画素にデータとして保存する。光カメラ８及び赤外線カメラ９は、保存中の画素データが各画素別に読出し自在になっている。

図２において、車内情報取得装置４はケース１０内に後述の各素子を収納している。ケース１０の前面１１には、光カメラ８の凸レンズ１２、４つのＬＥＤ１３、及び赤外線カメラ９の入射部１４が露出している。

凸レンズ１２及び入射部１４は、前面１１の左右方向中心位置に揃えて、それぞれ下側及び上側の関係で前面１１に配置される。ＬＥＤ１３は凸レンズ１２の左右に２つずつ配置される。各ＬＥＤ１３は、それらの各光軸がケース１０から遠ざかるに連れて左右及び上下に相互に離れるように、光軸を少し外側へ向けて、かつそれらからの変調光が、全体として左右方向へ撮影範囲６の左右幅全体に及び上下方向へ撮影範囲６の上下幅全体に広がるように、配備される。

図３では、単一の赤外線カメラ９に代えて、複数の赤外線センサ２５が配備される。車内情報取得装置２４は、図１の車内情報取得装置４と同じ位置に配備され、赤外線カメラ９（図１）の装備を外されている。各赤外線センサ２５は、対応する各入射方面２６から入射してくる赤外線の入射量を該入射方面２６の温度として検出する。

図４は、各赤外線センサ２５が入射量を検出する赤外線の入射範囲の区画図である。撮影範囲１７は、光カメラ８の光軸方向へ見た撮影範囲であり、光カメラ８から所定距離、離れた位置における撮影範囲となっている。撮影範囲１７は、光カメラ８の光軸方向へ光カメラ８から離れるほど、寸法が増大するが、それに伴い後述の赤外線検出範囲１８や撮影区画１９の寸法も増大するので、撮影範囲１７、赤外線検出範囲１８及び撮影区画１９の寸法比は、光カメラ８の光軸方向の撮影範囲１７の位置に関係なく、同一に維持される。

この例では、撮影範囲１７は、正方形とされるとともに、４×４の１６個の正方形の撮影区画１９により区画されている。赤外線検出範囲１８の個数は、赤外線センサ２５の個数と同一とされ、各赤外線センサ２５は、その光軸が対応の撮影区画１９の中心を貫通するように、ダッシュボード５に取り付けられている。

各赤外線検出範囲１８は、撮影範囲１７の面上において各入射方面２６が占める範囲であり、各撮影区画１９の外接円になっている。各赤外線センサ２５は、各赤外線検出範囲１８からの赤外線量を各撮影区画１９の温度として検出する。赤外線検出範囲１８は、縦横に隣接するもの同士が、撮影範囲１７の面上において、周辺部を部分的に重なり合っている。

これに対し、図１の赤外線カメラ９は、撮影範囲１７の赤外線撮像画像を生成するとともに、該撮像画像から各撮影区画１９に相当する撮像区画の画素データを読み出し可能になっている。そして、赤外線カメラ９は、各撮影区画１９について読み出した画素データに基づき各撮影区画１９ごとの赤外線の入射量を算出し、算出した入射量を各撮影区画１９の温度として検出する。したがって、赤外線カメラ９が個々に温度を検出する撮影区画１９は、縦横に隣接するもの同士が、撮影範囲１７の面上において重なり合うことなく、境界を接している。

図５は車内情報取得装置４のブロック図である。制御装置３０は、距離算出部３１、撮影区画別温度検出部３２、情報取得部３３、制御信号出力部３４及び機器制御部３５を備える。距離算出部３１は、公知の飛行時間計測法（ＴＯＦ：Time Of Flight）を使用して、光カメラ８の撮影範囲６に含まれる被測定物までの距離を算出する。

制御信号出力部３４は、各ＬＥＤ１３を駆動する各ドライバ３８へ駆動電流を制御することにより、各ＬＥＤ１３をオン、オフして、ＬＥＤ１３から出射する変調光４０を生成する。各ＬＥＤ１３から出射する変調光４０は、各ＬＥＤ１３からの光軸方向へ進むに連れて、光軸に対して直角方向へ広がるが、広がり範囲は重なってもよいとする。制御信号出力部３４は、複数のＬＥＤ１３の中から変調光４０を出射するＬＥＤ１３を１つ、選択して、光カメラ８が複数の変調光４０に由来する反射光を受光しないようにして、被測定物までの距離の測定精度を保証する。

反射光４１は凸レンズ１２を介して光カメラ８に入射する。凸レンズ１２は反射光４１を絞る働きをする。赤外線４２は入射部１４を介して赤外線カメラ９に入射する。車内情報取得装置４に代えて車内情報取得装置２４を用いる場合には、複数の赤外線センサ２５が図５のブロック図において赤外線カメラ９に置換される。

図６を参照してＴＯＦについて概略を説明する。図６は、ＬＥＤ１３から出射する変調光４０と光カメラ８の受光強度（各時点の受光量に対応する。）とのタイミングチャートとなっている。

ＬＥＤ１３がオン（点灯）とオフ（消灯）と交互に繰り返されることによりパルス列からなる変調光４０が生成される。変調光４０の周波数は、例えば、５ＭＨｚ〜１０ＭＨｚの範囲内のものである。

光カメラ８に入射される反射光４１の受光強度は、変調光４０が撮影範囲６（図１及び図３）内の被測定物に当たって反射して入射する反射光の強度と、背景光由来の反射光の入射強度との重畳となる。背景光由来の反射光は車室内が暗くなるほど、低下するが、変調光４０由来の反射光は、車室内が暗いときも、所定強度が確保される。

光カメラ８の受光強度は、変調光４０由来の光の入射期間には該入射期間の前後の受光強度に対して隆起する。ＴＯＦでは、ＬＥＤ１３における変調光４０の立ち上がり時（＝ＬＥＤ１３から変調光４０の出射開始時）と該変調光４０が前方の被測定物に当たって反射してきた該変調光４０由来の反射光の、光カメラ８への入射開始時との光の位相差から光飛行時間を算出し、光飛行時間に基づいて該被測定物までの距離を算出する。

図５に戻る。撮影区画別温度検出部３２は、撮影範囲１７の各撮影区画１９別に温度を検出する。

情報取得部３３は、距離算出部３１及び撮影区画別温度検出部３２の出力に基づいて被測定物に係る各種情報を取得する。各種情報の具体例は、後述の図１２のＳＴＥＰ８，１５において取得するジェスチャや人員等である。

図７は光カメラ８の上下画角γと光カメラ８からの距離Ｄと上下画角幅Ｈとの間の関係についての説明図である。γ，Ｄ，Ｈには次の関係式が成立する。なお、ｔａｎは正接を意味する。

ｔａｎ（γ／２）＝Ｈ／（２・Ｄ）・・・（１）
２Ｄ・ｔａｎ（γ／２）＝Ｈ・・・（２）

光カメラ８の上下方向の画素数ｎとすると、１画素当たりの高さＨ／ｎは次の（３）で表される。

Ｈ／ｎ＝（２Ｄ／ｎ）・ｔａｎ（γ／２）・・・（３）

（３）式から、被測定物までの距離と、光カメラ８の画素の内、被測定物を撮影している画素の上下方向連続する画素の連続数とから、被測定物の高さを求められることが分かる。

図７（ｂ）は助手３の実空間の高さＨaを算出する説明図である。ＴＯＦに基づいて助手３までの距離Ｄａが算出され、光カメラ８の画素データに基づいて被測定物の画素の上下方向連続数を検出し、検出した連続数からγaが求まる。この結果、（３）式に基づいてＨaが算出される。

図８は距離だけでは被測定物の大きさが定まらない場合の説明図である。図８（ａ）では、ジュニアシート５１が助手席５０に装着され、子供５２がジュニアシート５１に座っている。図８（ｂ）では、チャイルドシート５３が助手席５０に装着され、乳幼児５４がチャイルドシート５３に座っている。

距離算出部３１による被測定物までの距離測定では、子供５２及び乳幼児５４までの距離は共にＤｂとなる。また、光カメラ８の画素データから把握される被測定物の上下方向連続画素数は、助手席５０に上下寸法に相当するものになるために、子供５２及び乳幼児５４共にγbとなってしまう。このため、子供５２と乳幼児５４とは実際には上下寸法Ｈb，Ｈcの差異があるものの（Ｈb＞Ｈc）、距離測定と画角検出とだけでは、子供５２と乳幼児５４とを区別することができない。

車内情報取得装置４は、この問題を赤外線カメラ９を使って克服している。図９は、前述の図４において撮影範囲１７に対して設定した撮影区画１９に従い、被測定物としての子供５２及び乳幼児５４が撮影範囲１７のどの撮影区画１９を占めているかを示している。行列における要素の呼び方に倣い、撮影範囲１７の撮影区画１９について（行，列）を定義する。撮影範囲１７の左上隅の撮影区画１９を（１，１）と定義し、右方向へ１列ずつ列番号を１ずつ繰り上げ、下方向へ１行ずつ行番号を１ずつ繰り上げ、右下隅の撮影区画１９を（４，４）と定義する。

図９（ａ）において、子供５２の部分が大部を占める撮影区画１９は（２，２），（２，３），（３，２），（３，３）の４つとなっている。これに対し、図９（ｂ）において、乳幼児５４の部分が大部を占める撮影区画１９は（２，２），（２，３）の２つとなっている。

図１０は撮影区画別温度検出部３２が撮影範囲１７において温度を検出する撮影区画１９別の温度を示している。この例では、温度は４段階で示されている。各温度段階は、車室内で検出しようとする温度範囲全体を複数に分割した各分割部分に相当し、温度段階１から４へ順番に温度範囲が低くなっている。温度段階１の撮影区画１９は、右肩上がりの斜線と右肩下がりの斜線とが重ね合わされて示されており、温度段階２の撮影区画１９は、右肩上がりの実線の斜線が示されており、温度段階３の撮影区画１９は、右肩上がりの波線が示されており、温度段階４の撮影区画１９はブランクになっている。

温度段階１は人の体温を含む温度範囲の温度段階に設定されている。したがって、温度段階１となっている撮影区画１９には人の身体があると判断することができる。赤外線４２は、熱源から放射され、熱源が遠ざかるに連れて弱まるので、赤外線カメラ９における絶対入射量から被測定物の温度を判断すると、赤外線カメラ９から遠い被測定物ほど、低温と判断されてしまう。したがって、撮影区画別温度検出部３２は、距離算出部３１が検出した被測定物までの距離に基づいて各撮影区画１９についての赤外線カメラ９における絶対入射量を補正した補正値に基づいて各撮影区画１９の温度を補正し、同一の温度の被測定物が遠近により異なる温度として検出されないようにする。

図１０（ａ）及び（ｂ）はそれぞれ図９（ａ）及び（ｂ）の被測定物に対する各撮影区画１９の温度を示している。図１０（ａ）では、（２，２），（２，３），（３，２），（３，３）の４つの撮影区画１９が温度段階１の温度となっており、図１０（ｂ）では、（２，２），（２，３）の２つの撮影区画１９のみが温度段階１となっている。また、図１０（ｂ）では、（２，２），（２，３）の下の（３，２），（３，３）の撮影範囲１７は温度段階４となっている。

図１０（ａ）及び（ｂ）の撮影区画１９別の温度段階の検出に基づいて子供５２と乳幼児５４との識別が可能になる。撮影区画１９別の温度段階の検出に基づいて子供５２と乳幼児５４を識別する仕方には、温度段階１の撮影区画１９の個数を計数する仕方と、複数の撮影区画１９についての温度段階パターンを調べる仕方がある。

温度段階１の撮影区画１９の個数を計数する仕方では、所定の閾値を設定し（図１０の例では閾値＝３）、温度段階１の撮影区画１９の個数が閾値未満であれば、被測定物は乳幼児５４と判断し、閾値以上であれば、被測定物は子供５２と判断する。

複数の撮影区画１９についての温度段階パターンを調べる仕方では、乳幼児５４の場合は、２×２の撮影区画１９の領域として上段は２つとも温度段階１であり、下段は２つとも温度段階４となっている温度段階パターンが存在するのに対し、子供５２の場合は、そのような温度段階パターンは存在しない。したがって、撮影範囲１７における当該温度段階パターンの有無により子供５２か乳幼児５４かを識別する。

なお、子供５２及び乳幼児５４と図７（ｂ）の助手３との識別は被測定物までの距離に基づいて行うことできる。すなわち、子供５２及び乳幼児５４までの距離は、ジュニアシート５１又はチャイルドシート５３の背もたれの厚さ分、助手３までの距離よりも短くなる。

図１１は手指の種々のジェスチャを示している。運転手２は、手を車内情報取得装置４の前にかざして、手指による図１１のジェスチャを行うことにより、エアコンやオーディオ機器への指示を出すことができる。

図１１（ａ）はじゃんけんの「ばあ」のジェスチャを示し、図１１（ｂ）はじゃんけんの「ちょき」のジェスチャを示し、図１１（ｃ）は親指のみを立てたジェスチャを示している。

車内情報取得装置４は、被測定物までの距離を検出し、距離が５０ｃｍ未満でかつ（距離補正後の）温度段階１の撮影区画１９の個数が所定の閾値以上であるときには、光カメラ８の撮像画像の所定の画像部分に対してパターンマッチング処理を行い、運転手２が示した手指のジェスチャが図１１（ａ）〜（ｃ）のいずれであるかを識別する。

車内情報取得装置４は、図１１（ａ）〜（ｃ）以外の手指のジェスチャや手指の動きも被測定物についての検出距離及び検出温度に基づいて識別することができる。ジェスチャにのみではなく手指の動きを伴ったジェスチャを検出することは、運転手２の意図的な指示であるのか、単に、手指が偶然に指定のジェスチャになったのかを区別して、誤検出を防止することに役立つ。ジェスチャの動きとしては、例えば、図１１（ａ）〜（ｃ）のようなジェスチャのいずれかを維持したまま、手指を特定の方向へ動かしたときは、運転手２の意図的な指示であると判断することができる。

ジェスチャの組合せに対して１つの指示を割り当てることもできる。組み合わせ例では、図１１（ｂ）の「ちょき」から図１１（ａ）の「ぱあ」に変化させる組み合わせに対して１つの指示を割り当てる。

以上において、車内情報取得装置４は本発明の被測定物情報取得装置に相当する。光カメラ８は本発明の撮像装置に相当する。赤外線カメラ９、赤外線センサ２５及び撮影区画別温度検出部３２は、本発明の温度検出装置に相当する。赤外線カメラ９及び赤外線センサ２５はそれぞれ本発明の撮像型温度センサ及び入射量検出型温度センサに相当する。ＬＥＤ１３は本発明の変調光出射部に相当する。情報取得部３３は本発明の被測定物情報取得装置に相当する。赤外線４２は本発明の温度観測用放射媒体に相当する。

図１２は車内情報取得装置４を装備する自動車１において実施する制御のフローチャートである。該制御は制御装置３０が所定のプログラムを実行することにより実施される。距離算出部３１〜機器制御部３５の機能は制御装置３０がＲＯＭ等のメモリ（図示せず）から読み出したプログラムを実行することにより実現される。

図１２に係る制御プログラムは、運転中に一定時間間隔の時間割込みで実行されることを想定している。理由は、ＳＴＥＰ８，９の処理は、運転手２が自動車１の運転中適宜、行う手指のジェスチャによる指示だからである。なお、ＳＴＥＰ１５，１６は、自動車１の運転開始時や、運転途中に乗員の乗り降りがあった時等の人員の変化や席の移動があった時をドアスイッチ等により検出して、その時に限定して実行することもできる。

ＳＴＥＰ１では、距離算出部３１は光カメラ８から撮像画像（以下、該撮像画像を「光撮像画像」という。）データを取得する。該光撮像画像データは、光カメラ８がダッシュボード５から室内を撮影して生成したデータである。

ＳＴＥＰ２では、撮影区画別温度検出部３２は赤外線カメラ９から撮像画像（以下、該撮像画像を「赤外線撮像画像」という。）データを取得する。該赤外線撮像画像データは、赤外線カメラ９がダッシュボード５から室内を撮影して生成したデータである。撮影区画別温度検出部３２は、赤外線撮像画像を撮影範囲１７における撮影区画１９別の温度段階（例：図１０）の把握に利用する。

車内情報取得装置２４が車内情報取得装置４の代わりに装備されている自動車１では、赤外線撮像画像に代えて、撮影区画別温度検出部３２は、各赤外線センサ２５（図３）から各赤外線検出範囲１８について赤外線４２の入射量のデータを取得し、このデータに基づいて各赤外線検出範囲１８に対応する各撮影区画１９の温度を割り出して、撮影範囲１７における撮影区画１９別の温度段階（例：図１０）を把握する。

ＳＴＥＰ３では、距離算出部３１は被測定物までの距離を算出する。距離算出部３１は、距離の算出法として図６で説明したＴＯＦを使用する。該ＴＯＦでは、ＬＥＤ１３が被測定物に向かって変調光を出射し、被測定物に当たって反射光として戻って来る変調光由来の光を光カメラ８が検出することになるので、距離算出部３１は、車内が暗闇であっても、被測定物までの距離を支障なく算出することができる。

ＳＴＥＰ４では、撮影区画別温度検出部３２は、距離算出部３１が算出した被測定物までの距離に基づいて赤外線撮像画像データを補正し、撮影範囲１７における各撮影区画１９の温度を補正する。撮影区画別温度検出部３２による補正後の各撮影区画１９の温度は、具体的には、図１０に示すように、温度そのものではなく、段階で示されるものである。なお、温度を被測定物までの距離により補正する理由は、遠距離の被測定物ほど、赤外線カメラ９に入射する時の赤外線４２が弱まるからである。

ＳＴＥＰ５では、撮影区画別温度検出部３２は、撮影範囲１７の撮影区画１９の中に、人体温度段階の撮影区画１９が含まれているか否かを判定し、含まれていれば、ＳＴＥＰ６に進み、含まれていなければ、処理を終了する。人体温度段階の撮影区画１９とは、具体的には、前述の温度段階１のことであり、図１０（ａ）では（２，２），（２，３），（３，２），（３，３）の４つの撮影区画１９である。

ＳＴＥＰ６では、情報取得部３３は、被測定物までの距離が閾値未満であるか否かを判定し、閾値未満の判定であれば、ＳＴＥＰ７へ進み、閾値以上の判定であれば、ＳＴＥＰ１５へ進む。該閾値は、例えば５０ｃｍであり、ＳＴＥＰ７〜ＳＴＥＰ９の手指のジェスチャの識別処理とＳＴＥＰ１５，１６の車室内の人員等の検出処理とのどちらを実行するかを決定するように、設定される。ここでは、手指のジェスチャは車内情報取得装置４から５０ｃｍ未満の距離で実施されることを想定している。

ＳＴＥＰ７では、情報取得部３３は、光撮像画像から被測定物の画像部分データを読出す。光カメラ８は、光撮像画像の任意の領域の画像部分についてそのデータが読み出し自在になっている。

ＳＴＥＰ８では、情報取得部３３は、ＳＴＥＰ７で読出した画像部分データに対してパターンマッチング処理を行い、ジェスチャ（例：図１１）を識別する。該パターンマッチング処理では、撮像画像データ全体に対してではなく、画像部分データを各ジェスチャに対して設定したパターン画像データと対比するので、パターンマッチング処理について、負荷の軽減及び処理時間の短縮が図られる。

ＳＴＥＰ９では、情報取得部３３は、ＳＴＥＰ７で識別したジェスチャの指示に対応付けられる機器制御を実行する。機器制御の具体例として挙げられるものは、エアコンの設定温度の調整、オーディオ機器のオン・オフ及び音量増減、並びにオーディオ機器における楽曲の再生・停止等がある。

ＳＴＥＰ１５では、車室内の人員、居場所（乗員が座っている席）及び人の大きさ（例：図９に示される子供５２か乳幼児５４か）の情報を取得する。ＳＴＥＰ１５における具体的な情報取得の方法では、各座席に人がいないときの撮影区画１９別の温度段階を予め記憶しておき、不在時の撮影区画１９別の温度段階を今回検出した撮影区画１９別の温度段階と対比して、温度段階の相違する撮影区画１９の個数を調べ、該個数が閾値以上の相違があるか否かにより該座席における人の有無や人の大きさを判断する。

ＳＴＥＰ１６では、機器制御部３５は、人員、居場所及び人の大きさに応じた車載機器の制御を実行する。ＳＴＥＰ１６に含まれる車載機器の制御の具体例としては、乗員の居る各座席用の各吐出口からのからの送風の実施、空席部の各吐出口からの送風停止、人の大きさに応じた風量調整、衝突時の空席部へのエアバッグの作動停止が挙げられる。

機器制御部３５は、撮影範囲１７の撮影区画１９別の温度段階の情報を使って、運転手２及び助手３の頭の位置なども検出することができる。頭の高さは、撮影範囲１７において、人体温度に相当する温度段階の撮影区画１９の内、一番上の撮影区画１９となるとともに、車室内での各撮影区画１９の高さは予め判明している。したがって、機器制御部３５は、ＳＴＥＰ１６の処理とは別に、人体温度に相当する段階の撮影区画１９の内、一番上の撮影区画１９の高さに適合するように、ヘッドレストの高さ調整やルームミラーやサイドミラーの角度調整なども実施することができる。

さらに、機器制御部３５は、頭の高さが上下又は左右に繰り返し振動するときは、居眠り運転の虞もあるとして、運転手２に対しブザー等により警報を出すこともできる。

ＳＴＥＰ１７では、機器制御部３５は、人体温度の段階の撮影区画１９の個数や撮影範囲１７における温度段階の配置パターンに基づいて人としての被測定物の大きさを判定する。大きさが大であれば、被測定物は大人と判断して、処理を終了する。被測定物の大きさが小であれば、被測定物は幼児と判断して、ＳＴＥＰ１８へ進む。具体的には、大きさの大と小とは人体温度の段階の撮影区画１９の個数が所定値以上か未満かにより判断する。

ＳＴＥＰ１８では、機器制御部３５は、エンジンが停止しているか否かを判定し、エンジンが停止していれば、ＳＴＥＰ１９へ進み、エンジンが作動していれば、処理を終了する。

ＳＴＥＰ１９では、機器制御部３５は、子どもが室内に居残っている（取り残されている）と判断して、警報を出す。

撮影範囲１７の撮影区画１９別の温度段階の情報の自動車１以外の応用例について述べる。

［セキュリティ分野］
セキュリティ用途へ応用した場合、問題となるのが小動物（例えば猫やネズミ等）を誤検出して警報がなる場合がある。このシステムを用いた場合、物体の距離と大きさ、温度から人と小動物などの区別が可能となり、誤検出防止となる。

［デジタルサイネージ］
デジタルサイネージの操作方式として、タッチパネル方式とジェスチャ方式とがある。表示器の画面が大きい場合、タッチパネル式だと、操作者は、画面の上部に手が届かず、該上部へのタッチ操作ができないことがある。これに対処して、離れた場所からジェスチャにて操作を行なえれば便利である。しかし、不特定多数が集まる場所に設置した時に、どの人にターゲットを合わせればよいか分からない。その場合、一番近い距離にいる人やその手を距離と温度から認識することで、複数人がいる場合でも、円滑な操作が可能となる。

［家電関係］
エアコンや空気清浄機、テレビなど、人の有無を判断して制御を行なう電気機器が販売されている。現状は温度だけを見ていたり、温度変化だけを見ていたりするものであるが、距離情報を用いることで部屋の空間情報を学習させ、そこの温度情報を用いることで、今以上の制御が可能となる。例えば、被測定物について大きさと温度が分かれば、人に近い温度でも大きさが明らかに違うものであれば、被測定物は人ではないと判断することができる。

［車室外］
車の後方監視では、運転手２がカメラ映像を自ら確認している。超音波センサが自動車１に装備されていることもあるが、距離精度などは高くない。このシステムを用いた場合、物体の大きさと温度が分かるため、人の可能性の高いものがあれば、警報を大きく鳴らしたり、強制的にブレーキをかけるなどの快適性を高めることが可能となる。

以上、本発明を発明の実施形態について説明したが、本発明は、発明の実施形態に限定されることなく、要旨の範囲内で種々に限定して実施することができる。

例えば、車内情報取得装置４は、前席用にダッシュボード５に１つのみ配備されているが、後席の人員及び居場所検出用に運転席の背もたれの背面に別途、車内情報取得装置４を配備することもできる。また、車内情報取得装置４を天井の中央部に下向きに１つ配備して、１つの車内情報取得装置４により室内全域の人員及び居場所を検出したり、車内情報取得装置４を天井の前席部位や後席部位に下向きに１つずつ配備して、それぞれ前席のみの人員及び居場所と後席のみの人員及び居場所とを別々に検出したりしてもよい。さらに、各座席の真上の天井部位にそれぞれ１つずつ車内情報取得装置４を下向きに配備して、各座席ごとに人の有無を検出することもできる。

例えば、発明の実施の形態では、光カメラ８及び赤外線カメラ９は同一のケース１０（図２）内に収納されて、共にダッシュボード５に配備されているが、光カメラ８はダッシュボード５に配備され、赤外線カメラ９は天井に配備してもよい。その場合、光カメラ８及び赤外線カメラ９はそれぞれ室内の後ろ向き及び下向きとなるものの、共に座席の方へ向けられて、座席を撮影するようにされる。

４・・・車内情報取得装置（被測定物情報取得装置）、８・・・光カメラ（撮像装置）、９・・・赤外線カメラ（温度検出装置又は撮像型温度センサ）、１３・・・ＬＥＤ（変調光出射部）、１７・・・撮影範囲、１８・・・赤外線検出範囲、１９・・・撮影区画、２４・・・車内情報取得装置、２５・・・赤外線センサ（温度検出装置又は入射量検出型温度センサ）、３１・・・距離算出部、３２・・・撮影区画別温度検出部（温度検出装置）、３３・・・情報取得部（被測定物情報取得装置）、４０・・・変調光、４１・・・反射光、４２・・・赤外線。

Claims (4)

1. 所定の撮影範囲についての撮像画像を生成する撮像装置と、
   変調光を前記撮影範囲に向けて出射する変調光出射部と、
   前記撮像画像に基づいて変調光が前記撮影範囲内の被測定物まで行って反射光として戻って来るのに要した所要時間を算出し該所要時間に基づいて前記被測定物までの距離を算出する距離算出部と、
   前記撮影範囲をマトリクス状に区画し、各区画が前記撮像画像の各撮像区画に対応する複数の撮影区画に対して、前記距離算出部が算出した前記被測定物までの距離に基づいて各撮影区画からの温度観測用放射媒体の入射量を補正し、補正した入射量に基づいて各撮影区画ごとに温度段階を検出する温度検出装置と、
   所定の温度段階が検出された撮影区画の個数、又は前記複数の撮影区画について各撮影区画ごとの温度段階を配置してなる温度段階パターンに基づいて前記被測定物に係る情報を取得する情報取得部とを備えることを特徴とする被測定物情報取得装置。
2. 請求項１の被測定物情報取得装置において、
   前記温度検出装置は、前記撮影範囲の各部位からの温度観測用放射媒体の強さを各画素データとして保存しかつ各撮像区画ごとに所属の画素データが読出し自在になっている撮像型温度センサ、又は各々が対応する撮影区画からの温度観測用放射媒体の入射量を検出する複数の入射量検出型温度センサから成ることを特徴とする被測定物情報取得装置。
3. 請求項２の被測定物情報取得装置において、
   前記情報取得部は、前記温度検出装置の検出に基づいて被測定物が存在する撮影区画に対応する画像部分を前記撮像画像から抽出して、該画像部分に対するパターンマッチング処理により前記被測定物に係る情報を取得することを特徴とする被測定物情報取得装置。
4. 所定の撮影範囲についての撮像画像を生成する撮像装置と、
   変調光を前記撮影範囲に向けて出射する変調光出射部と、
   前記撮像画像に基づいて変調光が前記撮影範囲内の被測定物まで行って反射光として戻って来るのに要した所要時間を算出し該所要時間に基づいて前記被測定物までの距離を算出する距離算出部と、
   前記撮影範囲をマトリクス状に区画し、各区画が前記撮像画像の各撮像区画に対応する複数の撮影区画に対して、前記距離算出部が算出した前記被測定物までの距離に基づいて各撮影区画からの温度観測用放射媒体の入射量を補正し、補正した入射量に基づいて各撮影区画ごとに温度段階を検出する温度検出装置と、
   前記温度検出装置が検出した各撮影区画ごとの温度段階に基づいて前記被測定物に係る情報を取得する情報取得部とを備え、
   前記温度検出装置は、前記撮影範囲の各部位からの温度観測用放射媒体の強さを各画素データとして保存しかつ各撮像区画ごとに所属の画素データが読出し自在になっている撮像型温度センサ、又は各々が対応する撮影区画からの温度観測用放射媒体の入射量を検出する複数の入射量検出型温度センサから成ることを特徴とする被測定物情報取得装置。